JP2003304417A - 撮像システム - Google Patents

Abstract

(57)【要約】 【課題】 階調変換曲線の算出タイミングを、被写体の
画面位置や微小な画面変化に影響されずに、シーン変化
や撮影条件の変化に合わせて自動的に最適に調整して階
調変換し、安定した階調変換画面を得る撮像システムを
提供する。 【解決手段】 撮像系からのＭビット階調幅の画像群の
中から、撮影条件に基づく時間間隔で１枚の画像を選択
する選択手段113と、順次選択された画像間の特性情報
の変化を検出する検出手段114と、その検出結果に基づ
いて選択された画像の階調変換曲線を算出する算出手段
115と、検出手段114での検出結果に基づいて、特性情報
の変化が検出されたときは算出手段115で算出された新
規の階調変換曲線を用いて、特性情報の変化が検出され
ないときは現在の階調変換曲線を用いて、Ｍビット階調
幅の画像群をＮビット階調幅（M,Nは自然数でM≧N）の
画像群に階調変換する階調変換手段110と、を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を時系列的に
得る撮像系の階調幅が、出力系における階調幅より広い
撮像システムに係わり、階調幅を適用的に変換する階調
変換曲線の更新を適切に行うことで高画質な出力画像を
得る撮像システムに関するものである。

【０００２】

【従来の技術】例えば、デジタルビデオカメラにおいて
は、デジタル系信号処理の桁落ちによる画質劣化を防止
するため、最終的な出力画像の階調幅(通常８ビット)に
対して、入力および処理系における画像の階調幅をより
広く、通常１０〜１２ビット程度に設定している。この
場合、出力系の階調幅に合致するように階調変換を行う
必要がある。また、露光量の異なる複数枚の画像を合成
することで、より階調幅の広い広ダイナミックレンジ画
像を生成する手法も提案されている。この場合も、得ら
れた広ダイナミックレンジ画像を、出力系の階調幅に合
致するように階調変換する必要がある。

【０００３】上記の階調変換を行なう方法として、従
来、標準的なシーンに合わせた固定的なガンマ曲線や、
ヒストグラムなどに基づく適用的な階調変換曲線により
階調変換を行なったり、あるいは特開２０００−３０７
８９６号公報に開示されているように、一定時間毎に画
像を取り込み、その取り込んだ画像の特定領域（例え
ば、画像中央）の輝度統計量に基づいて階調変換を行な
ったりする方法が提案されている。

【０００４】

【発明が解決しようとする課題】ところが、階調変換を
ガンマ変換などで固定的に行なう場合には、変化するシ
ーンに応じて適切な階調変換を行なうことができず、ま
た階調変換をヒストグラムなどに基づく適用的な階調変
換曲線により行なう場合には、撮影時のシーン変化に合
わせて、適切なタイミングで階調変換曲線を算出しない
と、適切な階調変換を行なうことができないという問題
がある。

【０００５】また、上記の特開２０００−３０７８９６
号公報に開示されているように、一定時間毎に画像を取
り込み、その特定領域の輝度統計量に基づいて階調変換
を行なう場合には、シーン変化が無く階調変換曲線を算
出する必要のない場合でも算出することになるため無駄
が多く、また、シーン変化が発生しても、タイミングが
合わないと階調変換曲線が算出されないため、シーン変
化に応じて適切な階調変換を行なうことができないとい
う問題がある。

【０００６】さらに、画像中央などの特定領域を設定し
ているため、それ以外の領域でのシーン変化の検出に対
応できないという問題があると共に、定期的に階調変換
曲線が更新されるため、画面の安定性を損なうという問
題もある。

【０００７】また、最近ではネットワークによる動画配
信なども行われている。この場合、画像サイズやフレー
ムレートなどが配信の条件により変化するが、上記の従
来技術では、画像サイズやフレームレートの変化に対応
して階調変換曲線を算出するタイミングを自動的に調整
することができないため、適切な階調変換を行なうこと
ができないという問題がある。

【０００８】したがって、かかる点に鑑みてなされた本
発明の目的は、時系列的に得られる画像の階調幅を変換
する階調変換曲線を算出するタイミングを、被写体の画
面位置や微小な画面変化に影響されることなく、シーン
変化や撮影条件の変化に合わせて自動的に最適に調整で
き、常に適切に階調変換できると共に、安定した階調変
換画面が得られる撮像システムを提供することにある。

【０００９】

【課題を解決するための手段】上記第１の目的を達成す
る請求項１に係る発明は、撮像系からの時系列的に連続
するＭビット階調幅の画像群を、出力系のＮビット階調
幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変換して出力
する撮像システムにおいて、上記Ｍビット階調幅の画像
群の中から、撮影条件に基づく時間間隔で１枚の画像を
選択する選択手段と、上記選択手段で順次選択された画
像間の特性情報の変化を検出する検出手段と、上記検出
手段での検出結果に基づいて、上記選択手段により選択
された画像の階調変換曲線を算出する算出手段と、上記
検出手段での検出結果に基づいて、上記特性情報の変化
が検出されたときは上記算出手段で算出された新規の階
調変換曲線を用いて、上記特性情報の変化が検出されな
いときは現在の階調変換曲線を用いて、それぞれ上記Ｍ
ビット階調幅の画像群を上記Ｎビット階調幅の画像群に
変換する階調変換手段と、を有することを特徴とするも
のである。

【００１０】請求項１に係る発明によると、選択手段に
おいて撮影条件に基づいて適切なタイミングで画像が抽
出され、その抽出された順次の画像の特性情報の変化が
検出手段で検出されたときは、選択手段で抽出された画
像に基づいて算出手段で階調変換曲線が算出され、その
新たに算出された階調変換曲線を用いて階調変換手段に
よりＭビット階調幅の画像群がＮビット階調幅の画像群
に変換され、検出手段で特性情報の変化が検出されない
ときは、階調変換手段において現在使用している階調変
換曲線でＭビット階調幅の画像群がＮビット階調幅の画
像群に変換されるので、無駄な計算を省いてシーン変化
に合わせて自動的に適切なタイミングで階調変換曲線を
設定することができ、したがってシーン変化に対して常
に適切に階調変換でき、高品位で安定した階調変換画面
を得ることができる。

【００１１】請求項２に係る発明は、撮像系からの時系
列的に連続するＭビット階調幅の画像群を、出力系のＮ
ビット階調幅（Ｍ、Ｎは自然数でＭ≧Ｎ）の画像群に変
換して出力する撮像システムにおいて、上記Ｍビット階
調幅の画像群の中から、撮影条件に基づく時間間隔で１
枚の画像を選択する選択手段と、上記選択手段で順次選
択された画像間の特性情報の変化を検出する検出手段
と、上記検出手段での検出結果に基づいて、上記選択手
段により選択された画像の階調変換曲線を選択的に算出
する算出手段と、上記選択手段で選択された画像の特性
情報および当該画像に対して上記算出手段で算出された
階調変換曲線を組として複数記録する記録手段と、上記
検出手段での検出結果に基づいて、上記特性情報の変化
が検出されたときは上記算出手段で算出された新規の階
調変換曲線、または上記記録手段に記録されている過去
の階調変換曲線を用いて、上記特性情報の変化が検出さ
れないときは現在の階調変換曲線を用いて、それぞれ上
記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像
群に変換する階調変換手段と、を有することを特徴とす
るものである。

【００１２】請求項２に係る発明によると、選択手段に
おいて撮影条件に基づいて適切なタイミングで画像が抽
出され、その抽出された順次の画像の特性情報の変化が
検出手段で検出され、かつ当該画像の特性情報に対応す
る特性情報が記録手段に記録されていないときは、選択
手段で抽出された画像に基づいて算出手段で階調変換曲
線が算出されて、その新たに算出された階調変換曲線と
そのシーンを特徴付ける当該画像の特性情報とが組とし
て記録手段に記録されると共に、その新たに算出された
階調変換曲線を用いて階調変換手段によりＭビット階調
幅の画像群がＮビット階調幅の画像群に変換される。ま
た、検出手段で特性情報の変化が検出され、かつその特
性情報に対応する特性情報が記録手段に記録されている
ときは、記録手段に記録されている特性情報と対応する
階調変換曲線を用いて階調変換手段によりＭビット階調
幅の画像群がＮビット階調幅の画像群に変換され、検出
手段で特性情報の変化が検出されないときは、算出手段
で階調変換曲線を算出することなく、階調変換手段にお
いて現在使用している階調変換曲線でＭビット階調幅の
画像群がＮビット階調幅の画像群に変換される。したが
って、シーン変化に合わせて自動的に適切なタイミング
で階調変換曲線を設定することができると共に、無駄な
計算を省いてシーン変化に対して迅速かつ適切に階調変
換でき、高品位で安定した階調変換画面を得ることがで
きる。

【００１３】請求項３に係る発明は、請求項１または２
に記載の撮像システムにおいて、さらに、同一被写体に
対して異なる露光条件で撮像した少なくとも二枚のフレ
ームまたはフィールド単位の画像を合成して上記Ｍビッ
トの階調幅の画像群を生成する合成手段を有することを
特徴とするものである。

【００１４】請求項３に係る発明によると、異なる露光
の画像を合成して１枚の広ダイナミックレンジの画像を
生成することで、撮像系で扱うことのできる階調幅以上
の画像から階調変換を行うので、黒潰れや白飛びの少な
いより高品位な画像を得ることができる。

【００１５】請求項４に係る発明は、請求項１，２また
は３に記載の撮像システムにおいて、上記選択手段は、
上記撮像系により単位時間あたりに撮影される画像枚
数、画像サイズ、露光条件、合焦条件、ホワイトバラン
ス条件、ズーム位置、カメラ位置の少なくとも一つの撮
影条件に基づいて、上記時間間隔を設定する時間設定手
段を有することを特徴とするものである。

【００１６】請求項４に係る発明によると、選択手段に
おいて撮影状況に応じたタイミングで画像が選択される
ので、シーン変化の検出能が向上する。

【００１７】請求項５に係る発明は、請求項１〜４のい
ずれか一項に記載の撮像システムにおいて、上記選択手
段は、上記選択された画像を縮小する縮小手段を有する
ことを特徴とするものである。

【００１８】請求項５に係る発明によると、選択手段に
おいて選択した画像を縮小して出力するので、後段の処
理を軽減でき、低コストのシステムを実現することがで
きる。また、縮小する段階で画像の微小変化が吸収され
るので、算出手段で算出される階調変換曲線の特性が安
定し、したがってそれにより階調変換される画像が見易
くなる。さらに、特定領域ではなく画像全体からシーン
変化を検出することができるので、被写体の位置によら
ないシーン変化の検出が可能となる。

【００１９】請求項６に係る発明は、請求項５に記載の
撮像システムにおいて、上記縮小手段は、上記時間間隔
に基づいて、単位時間あたりに処理する情報量が一定値
以下となるように上記選択された画像を適用的に縮小す
るよう構成されていることを特徴とするものである。

【００２０】請求項６に係る発明によると、画像が選択
される時間間隔に応じて単位時間あたりに処理する情報
量が一定となるよう選択された画像を縮小するので、後
段の処理が追随できず遅延したタイミングで階調変換が
行なわれるのを防止できる。また、後段の処理が軽減さ
れるので、低コストのシステムを実現できると共に、縮
小する段階で画像の微小変化が吸収されるので、後段の
算出手段において安定した階調変換曲線を算出すること
ができる。さらに、特定領域ではなく画像全体からシー
ン変化を検出することができるので、被写体の位置によ
らないシーン変化の検出が可能となる。

【００２１】請求項７に係る発明は、請求項１〜６のい
ずれか一項に記載の撮像システムにおいて、上記検出手
段は、上記特性情報として、上記選択手段で選択された
画像の平均輝度レベルを算出する輝度算出手段と、上記
輝度算出手段で算出された順次の画像間における平均輝
度レベルの変化に基づいてシーン変化の有無を判断する
判断手段と、を有することを特徴とするものである。

【００２２】請求項７に係る発明によると、選択された
画像の輝度値の時系列的な変化からシーン変化を検出す
るので、少ない演算量および低コストな処理系でシーン
変化を検出することができる。

【００２３】請求項８に係る発明は、請求項１〜６のい
ずれか一項に記載の撮像システムにおいて、上記検出手
段は、上記特性情報として、上記選択手段で選択された
順次の２枚の画像から動きベクトルを算出する動きベク
トル算出手段と、上記動きベクトル算出手段で算出され
た動きベクトルに基づいてシーン変化の有無を判断する
判断手段と、を有することを特徴とするものである。

【００２４】請求項８に係る発明によると、動きベクト
ルの時系列的な変化に基づいてシーン変化を検出するの
で、主要被写体に重きを置いた階調変換が可能となり、
高品位な画像を得ることができる。

【００２５】請求項９に係る発明は、請求項１〜６のい
ずれか一項に記載の撮像システムにおいて、上記検出手
段は、上記特性情報として、上記選択手段で選択された
画像からヒストグラムを算出するヒストグラム算出手段
と、上記ヒストグラム算出手段で算出された順次の画像
間におけるヒストグラムの変化に基づいてシーン変化の
有無を判断する判断手段と、を有することを特徴とする
ものである。

【００２６】請求項９に係る発明によると、ヒストグラ
ムの時系列的な変化からシーン変化を検出するので、比
較的少ない演算量および低コストな処理系でシーン変化
を検出することができる。また、暗部や明部を除いた中
間の階調に重きを置くことで、シーン変化の検出能を向
上することができる。

【００２７】請求項１０に係る発明は、請求項２または
３に記載の撮像システムにおいて、上記検出手段は、上
記選択手段で選択された画像の特性情報と上記記録手段
に記録されている複数の特性情報との類似度を算出する
類似度算出手段と、上記類似度算出手段で算出された類
似度が所定条件を満たす場合に、当該類似する特性情報
と組をなす階調変換曲線を上記記録手段から読み出す読
み出し手段と、を有することを特徴とするものである。

【００２８】請求項１０に係る発明によると、シーン変
化が検出された場合には、記録手段に記録されている過
去の特性情報との類似性を求め、類似性が高い場合には
その過去の特性情報と組をなして記録されている過去の
階調変換曲線を用いて階調変換が行なわれるので、類似
するシーンの場合には階調変換曲線を算出する手間を省
略することが可能となり、高速処理が可能となる。

【００２９】請求項１１に係る発明は、請求項１〜６の
いずれか一項に記載の撮像システムにおいて、上記検出
手段は、上記特性情報の変化として、上記選択手段で選
択された画像の露光条件または合焦条件の撮影条件を検
出する撮影条件検出手段と、上記撮影条件検出手段で検
出された順次の画像間における撮影条件の変化に基づい
てシーン変化の有無を判断する判断手段と、を有するこ
とを特徴とするものである。

【００３０】請求項１１に係る発明によると、画像の露
光条件または合焦条件の撮影条件の変化に基づいてシー
ン変化が検出されるので、撮影条件の変化に合わせて自
動的に適切なタイミングで階調変換曲線を設定すること
ができる。

【００３１】請求項１２に係る発明は、請求項１〜１１
のいずれか一項に記載の撮像システムにおいて、上記算
出手段は、上記選択手段で選択された画像を輝度信号と
色差信号とに分離する分離手段と、上記分離手段で分離
された輝度信号レベルに基づいて適正露光域を抽出する
抽出手段と、上記抽出手段で抽出された適正露光域に関
する特徴量を算出する特徴量算出手段と、上記特徴量算
出手段で算出された特徴量に基づいてヒストグラムを作
成するヒストグラム作成手段と、上記ヒストグラム作成
手段で作成されたヒストグラムに基づいて階調変換曲線
を算出する階調変換曲線算出手段と、を有することを特
徴とするものである。

【００３２】請求項１２に係る発明によると、選択手段
で選択された画像の適正露光域における特徴量を表わす
ヒストグラムに基づいて階調変換曲線が算出されるの
で、平坦な背景部を除去して主要被写体に重きを置いた
階調変換曲線を算出することができ、高品位な画像を得
ることができる。

【００３３】請求項１３に係る発明は、請求項１〜１２
のいずれか一項に記載の撮像システムにおいて、上記算
出手段は、さらに、上記検出手段で特性情報の変化が検
出された場合のみ、上記算出手段で階調変換曲線を算出
させるように制御する制御手段を有することを特徴とす
るものである。

【００３４】請求項１３に係る発明によると、シーン変
化が検出された場合のみ、階調変換曲線が算出されるの
で、不必要な階調変換曲線の算出を省略でき、高速処理
が可能になると共に、後段の処理の負担を軽減すること
ができる。

【００３５】請求項１４に係る発明は、請求項２または
３に記載の撮像システムにおいて、上記記録手段は、上
記特性情報および階調変換曲線を記録する特性情報・階
調変換曲線記録手段と、上記特性情報・階調変換曲線記
録手段の記録領域の残量を監視する監視手段と、上記階
調変換手段から読み出された階調変換曲線の履歴を管理
する履歴管理手段と、上記監視手段での監視結果に基づ
いて、上記特性情報・階調変換曲線記録手段の記録領域
の残量が所定値以下となった場合に、上記履歴管理手段
での履歴監視結果に基づいて、最も読み出し回数の少な
い特性情報および階調変換曲線を上記特性情報・階調変
換曲線記録手段から破棄する破棄手段と、を有すること
を特徴とするものである。

【００３６】請求項１４に係る発明によると、画像の特
性情報および階調変換曲線を記録する特性情報・階調変
換曲線記録手段における記録領域の残量が少なくなった
場合は、読み出し回数が最少の階調変換曲線およびそれ
に対応する特性情報から破棄されるので、シーン変化が
生じた場合に、過去に使用された頻度の高いものが優先
的に保存され続けることになり、高速な処理を実現する
ことが可能となる。

【００３７】請求項１５に係る発明は、請求項１〜１４
のいずれか一項に記載の撮像システムにおいて、さら
に、標準階調変換曲線を記録する標準階調変換曲線記録
手段と、電源投入時などの初期化状況を検出する初期化
検出手段と、上記初期化検出手段の出力に基づいて上記
標準階調変換曲線記録手段に記録されている標準階調変
換曲線を上記階調変換手段へ転送する転送手段と、を有
することを特徴とするものである。

【００３８】請求項１５に係る発明によると、初期化状
況と判断された場合には、予め記録されている標準とな
る階調変換曲線が設定されるので、電源投入時などの階
調変換曲線が算出されていない状況においても、階調変
換が可能となる。

【００３９】請求項１６に係る発明は、請求項１〜１４
のいずれか一項に記載の撮像システムにおいて、さら
に、標準階調変換曲線を記録する標準階調変換曲線記録
手段と、上記撮像系から単位時間あたりに撮影される画
像枚数、画像サイズ、露光条件、合焦条件、ホワイトバ
ランス条件、ズーム位置、カメラ位置の少なくとも一つ
に基づいて撮影条件の変化を検出する撮影条件検出手段
と、上記撮影条件検出手段での検出結果に基づいて上記
標準階調変換曲線記録手段に記録されている標準階調変
換曲線を上記階調変換手段へ転送する転送手段と、上記
撮影条件検出手段での検出結果に基づいて上記選択手段
における画像選択の時間間隔を零に設定して現時点の画
像を選択させるリセット手段と、を有することを特徴と
するものである。

【００４０】請求項１６に係る発明によると、撮影条件
が変更された場合には標準的な階調変換曲線が設定され
るので破綻の少ない階調変換画像を得ることができると
共に、変更直後の画像で新規の階調変換曲線が算出され
るので、短時間で高品位な階調変換画像を生成すること
ができる。

【００４１】

【発明の実施の形態】以下、本発明による撮像システム
の実施の形態について、図１〜図１０を参照して説明す
る。

【００４２】図１〜図６は本発明の第１実施の形態を示
すもので、図１は撮像システム全体の構成を示すブロッ
ク図、図２は図１に示す選択部の一例の構成を示すブロ
ック図、図３は選択部における時間設定用関数の説明
図、図４は図１に示す検出部の一例の構成を示すブロッ
ク図、図５は図１に示す算出部の一例の構成を示すブロ
ック図、図６は図１に示す階調変換部の一例の構成を示
すブロック図である。

【００４３】図１に示す撮像システムでは、動画等の映
像を、レンズ系１００、絞り１０１、ローパスフィルタ
１０２および単板式のＣＣＤ１０３を有する撮像系で撮
影し、この撮像系のＣＣＤ１０３から出力されるアナロ
グ映像信号をＡ／Ｄ変換器１０４でデジタル信号に変換
して、画像用バッファ１０５を介して測光評価部１０
６、合焦点検出部１０７および信号処理部１０９へそれ
ぞれ転送する。

【００４４】測光評価部１０６は、絞り１０１およびＣ
ＣＤ１０３にそれぞれ接続し、合焦点検出部１０７はＡ
Ｆモータ１０８に接続する。また、信号処理部１０９
は、階調変換部（階調変換手段）１１０およびＤ／Ａ変
換器１１１を経てモニタやビデオレコーダなどの出力部
１１２に接続すると共に、選択部（選択手段）１１３を
経て検出部（検出手段）１１４および算出部（算出手
段）１１５にそれぞれ接続する。また、階調変換部１１
０には、算出部１１５および標準階調曲線ＲＯＭ（標準
階調曲線記録手段）１１６をそれぞれ接続する。

【００４５】上記の測光評価部１０６、合焦点検出部１
０７、信号処理部１０９、階調変換部１１０、出力部１
１２、選択部１１３、検出部１１４、算出部１１５は、
さらにマイクロコンピュータなどの制御部１１７に接続
し、制御部１１７には、さらに電源スイッチ、シャッタ
ボタン、撮影時の各種モードの切り替えを行うためのイ
ンターフェースを備えた外部Ｉ／Ｆ部１１８を接続す
る。ここで、制御部１１７は全体の動作を制御する制御
手段を構成する他、初期化検出手段、撮影条件検出手段
およびリセット手段も構成する。なお、図１、図２およ
び図４〜図６において、太線の実線で示す信号ラインは
映像信号ラインを示し、細線の実線で示す信号ラインは
制御信号ラインを示し、破線で示す信号ラインはその他
のデータラインを示している。

【００４６】図１に示す撮像システムは、使用者が外部
Ｉ／Ｆ部１１８を介して画像サイズやフレーム数などの
撮影条件を指定し、その後、シャッタボタンを押すこと
により撮影を開始する。この撮影開始によりＣＣＤ１０
３から得られる映像信号は、Ａ／Ｄ変換器１０４でデジ
タル信号に変換して画像用バッファ１０５へ転送して格
納する。本実施の形態では、デジタル化された信号の階
調幅を例えば１２ビットとする。

【００４７】画像用バッファ１０５へ転送された映像信
号は、測光評価部１０６および合焦点検出部１０７へそ
れぞれ転送する。測光評価部１０６では、映像信号から
画像中の輝度レベル（露光条件）を算出し、その輝度レ
ベルに基づいて適正露光となるように絞り１０１やＣＣ
Ｄ１０３の電子シャッタ速度などを制御する。また、合
焦点検出部１０７では、映像信号から画像中のエッジ強
度（合焦条件）を検出し、そのエッジ強度が最大となる
ように、すなわち合焦画像が得られるようにＡＦモータ
１０８を制御する。これら測光評価部１０６で算出され
た露光条件、および合焦点検出部１０７で検出された合
焦条件などの撮影時の条件は、制御部１１７へ転送す
る。

【００４８】信号処理部１０９では、制御部１１７の制
御のもとに、画像用バッファ１０５上の単板状態の映像
信号を読み込み、その映像信号に基づいて公知の補間処
理、ホワイトバランス処理、強調処理などを行なって三
板状態の映像信号を生成し、その生成した映像信号を選
択部１１３により所定時間間隔で選択して検出部１１４
へ転送する。

【００４９】検出部１１４では、選択された映像信号
（画像）から所定の特性情報を算出し、その算出した特
性情報と、前回選択された画像から既に算出されている
特性情報とを比較してシーン変化の有無を検出し、その
結果を制御部１１７へ転送する。

【００５０】制御部１１７では、検出部１１４からの信
号に基づいて、シーン変化が検出された場合には、算出
部１１５において選択部１１３で選択された画像に基づ
いて新たな階調変換曲線を算出して階調変換部１１０へ
転送するように制御する。

【００５１】これに対し、シーン変化が検出されなかっ
た場合には、算出部１１５で新たな階調変換曲線を算出
することなく、階調変換部１１０において現在使用して
いる階調変換曲線の使用を継続させるように制御する。
なお、電源投入時などの初期化状況を制御部１１７が検
知した場合は、階調変換部１１０において標準階調曲線
ＲＯＭ１１６に格納されている階調変換曲線を読み込む
ように制御する。

【００５２】階調変換部１１０では、上記のようにして
得られた階調変換曲線に基づいて信号処理部１０９から
の信号を出力系の階調幅に整合するように変換する。本
実施の形態では、出力系の階調幅を、例えば８ビットと
する。この階調変換部１１０から出力されるデジタル映
像信号は、Ｄ／Ａ変換器１１１でアナログの映像信号に
変換して、モニタやビデオレコーダなどの出力部１１２
へ出力する。

【００５３】次に、上記の選択部１１３、検出部１１
４、算出部１１５、および階調変換部１１０の各部の詳
細な構成および動作について説明する。

【００５４】図２は、選択部１１３の一例の構成を示す
ブロック図である。この選択部１１３は、時間設定部
（時間設定手段）２００、関数用ＲＯＭ２０１、画像読
み込み部２０２、縮小部（縮小手段）２０３、縮小画像
用バッファ２０４を有している。時間設定部２００は、
制御部１１７、関数用ＲＯＭ２０１および画像読み込み
部２０２に接続し、画像読み込み部２０２は、さらに制
御部１１７、信号処理部１０９および縮小部２０３に接
続し、縮小部２０３は、さらに縮小画像用バッファ２０
４に接続し、縮小画像用バッファ２０４は、さらに検出
部１１４および算出部１１５にそれぞれ接続する。

【００５５】時間設定部２００には、制御部１１７を経
て測光評価部１０６、合焦点検出部１０７、外部Ｉ／Ｆ
部１１８からの情報を転送する。時間設定部２００で
は、外部Ｉ／Ｆ部１１８から得られる画像サイズやフレ
ーム数などの情報に基づいて関数用ＲＯＭ２０１に設定
された関数から画像を選択する時間間隔を決定する。

【００５６】図３は、関数用ＲＯＭ２０１に設定される
時間設定用関数の一例を示すものである。この時間設定
関数は、後段の処理系に対する負荷が増加しないよう
に、画像サイズまたはフレーム数が大きくなるに従って
時間間隔が長く設定されるようになっている。

【００５７】なお、フレーム数が０の場合は静止画像撮
影を意味し、この場合の時間間隔は０となり、全ての画
像が選択されることになる。また、時間設定部２００
は、測光評価部１０６、合焦点検出部１０７からの測
光、合焦条件が急変した場合にはシーン変化が生じたと
判断し、時間間隔を０に設定する。これ以外にも、ホワ
イトバランス、レンズのズーム位置、カメラの移動など
の情報を用いてシーン変化を検出することも可能であ
る。さらに、シーン変化量が所定値を越えて、現在の階
調変換曲線では画像が破綻する可能性が高い場合には、
新たな階調変換曲線の算出を待たずに標準階調曲線ＲＯ
Ｍ１１６の階調変換曲線へ切り換えることも可能であ
る。また、上記の時間設定用関数を複数用意して、目的
に応じて切り換えるなどの拡張も可能である。

【００５８】画像読み込み部２０２は、時間設定部２０
０による制御に基づいて所定の時間間隔で信号処理部１
０９からの信号を読み込んで縮小部２０３へ転送する。
縮小部２０３は、予め定められた縮小率、例えば１／８
等で画像を縮小処理し、縮小画像用バッファ２０４へ転
送して格納する。なお、縮小部２０３における縮小率
は、固定にする必要はなく、可変にしても良い。例え
ば、縮小画像サイズと選択する時間間隔とから単位時間
内の情報量を求め、この情報量が一定値以下になるよう
に縮小率を制御することも可能である。

【００５９】縮小画像用バッファ２０４は、複数枚の縮
小画像を記録できるリング状バッファで、バッファが一
杯になると古い画像から上書きするように構成する。こ
の縮小画像用バッファ２０４内の縮小画像は、検出部１
１４または算出部１１５へ転送する。

【００６０】図４は、検出部１１４の一例の構成を示す
ブロック図である。この検出部１１４は、輝度算出部
（輝度算出手段）３００、輝度値用バッファ３０１、お
よび判断部（判断手段）３０２を有している。輝度算出
部３００は、制御部１１７および選択部１１３にそれぞ
れ接続すると共に、輝度値用バッファ３０１を経て判断
部３０２に接続し、判断部３０２は、さらに制御部１１
７に接続する。

【００６１】輝度算出部３００は、制御部１１７による
制御に基づいて選択部１１３から上記の縮小画像を取り
込み、縮小画像の平均輝度値を算出する。この平均輝度
値は輝度値用バッファ３０１へ転送して保存する。輝度
値用バッファ３０１は、平均輝度値を記録するリング状
バッファで、バッファが一杯になると、古い平均輝度値
から上書きするように構成する。

【００６２】判断部３０２は、輝度値用バッファ３０１
からの平均輝度値の時系列的な変化を監視し、所定の閾
値以上の変化が所定回数連続して発生した場合にシーン
変化が生じたと判断する。この判断結果は、制御部１１
７へ転送する。

【００６３】図５は、算出部１１５の一例の構成を示す
ブロック図である。この算出部１１５は、輝度算出部
（分離手段）４００、適正露光抽出部（抽出手段）４０
１、エッジ抽出部（特徴量算出手段）４０２、ヒストグ
ラム作成部（ヒストグラム作成手段）４０３、および変
換曲線算出部（階調変換曲線算出手段）４０４を有して
いる。輝度算出部４００は、制御部１１７および選択部
１１３にそれぞれ接続すると共に、適正露光抽出部４０
１を介してエッジ抽出部４０２に接続し、またヒストグ
ラム作成部４０３を介して変換曲線算出部４０４に接続
する。適正露光抽出部４０１は、さらに制御部１１７に
接続し、ヒストグラム作成部４０３は、さらに適正露光
抽出部４０１およびエッジ抽出部４０２にそれぞれ接続
し、変換曲線算出部４０４は、さらに制御部１１７およ
び階調変換部１１０にそれぞれ接続する。

【００６４】輝度算出部４００は、制御部１１７による
制御のもとに、検出部１１４でシーン変化が検出された
場合に、選択部１１３からの上記の縮小画像を取り込ん
で、その輝度を算出する。この輝度算出部４００で算出
された輝度信号は、適正露光抽出部４０１で暗部および
明部に関する所定の閾値（例えば１２ビット階調なら暗
部が「１２８」、明部が「３９６８」）と比較し、暗部
の閾値以上で明部の閾値以下の輝度信号を適性露光域と
して抽出して、エッジ抽出部４０２およびヒストグラム
作成部４０３へそれぞれ転送する。

【００６５】エッジ抽出部４０２では、適正露光抽出部
４０１からの輝度信号に対して公知のエッジ検出を行な
い、所定の閾値以上のエッジ強度を有する画素をエッジ
部として抽出し、その情報をヒストグラム作成部４０３
へ転送する。

【００６６】ヒストグラム作成部４０３では、上記の適
性露光域の情報とエッジ部の情報とに基づいて、輝度算
出部４００からの輝度信号の中から、適正露光域内のエ
ッジ部における輝度信号のヒストグラムを作成して変換
曲線算出部４０４へ転送する。

【００６７】変換曲線算出部４０４では、ヒストグラム
作成部４０３からのヒストグラムを累積することで階調
変換曲線を求め、それを階調変換部１１０へ転送する。

【００６８】図６は、階調変換部１１０の一例の構成を
示すブロック図である。この階調変換部１１０は、Ｙ／
Ｃ分離部５００、輝度信号バッファ５０１、色差信号バ
ッファ５０２、輝度補正部５０３、階調変換曲線読み込
み部（転送手段）５０４、補正輝度信号バッファ５０
５、色差補正部５０６、およびＹ／Ｃ合成部５０７を有
している。

【００６９】Ｙ／Ｃ分離部５００は、信号処理部１０９
に接続すると共に、輝度信号バッファ５０１および色差
信号バッファ５０２にそれぞれ接続する。輝度信号バッ
ファ５０１は、さらに色差補正部５０６に接続すると共
に、輝度補正部５０３および補正輝度信号バッファ５０
５を経てＹ／Ｃ合成部５０７に接続する。色差信号バッ
ファ５０２は、さらに色差補正部５０６を経てＹ／Ｃ合
成部５０７に接続する。また、補正輝度信号バッファ５
０５は、さらに色差補正部５０６に接続し、Ｙ／Ｃ合成
部５０７は、さらにＤ／Ａ変換器１１１に接続する。さ
らに、階調変換曲線読み込み部５０４は、算出部１１５
および標準階調曲線ＲＯＭ１１６に接続すると共に、輝
度補正部５０３に接続する。さらに、上記のＹ／Ｃ分離
部５００、輝度補正部５０３、階調変換曲線読み込み部
５０４、色差補正部５０６、およびＹ／Ｃ合成部５０７
は制御部１１７にそれぞれ接続する。

【００７０】信号処理部１０９からの映像信号は、Ｙ／
Ｃ分離部５００で輝度信号と色差信号とに分離して、輝
度信号を輝度信号バッファ５０１に、色差信号を色差信
号バッファ５０２にそれぞれ格納する。また、階調変換
曲線読み込み部５０４は、制御部１１７による制御のも
とに、電源投入などの初期化状況が検出された場合に
は、標準階調曲線ＲＯＭ１１６に格納されている標準の
階調変換曲線を読み込み、検出部１１４にてシーン変化
が検出された場合には、算出部１１５からの新規の階調
変換曲線を読み込む。

【００７１】輝度信号バッファ５０１に格納された輝度
信号は、輝度補正部５０３および色差補正部５０６にそ
れぞれ転送する。輝度補正部５０３では、輝度信号バッ
ファ５０１からの輝度信号を、階調変換曲線読み込み部
５０４に読み込まれた所定の階調変換曲線に基づいて出
力系の階調幅、本実施の形態では８ビットに変換し、そ
の変換した輝度信号を補正輝度信号バッファ５０５を経
て、Ｙ／Ｃ合成部５０７および色差補正部５０６にそれ
ぞれ転送する。

【００７２】また、色差信号バッファ５０２に格納され
た色差信号は、色差補正部５０６へ転送する。色差補正
部５０６では、輝度信号バッファ５０１および補正輝度
信号バッファ５０５からの階調変換前後の輝度信号と色
の存在し得る理論限界モデルとに基づいて色差信号を補
正する補正係数を算出し、この算出した補正係数により
色差信号バッファ５０２からの色差信号を補正して、そ
の補正された色差信号をＹ／Ｃ合成部５０７へ転送す
る。

【００７３】Ｙ／Ｃ合成部５０７では、補正輝度信号バ
ッファ５０５からの階調変換後の輝度信号と、色差補正
部５０６からの補正された色差信号とを合成し、その合
成された映像信号をＤ／Ａ変換器１１１へ転送する。

【００７４】このように、本実施の形態では、時系列的
に撮像される画像に対して、選択部１１３で画像サイズ
やフレーム数などの撮影条件に適した時間間隔で画像を
選択し、その選択された画像の特性に基づいて検出部１
１４でシーン変化の有無を検出し、画像自体あるいはそ
の測光情報や合焦情報からシーン変化が検出された場合
には算出部１１５で新規の階調変換曲線を算出し、シー
ン変化が検出された場合には算出部１１５で新たに算出
された階調変換曲線を用いて、またシーン変化が検出さ
れない場合には現在の階調変換曲線を用いて階調変換部
１１０で各画像の階調特性を変換するようにしたので、
適切なタイミングで階調変換曲線を算出でき、高品位の
画像を得ることができる。また、選択された画像からシ
ーン変化を検出する際に、画像を縮小処理するようにし
たので、処理系を小規模かつ低コストにできると共に、
縮小処理することにより画像の微小変化が吸収されるの
で安定した画像を得ることができる。しかも、特定領域
からではなく、画像全体からシーン変化を検出するよう
にしたので、被写体位置によることなくシーン変化を検
出することができる。また、標準階調曲線を格納する標
準階調曲線ＲＯＭ１１６を設けたので、初期化状況など
にも対応することができる。

【００７５】図７〜図１０は本発明の第２実施の形態を
示すもので、図７は撮像システム全体の構成を示すブロ
ック図、図８は図７に示す検出部の一例の構成を示すブ
ロック図、図９は図８に示す検出部におけるヒストグラ
ムの類似度性算出を説明するための図、図１０は図７に
示す記録部の一例の構成を示すブロック図である。

【００７６】本実施の形態の撮像システムは、第１実施
の形態における撮像システムにおいて、画像用バッファ
１０５に代えて第１画像用バッファ６００、第２画像用
バッファ６０１および合成部（合成手段）６０２を設け
ると共に、検出部１１４、算出部１１５、制御部１１
７、および階調変換部１１０にそれぞれ接続して記録部
６０３を付加し、さらに検出部１１４を第１実施の形態
とは異なる構成としたものであり、その他の構成は第１
実施の形態と同様であるので、同様の作用を行なう構成
要素には同一参照番号を付して、その詳細な説明は省略
する。

【００７７】図７において、第１画像用バッファ６００
および第２画像用バッファ６０１は、Ａ／Ｄ変換器１０
４に接続すると共に、合成部６０２を経て信号処理部１
０９に接続し、第１画像用バッファ６００はさらに測光
評価部１０６および合焦点検出部１０７に接続する。な
お、図７、図８および図１０において、太線の実線で示
す信号ラインは映像信号ラインを示し、細線の実線で示
す信号ラインは制御信号ラインを示し、破線で示す信号
ラインはその他のデータラインを示している。

【００７８】図７に示す撮像システムは、使用者が外部
Ｉ／Ｆ部１１８を介して画像サイズやフレーム数などの
撮影条件を指定し、その後、シャッタボタンを押すこと
により撮影を開始する。この撮影開始によりＣＣＤ１０
３から得られる映像信号は、Ａ／Ｄ変換器１０４でデジ
タル信号に変換し、長時間露光用画像として第１画像用
バッファ６００へ転送して格納する。本実施の形態で
は、デジタル化された信号の階調幅を、第１実施の形態
と同様に例えば１２ビットとする。この第１画像用バッ
ファ６００に格納された映像信号は、測光評価部１０６
および合焦点検出部１０７へそれぞれ転送して、露光条
件および合焦条件を算出する。

【００７９】次に、測光評価部１０６で算出された露光
条件に対して所定の露光比、例えば１／８となるような
露光条件で２枚目の画像を撮影し、その映像信号をＡ／
Ｄ変換器１０４でデジタル信号に変換して、短時間露光
画像として第２画像用バッファ６０１へ転送して格納す
る。

【００８０】合成部６０２では、第１画像用バッファ６
００に格納された長時間露光画像および第２画像用バッ
ファ６０１に格納された短時間露光用画像を順に読み込
み、まず、長時間露光画像に関して所定の閾値（例えば
１２ビット階調なら「３８９０」）以下の領域の信号を
適性露光領域として残し、次に、適性露光領域以外の領
域に対応する短時間露光画像を読み込み、その露光比を
補正して（例えば短時間露光が長時間露光に対して１／
８の露光比に設定されている場合には８倍に補正し
て）、長時間露光の適正露光領域の画像と合成する。こ
の合成部６０２で合成した映像信号は、信号処理部１０
９へ転送し、ここで第１実施の形態と同様に処理して三
板状態の映像信号を生成する。

【００８１】信号処理部１０９で生成した映像信号は、
第１実施の形態と同様に、選択部１１３において所定時
間間隔で選択して検出部１１４へ転送する。

【００８２】検出部１１４では、第１実施の形態と同様
に、選択された映像信号（画像）から所定の特性情報を
算出して、その算出した特性情報と、前回選択された画
像から既に算出されている特性情報とを比較してシーン
変化の有無を検出するが、ここでシーン変化が検出され
た場合には、記録部６０３に記録されている過去の特性
情報を参照して類似する特性情報が記録されているか否
かを判断し、それらの結果を制御部１１７へ転送する。

【００８３】制御部１１７は、検出部１１４からの信号
に基づいて、シーン変化が検出され、かつ記録部６０３
に類似する特性情報が存在する場合には、その類似する
特性情報に対応する階調変換曲線を記録部６０３から読
み込むように階調変換部１１０を制御する。また、シー
ン変化が検出され、かつ記録部６０３に類似する特性情
報が存在しない場合には、算出部１１５において選択部
１１３で選択された画像から新たな階調変換曲線を算出
して階調変換部１１０へ転送するように制御すると同時
に、算出部１１５で算出した新たな階調変換曲線と、検
出部１１４で算出した画像の特性情報とを記録部６０３
へ転送して、両者を組として保存する。

【００８４】これに対し、シーン変化が検出されなかっ
た場合には、第１実施の形態と同様に、算出部１１５で
新たな階調変換曲線を算出することなく、現在使用して
いる階調変換曲線の使用を継続するように階調変換部１
１０を制御する。なお、電源投入時などの初期化状況を
制御部１１７が検知した場合は、階調変換部１１０にお
いて標準階調曲線ＲＯＭ１１６に格納されている階調変
換曲線を読み込むように制御する。

【００８５】階調変換部１１０では、上記のようにして
得られた階調変換曲線に基づいて信号処理部１０９から
の信号を出力系の階調幅に整合するように変換する。本
実施の形態では、出力系の階調幅を、例えば８ビットと
する。この階調変換部１１０から出力されるデジタル映
像信号は、Ｄ／Ａ変換器１１１でアナログの映像信号に
変換して、モニタやビデオレコーダなどの出力部１１２
へ出力する。

【００８６】図８は、図７に示した検出部１１４の一例
の構成を示すブロック図である。この検出部１１４は、
ヒストグラム算出部（ヒストグラム算出手段）７００、
ヒストグラム用バッファ７０１、判断部（判断手段）７
０２、類似度算出部（類似度算出手段）７０３、および
階調変換曲線指定部（読み出し手段）７０４を有してい
る。ヒストグラム算出部７００、判断部７０２、類似度
算出部７０３、および階調変換曲線指定部７０４は、制
御部１１７にそれぞれ接続する。また、ヒストグラム算
出部７００は、さらに選択部１１３に接続すると共に、
ヒストグラム用バッファ７０１を介して、記録部６０
３、判断部７０２、および類似度算出部７０３にそれぞ
れ接続する。判断部７０２は、さらに類似度算出部７０
３に接続し、類似度算出部７０３は、さらに記録部６０
３および階調変換曲線指定部７０４に接続し、階調変換
曲線指定部７０４は、さらに記録部６０３に接続する。

【００８７】図８に示す検出部１１４において、ヒスト
グラム算出部７００は、制御部１１７の制御に基づいて
選択部１１３から縮小画像を取り込み、その縮小画像の
ヒストグラムを算出する。このヒストグラムは、ヒスト
グラム用バッファ７０１へ転送して保存する。ヒストグ
ラム用バッファ７０１は、ヒストグラムを記録できるリ
ング状バッファで、バッファが一杯になると、古いヒス
トグラムから上書きするよう構成する。

【００８８】判断部７０２は、ヒストグラム用バッファ
７０１からのヒストグラムの形状変化を監視して、所定
以上の形状変化が発生し、その状況が所定回数連続した
場合にシーン変化が生じたものと判断して、その判断結
果を制御部１１７へ転送する。

【００８９】ここで、シーン変化が生じたと判断された
場合には、制御部１１７により類似度算出部７０３を制
御して、シーン変化が生じたと判断されたヒストグラム
用バッファ７０１上のヒストグラムと記録部６０３に記
録されているヒストグラムとの類似度を求める。

【００９０】図９は、この類似度算出法を説明するため
の図で、図９（ａ）はヒストグラム用バッファ７０１上
のヒストグラムと、そのヒストグラムに対する所定の許
容範囲、例えば±２０％の範囲のヒストグラムとを示し
ており、図９（ｂ）は記録部６０３に記録されている比
較対象となる過去のヒストグラムを示しており、図９
（ｃ）はある階調値に対するヒストグラム用バッファ７
０１上のヒストグラムおよびその許容範囲と、記録部６
０３上の比較対象となる過去のヒストグラムの値とを示
している。

【００９１】類似度算出部７０３では、記録部６０３上
の過去のヒストグラムの値が許容範囲内に含まれるかを
階調値を変えながら順次判断する。ここで、許容範囲内
に含まれる階調値の総数が全階調値に対して所定の割合
以上、例えば７０％以上の場合には、両者のヒストグラ
ムは類似度が高いと判断し、それ以外の場合には類似度
が低いと判断して、その結果を制御部１１７へ転送す
る。なお、上記ヒストグラムの類似度を判断する際に使
用する許容範囲は、全階調で一定である必要はなく、例
えば暗部や明部では広く、あるいは無視するように設定
し、中間調では狭く設定することも可能である。この場
合、主要被写体が存在するであろう中間調での判断基準
が厳しくなり、より類似度の高い階調変換曲線が選択さ
れることになる。

【００９２】ここで、類似度が高いと判断された場合に
は、制御部１１７は階調変換曲線指定部７０４を制御し
て、記録部６０３から上記ヒストグラムと組になってい
る階調変換曲線を選択し、その情報を制御部１１７へ転
送する。これに対し、記録部６０３に記録されている全
ヒストグラムに対して類似度が低いと判断された場合に
は、制御部１１７は算出部１１５に対して新規の階調変
換曲線を算出するように制御する。

【００９３】図１０は、図７に示した記録部６０３の一
例の構成を示すブロック図である。この記録部６０３
は、特性記録部８００、階調変換曲線記録部８０１、監
視部（監視手段）８０２、履歴管理部（履歴管理手段）
８０３、および破棄制御部（破棄手段）８０４を有して
いる。なお、特性記録部８００および階調変換曲線記録
部８０１は、特性記録部・階調変換曲線記録手段を構成
している。監視部８０２、履歴管理部８０３、および破
棄制御部８０４は、制御部１１７にそれぞれ接続する。
特性記録部８００は、検出部１１４、監視部８０２およ
び破棄制御部８０４にそれぞれ接続し、監視部８０２
は、さらに階調変換曲線記録部８０１および破棄制御部
８０４にそれぞれ接続し、破棄制御部８０４は、さらに
階調変換曲線記録部８０１および履歴管理部８０３に接
続する。また、階調変換曲線記録部８０１は、さらに、
算出部１１５、履歴管理部８０３および階調変換部１１
０にそれぞれ接続する。

【００９４】図１０に示す記録部６０３において、特性
記録部８００は検出部１１４からの画像の特性情報を、
階調変換曲線記録部８０１は算出部１１５からの階調変
換曲線をそれぞれ組として記録する。監視部８０２は、
特性記録部８００、階調変換曲線記録部８０１の残量を
監視し、所定残量以下になると制御部１１７へ通知す
る。

【００９５】一方、履歴管理部８０３は、階調変換曲線
記録部８０１上の階調変換曲線に対して、階調変換部１
１０により読み込まれた回数を履歴情報として管理す
る。制御部１１７は、監視部８０２からの残量が所定残
量以下なった場合の通知を受けて破棄制御部８０４を起
動する。破棄制御部８０４は、履歴管理部８０３からの
履歴情報に基づいて、階調変換部１１０により読み込ま
れた回数の最も少ない階調変換曲線を選択すると共に、
その階調変換曲線と組となる特性情報を選択し、それら
の選択した階調変換曲線および特性情報を階調変換曲線
記録部８０１および特性記録部８００からそれぞれ破棄
すると共に、履歴管理部８０３の履歴情報を破棄して、
残量を回復させる。

【００９６】このように、本実施の形態では、ＣＣＤ１
０３の階調幅を超える広ダイナミックレンジの画像群を
得、そのシーン変化に基づいて階調変換曲線を算出する
ようにしたので、白飛びや黒潰れの少ない高品位の出力
画像を得ることができる。また、一度算出した画像の特
性情報と階調変換曲線とを組にして記録しておき、シー
ン変化が発生したときは、記録しておいた特性情報との
類似度を判断し、類似度が高い場合には、その特性情報
と対応して記録しておいた階調変換曲線を用いるように
したので、無駄な演算を行う必要が無くなりシーン変化
に対して迅速に適応することができる。さらに、特性情
報および階調変換曲線を記録するにあたり、過去に使用
された履歴情報から使用頻度の少ないものを優先的に消
去するようにしたので、少ないメモリ量でも効率的に記
録することができる。

【００９７】なお、本発明は、上記実施の形態にのみ限
定されるものではなく、幾多の変形または変更が可能で
ある。例えば、第１実施の形態では、検出部１１４を輝
度値に基づいてシーン変化の有無を検出するように構成
したが、第２実施の形態のようにヒストグラムに基づい
てシーン変化の有無を検出するように構成したり、ある
いは図１１に示すように動きベクトルに基づいてシーン
変化の有無を検出するように構成することもできる。

【００９８】すなわち、図１１に示す検出部１１４は、
第１画像バッファ３１０、第２画像バッファ３１１、動
きベクトル算出部（動きベクトル算出手段）３１２、動
きベクトル用バッファ３１３、および判断部（判断手
段）３１４を有している。動きベクトル算出部３１２お
よび判断部３１４は、制御部１１７にそれぞれ接続し、
第１画像バッファ３１０および第２画像バッファ３１１
は、選択部１１３にそれぞれ接続すると共に、動きベク
トル算出部３１２にそれぞれ接続する。また、動きベク
トル算出部３１２は、さらに動きベクトル用バッファ３
１３を介して判断部３１４に接続する。なお、図１１に
おいて、太線の実線で示す信号ラインは映像信号ライン
を示し、細線の実線で示す信号ラインは制御信号ライン
を示し、破線で示す信号ラインはその他のデータライン
を示している。

【００９９】図１１に示す検出部１１４において、選択
部１１３から時系列的に出力される縮小画像は、第１画
像バッファ３１０および第２画像バッファ３１１に順次
格納し、これら第１画像バッファ３１０および第２画像
バッファ３１１に格納された時系列的に前後する２枚の
縮小画像間で、動きベクトル算出部３１２において画像
を所定のブロックに分割してマッチングを行なう公知の
動き検出処理によりブロックごとに動きベクトルを検出
し、その結果を動きベクトル用バッファ３１３へ転送し
て格納する。

【０１００】判断部３１４では、動きベクトル用バッフ
ァ３１３から動きベクトル情報を読み出し、所定値以上
の動きベクトルが所定数以上のブロックで検出された場
合にシーン変化が生じたと判断し、その判断結果を制御
部１１７へ転送する。

【０１０１】また、このようにヒストグラムに基づいて
シーン変化の有無を検出する場合には、算出部１１５に
おいてヒストグラムに基づいて階調変換曲線を算出する
際に、動きベクトルが検出されたブロックに対応する領
域に重み係数を乗算して、その領域に重点的に階調幅を
付与するなどの処理も可能である。

【０１０２】さらに、検出部１１４は、上記の輝度値、
ヒストグラム、あるいは動きベクトルの他にも、合焦情
報の変化などを利用してシーン変化の有無を検出するよ
う構成することもできる。

【０１０３】また、第２実施の形態では、長時間露光画
像と、その長時間露光画像から求めた露光条件に対して
所定の露光比の短時間露光画像との２枚の画像に基づい
て広ダイナミックレンジの画像を生成するようにした
が、この第２実施の形態は、任意の異露光の画像群から
広ダイナミックレンジの画像を生成する場合にも有効に
適用することができると共に、第１実施の形態と同様に
通常の一枚の画像を階調変換する場合にも有効に適用す
ることができる。

【０１０４】また、第２実施の形態では、検出部１１４
をヒストグラムに基づいてシーン変化の有無を検出する
ように構成したが、第１実施の形態のように輝度値に基
づいてシーン変化の有無を検出するように構成したり、
図１１に示したように動きベクトルに基づいてシーン変
化の有無を検出するように構成したり、あるいは合焦情
報の変化などを利用してシーン変化の有無を検出するよ
う構成することもできる。

【図面の簡単な説明】

【図１】 本発明の第１実施の形態における撮像システ
ムの全体の構成を示すブロック図である。

【図２】 図１に示す選択部の一例の構成を示すブロッ
ク図である。

【図３】 図２に示す選択部における時間設定用関数の
説明図である。

【図４】 図１に示す検出部の一例の構成を示すブロッ
ク図である。

【図５】 図１に示す算出部の一例の構成を示すブロッ
ク図である。

【図６】 図１に示す階調変換部の一例の構成を示すブ
ロック図である。

【図７】 本発明の第２実施の形態における撮像システ
ムの全体の構成を示すブロック図である。

【図８】 図７に示す検出部の一例の構成を示すブロッ
ク図である。

【図９】 図８に示す検出部におけるヒストグラムの類
似度性算出を説明するための図である。

【図１０】 図７に示す記録部の一例の構成を示すブロ
ック図である。

【図１１】 検出部の変形例を示すブロック図である。

【符号の説明】

１００ レンズ系 １０１ 絞り １０２ ローパスフィルタ １０３ ＣＣＤ １０４ Ａ／Ｄ変換器 １０５ 画像用バッファ １０６ 測光評価部 １０７ 合焦点検出部 １０８ ＡＦモータ １０９ 信号処理部 １１０ 階調変換部 １１１ Ｄ／Ａ変換器 １１２ 出力部 １１３ 選択部 １１４ 検出部 １１５ 算出部 １１６ 標準階調曲線ＲＯＭ １１７ 制御部 １１８ 外部Ｉ／Ｆ部 ６００ 第１画像用バッファ ６０１ 第２画像用バッファ ６０２ 合成部 ６０３ 記録部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C021 PA66 PA76 PA77 RA01 RA02 RA07 RB03 RB06 RC06 XA03 XA14 XA35 5C022 AA01 AA11 AB03 AB17 AB19 AB28 AC42 AC54 AC69 5L096 FA06 FA14 FA35 JA11

Claims (16)

【特許請求の範囲】
1. 【請求項１】 撮像系からの時系列的に連続するＭビッ
   ト階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎ
   は自然数でＭ≧Ｎ）の画像群に変換して出力する撮像シ
   ステムにおいて、 上記Ｍビット階調幅の画像群の中から、撮影条件に基づ
   く時間間隔で１枚の画像を選択する選択手段と、 上記選択手段で順次選択された画像間の特性情報の変化
   を検出する検出手段と、 上記検出手段での検出結果に基づいて、上記選択手段に
   より選択された画像の階調変換曲線を算出する算出手段
   と、 上記検出手段での検出結果に基づいて、上記特性情報の
   変化が検出されたときは上記算出手段で算出された新規
   の階調変換曲線を用いて、上記特性情報の変化が検出さ
   れないときは現在の階調変換曲線を用いて、それぞれ上
   記Ｍビット階調幅の画像群を上記Ｎビット階調幅の画像
   群に変換する階調変換手段と、 を有することを特徴とする撮像システム。
2. 【請求項２】 撮像系からの時系列的に連続するＭビッ
   ト階調幅の画像群を、出力系のＮビット階調幅（Ｍ、Ｎ
   は自然数でＭ≧Ｎ）の画像群に変換して出力する撮像シ
   ステムにおいて、 上記Ｍビット階調幅の画像群の中から、撮影条件に基づ
   く時間間隔で１枚の画像を選択する選択手段と、 上記選択手段で順次選択された画像間の特性情報の変化
   を検出する検出手段と、 上記検出手段での検出結果に基づいて、上記選択手段に
   より選択された画像の階調変換曲線を選択的に算出する
   算出手段と、 上記選択手段で選択された画像の特性情報および当該画
   像に対して上記算出手段で算出された階調変換曲線を組
   として複数記録する記録手段と、 上記検出手段での検出結果に基づいて、上記特性情報の
   変化が検出されたときは上記算出手段で算出された新規
   の階調変換曲線、または上記記録手段に記録されている
   過去の階調変換曲線を用いて、上記特性情報の変化が検
   出されないときは現在の階調変換曲線を用いて、それぞ
   れ上記Ｍビット階調幅の画像群を上記Ｎビット階調幅の
   画像群に変換する階調変換手段と、 を有することを特徴とする撮像システム。
3. 【請求項３】 請求項１または２に記載の撮像システム
   において、 さらに、同一被写体に対して異なる露光条件で撮像した
   少なくとも二枚のフレームまたはフィールド単位の画像
   を合成して上記Ｍビットの階調幅の画像群を生成する合
   成手段を有することを特徴とする撮像システム。
4. 【請求項４】 請求項１，２または３に記載の撮像シス
   テムにおいて、 上記選択手段は、上記撮像系により単位時間あたりに撮
   影される画像枚数、画像サイズ、露光条件、合焦条件、
   ホワイトバランス条件、ズーム位置、カメラ位置の少な
   くとも一つの撮影条件に基づいて、上記時間間隔を設定
   する時間設定手段を有することを特徴とする撮像システ
   ム。
5. 【請求項５】 請求項１〜４のいずれか一項に記載の撮
   像システムにおいて、 上記選択手段は、上記選択された画像を縮小する縮小手
   段を有することを特徴とする撮像システム。
6. 【請求項６】 請求項５に記載の撮像システムにおい
   て、 上記縮小手段は、上記時間間隔に基づいて、単位時間あ
   たりに処理する情報量が一定値以下となるように上記選
   択された画像を適用的に縮小するよう構成されているこ
   とを特徴とする撮像システム。
7. 【請求項７】 請求項１〜６のいずれか一項に記載の撮
   像システムにおいて、上記検出手段は、 上記特性情報として、上記選択手段で選択された画像の
   平均輝度レベルを算出する輝度算出手段と、 上記輝度算出手段で算出された順次の画像間における平
   均輝度レベルの変化に基づいてシーン変化の有無を判断
   する判断手段と、 を有することを特徴とする撮像システム。
8. 【請求項８】 請求項１〜６のいずれか一項に記載の撮
   像システムにおいて、 上記検出手段は、 上記特性情報として、上記選択手段で選択された順次の
   ２枚の画像から動きベクトルを算出する動きベクトル算
   出手段と、 上記動きベクトル算出手段で算出された動きベクトルに
   基づいてシーン変化の有無を判断する判断手段と、 を有することを特徴とする撮像システム。
9. 【請求項９】 請求項１〜６のいずれか一項に記載の撮
   像システムにおいて、 上記検出手段は、 上記特性情報として、上記選択手段で選択された画像か
   らヒストグラムを算出するヒストグラム算出手段と、 上記ヒストグラム算出手段で算出された順次の画像間に
   おけるヒストグラムの変化に基づいてシーン変化の有無
   を判断する判断手段と、 を有することを特徴とする撮像システム。
10. 【請求項１０】 請求項２または３に記載の撮像システ
    ムにおいて、 上記検出手段は、 上記選択手段で選択された画像の特性情報と上記記録手
    段に記録されている複数の特性情報との類似度を算出す
    る類似度算出手段と、 上記類似度算出手段で算出された類似度が所定条件を満
    たす場合に、当該類似する特性情報と組をなす階調変換
    曲線を上記記録手段から読み出す読み出し手段と、 を有することを特徴とする撮像システム。
11. 【請求項１１】 請求項１〜６のいずれか一項に記載の
    撮像システムにおいて、 上記検出手段は、 上記特性情報の変化として、上記選択手段で選択された
    画像の露光条件または合焦条件の撮影条件を検出する撮
    影条件検出手段と、 上記撮影条件検出手段で検出された順次の画像間におけ
    る撮影条件の変化に基づいてシーン変化の有無を判断す
    る判断手段と、 を有することを特徴とする撮像システム。
12. 【請求項１２】 請求項１〜１１のいずれか一項に記載
    の撮像システムにおいて、 上記算出手段は、 上記選択手段で選択された画像を輝度信号と色差信号と
    に分離する分離手段と、 上記分離手段で分離された輝度信号レベルに基づいて適
    正露光域を抽出する抽出手段と、 上記抽出手段で抽出された適正露光域に関する特徴量を
    算出する特徴量算出手段と、 上記特徴量算出手段で算出された特徴量に基づいてヒス
    トグラムを作成するヒストグラム作成手段と、 上記ヒストグラム作成手段で作成されたヒストグラムに
    基づいて階調変換曲線を算出する階調変換曲線算出手段
    と、 を有することを特徴とする撮像システム。
13. 【請求項１３】 請求項１〜１２のいずれか一項に記載
    の撮像システムにおいて、 上記算出手段は、さらに、上記検出手段で特性情報の変
    化が検出された場合のみ、上記算出手段で階調変換曲線
    を算出させるように制御する制御手段を有することを特
    徴とする撮像システム。
14. 【請求項１４】 請求項２または３に記載の撮像システ
    ムにおいて、 上記記録手段は、 上記特性情報および階調変換曲線を記録する特性情報・
    階調変換曲線記録手段と、 上記特性情報・階調変換曲線記録手段の記録領域の残量
    を監視する監視手段と、 上記階調変換手段から読み出された階調変換曲線の履歴
    を管理する履歴管理手段と、 上記監視手段での監視結果に基づいて、上記特性情報・
    階調変換曲線記録手段の記録領域の残量が所定値以下と
    なった場合に、上記履歴管理手段での履歴監視結果に基
    づいて、最も読み出し回数の少ない特性情報および階調
    変換曲線を上記特性情報・階調変換曲線記録手段から破
    棄する破棄手段と、 を有することを特徴とする撮像システム。
15. 【請求項１５】 請求項１〜１４のいずれか一項に記載
    の撮像システムにおいて、 さらに、標準階調変換曲線を記録する標準階調変換曲線
    記録手段と、 電源投入時などの初期化状況を検出する初期化検出手段
    と、 上記初期化検出手段の出力に基づいて上記標準階調変換
    曲線記録手段に記録されている標準階調変換曲線を上記
    階調変換手段へ転送する転送手段と、 を有することを特徴とする撮像システム。
16. 【請求項１６】 請求項１〜１４のいずれか一項に記載
    の撮像システムにおいて、 さらに、標準階調変換曲線を記録する標準階調変換曲線
    記録手段と、 上記撮像系から単位時間あたりに撮影される画像枚数、
    画像サイズ、露光条件、合焦条件、ホワイトバランス条
    件、ズーム位置、カメラ位置の少なくとも一つに基づい
    て撮影条件の変化を検出する撮影条件検出手段と、 上記撮影条件検出手段での検出結果に基づいて上記標準
    階調変換曲線記録手段に記録されている標準階調変換曲
    線を上記階調変換手段へ転送する転送手段と、 上記撮影条件検出手段での検出結果に基づいて上記選択
    手段における画像選択の時間間隔を零に設定して現時点
    の画像を選択させるリセット手段と、 を有することを特徴とする撮像システム。