JP2001016613A - 視差画像撮像装置、視差画像処理装置、及び視差画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 被写体の複数の視差画像に基づいて、被写体
を照明する光の光源に関する正確な情報を獲得すること
のできる視差画像撮像装置、視差画像処理装置、及び視
差画像処理方法を提供する。 【解決手段】 被写体を見る視点を略直線上に移動させ
た場合に得られる複数の視差画像を順次撮像させる制御
部３９と、制御部３９による視点の移動量に対して、視
差画像上の位置の変化量が比例しない、被写体の特定領
域を検出する曲線成分検出部２２と、曲線成分検出部２
２が検出した特定領域の画素データから光源の情報を抽
出する光源情報抽出部２８とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる視点から被
写体を見た場合に得られる複数の視差画像に基づいて、
光源に関する情報を獲得する視差画像撮像装置、視差画
像処理装置、及び視差画像処理方法に関する。

【０００２】

【従来の技術】被写体の撮影画像から、被写体を照明し
ている光源に関する色温度、スペクトルなどの情報を推
定する方法があり、スキャナーやカメラのオートホワイ
トバランス装置に用いられている。

【０００３】従来のオートホワイトバランス装置におい
ては、標準白色光で照らされた自然画像は、画像全体で
色彩の平均値を求めると、無彩色になるという、グレイ
ワールド仮説と呼ばれる仮定の下に、光源の色温度を画
像全体の平均値から推定し、ホワイトバランスの調整を
行っていた。

【０００４】

【発明が解決しようとする課題】しかしながら、被写体
によっては上述の仮定に反し、画像全体の色彩の平均値
が無彩色にならないケースが少なくない。このような場
合、従来の方法では、光源の色温度を正確に推定するこ
とができない。そのため、ホワイトバランスを適正に調
整することができず、被写体を撮影した画像は不自然な
着色になるという問題が生じていた。

【０００５】そこで本発明は、上記の課題を解決するた
めに、被写体の複数の視差画像に基づいて、光源に関す
る正確な情報を獲得することのできる視差画像撮像装
置、視差画像処理装置、及び視差画像処理方法を提供す
ることを目的とする。この目的は特許請求の範囲におけ
る独立項に記載の特徴の組み合わせにより達成される。
また従属項は本発明の更なる有利な具体例を規定する。

【０００６】

【課題を解決するための手段】即ち、本発明の第１の形
態における視差画像撮像装置は、被写体の視差画像を撮
像し、被写体を照明する光の光源に関する情報を獲得す
る視差画像撮像装置であって、被写体を見る視点を略直
線上に移動させた場合に得られる複数の視差画像を順次
撮像させる制御部と、制御部による視点の移動量に対し
て、視差画像上の位置の変化量が比例しない、被写体の
特定領域を検出する曲線成分検出部と、曲線成分検出部
が検出した特定領域の画素データから光源の情報を抽出
する光源情報抽出部とを備えたことを特徴とする。

【０００７】曲線成分検出部は、複数の視差画像におけ
る視点の移動方向と略同一の方向の一次元領域を視点の
移動量に比例するように並べた二次元画像において、曲
線成分を有する連続線分を検出し、連続線分上に撮像さ
れた、被写体の特定領域を検出してもよい。

【０００８】曲線成分検出部は、被写体の特定の部分で
あって、複数の視差画像における視点の移動方向の位置
成分と視点の移動量との関係を示した視差ラインが、曲
線成分を有する特定の部分を検出し、特定の部分を被写
体の特定領域として検出してもよい。

【０００９】曲線成分検出部が検出した特定領域の内、
特定領域の画素データの明度及び彩度の少なくとも一つ
に関する条件を満たす特定領域を検出する明度彩度検出
部をさらに備え、光源情報抽出部は、明度彩度検出部が
検出した特定領域の画素データから光源の情報を抽出し
てもよい。

【００１０】被写体を結像する第１の光学結像部と、複
数の受光素子が配置され、第１の光学結像部により被写
体の複数の視差画像が撮像される第１の受光部と、第１
の光学結像部を移動させる駆動部とをさらに備え、制御
部が視点の移動方向及び移動量を指定し、駆動部は移動
方向及び移動量に基づいて第１の光学結像部を略直線上
に移動させてもよい。

【００１１】被写体を結像する第２の光学結像部と、第
２の光学結像部により被写体の画像が撮像される第２の
受光部と、第２の受光部に撮像された画像の色を補正す
る色補正部とをさらに備え、制御部が、光源情報抽出部
が抽出した光源の情報に基づいて、色補正部のホワイト
バランスを制御してもよい。

【００１２】第１の光学結像部により被写体の画像が撮
像される第２の受光部と、第２の受光部に撮像された画
像の色を補正する色補正部とをさらに備え、制御部が、
光源情報抽出部が抽出した光源の情報に基づいて、色補
正部のホワイトバランスを制御してもよい。

【００１３】第１の受光部に撮像された複数の視差画
像、光源情報抽出部が抽出した光源の情報、及び第２の
受光部に撮像された被写体の画像の少なくとも一つを記
録する記録部をさらに備えてもよい。

【００１４】本発明の第２の形態における視差画像処理
装置は、被写体の視差画像に基づいて、被写体を照明す
る光の光源に関する情報を算出する視差画像処理装置で
あって、被写体の画像及び被写体を見る視点を略直線上
に移動させた場合に得られる複数の視差画像を入力する
視差画像入力部と、被写体の画像及び複数の視差画像を
記憶する視差画像記憶部と、視点の移動量に対して、視
差画像上の位置の変化量が比例しない、被写体の特定領
域を検出する曲線成分検出部と、曲線成分検出部が検出
した特定領域上の画素データから光源の情報を抽出する
光源情報抽出部と、光源情報抽出部が抽出した光源の情
報に基づいて、被写体の画像を処理する画像処理部と、
画像処理部が作成して得られた画像を出力する画像出力
部とを備えたことを特徴とする。

【００１５】曲線成分検出部が、視点の移動方向と略同
一の方向を有する複数の視差画像の一次元領域を視点の
移動量に比例するように並べた二次元画像において、曲
線成分を有する連続線分を検出し、連続線分上に撮像さ
れた、被写体の特定領域を検出してもよい。

【００１６】曲線成分検出部は、被写体の特定の部分で
あって、複数の視差画像における視点の移動方向の位置
成分と視点の移動量との関係を示した視差ラインが、曲
線成分を有する特定の部分を検出し、特定の部分を被写
体の特定領域として検出してもよい。

【００１７】曲線成分検出部が検出した特定領域の内、
特定領域の画素データの明度及び彩度の少なくとも一つ
に関する条件を満たす特定領域を検出する明度彩度検出
部をさらに備え、光源情報抽出部は、明度彩度検出部が
検出した特定領域の画素データから光源の情報を抽出し
てもよい。

【００１８】本発明の第３の形態における記録媒体は、
被写体の視差画像に基づいて、被写体を照明する光の光
源に関する情報を獲得するコンピュータ用のプログラム
を格納した記録媒体であって、プログラムが、コンピュ
ータに働きかけて、被写体の画像及び被写体を見る視点
を略直線上に移動させた場合に得られる複数の視差画像
を入力させる視差画像入力モジュールと、コンピュータ
に働きかけて、被写体の画像及び複数の視差画像を記憶
させる視差画像記憶モジュールと、コンピュータに働き
かけて、視点の移動量に対して、視差画像上の位置の変
化量が比例しない、被写体の特定領域を検出させる曲線
成分検出モジュールと、コンピュータに働きかけて、曲
線成分検出モジュールが検出した特定領域上の画素デー
タから光源の情報を抽出させる光源情報抽出モジュール
と、コンピュータに働きかけて、光源情報抽出部が抽出
した光源の情報に基づいて、被写体の画像を処理させる
画像処理モジュールと、コンピュータに働きかけて、画
像処理モジュールが作成して得られた画像を出力させる
画像出力モジュールとを備えたことを特徴とする。

【００１９】曲線成分検出モジュールが、視点の移動方
向と略同一の方向を有する複数の視差画像の一次元領域
を視点の移動量に比例するように並べた二次元画像にお
いて、曲線成分を有する連続線分を検出し、連続線分上
に撮像された、被写体の特定領域を検出してもよい。

【００２０】曲線成分検出モジュールは、被写体の特定
の部分であって、複数の視差画像における視点の移動方
向の位置成分と視点の移動量との関係を示した視差ライ
ンが、曲線成分を有する特定の部分を検出し、特定の部
分を被写体の特定領域として検出してもよい。

【００２１】プログラムが、コンピュータに働きかけ
て、曲線成分検出部が検出した特定領域の内、特定領域
の画素データの明度及び彩度の少なくとも一つに関する
条件を満たす特定領域を検出させる明度彩度検出モジュ
ールをさらに備え、光源情報抽出モジュールは、明度彩
度検出モジュールが検出した特定領域の画素データから
光源の情報を抽出してもよい。

【００２２】本発明の第４の形態における視差画像処理
方法は、被写体の視差画像に基づいて、光源に関する情
報を算出する視差画像処理方法であって、被写体の画像
及び被写体を見る視点を略直線上に移動させた場合に得
られる複数の視差画像を入力し、視点の移動量に対し
て、視差画像上の位置の変化量が比例しない、被写体の
特定領域を検出し、被写体の特定領域上の画素データか
ら光源の情報を抽出することを特徴とする。

【００２３】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。

【００２４】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
にかかる発明を限定するものではなく、また、実施形態
の中で説明されている特徴の組み合わせの全てが発明の
解決手段に必須であるとは限らない。

【００２５】（実施形態１）図１は、本発明の第１の実
施形態に係る視差画像撮像装置の一例としてのカメラの
構成図である。本実施形態のカメラは、光学結像部１２
と、カラーフィルター１９と、受光部２０と、レンズ５
２と、絞り５４と、シャッター５６と、カラーフィルタ
ー５８と、ＣＣＤ（電荷結合素子）６０と、マルチプレ
クサー３２と、Ａ／Ｄ変換部３４と、色補正部３５と、
メモリ３６と、光源推定部３８と、制御部３９と、記録
部４０と、駆動部４２とを有する。

【００２６】レンズ５２は被写体を結像し、絞り５４は
絞り量を調整し、シャッター５６は露光時間を調整す
る。カラーフィルター５８はレンズ５２を通して受光さ
れる光のＲＧＢ成分を分解する。ＣＣＤ６０はレンズ５
２によって結像された被写体の画像を受光して、電気信
号に変換し、マルチプレクサー３２に出力する。

【００２７】光学結像部１２は被写体の視差画像を結像
する。カラーフィルター１９は光学結像部１２を通して
受光される光のＲＧＢ成分を分解する。受光部２０は光
学結像部１２によって結像された被写体の画像を受光し
て、電気信号に変換し、マルチプレクサー３２に出力す
る。

【００２８】受光部２０は、複数の受光素子がマトリッ
クス状に配置され、光学結像部により被写体が結像され
る。カラーフィルター１９は受光部２０の表面を覆い、
光のＲＧＢ成分を透過させ、受光部２０の受光素子に受
光させる。受光部２０の受光素子は、たとえばＣＣＤ
（電荷結合素子）のような光電変換素子であってもよ
く、受光部２０は、複数のＣＣＤが配列された光電変換
撮像体であってもよい。

【００２９】駆動部４２は、制御部３９によって指定さ
れた視点の移動方向及び移動量に基づいて、光学結像部
１２を略直線上に移動させる。これにより、光学結像部
１２は、被写体を見る視点を略直線上に移動させた場合
に得られる複数の視差画像を受光部２０に結像させる。

【００３０】マルチプレクサー３２は、受光部２０また
はＣＣＤ６０の出力信号のどちらかを選択し、Ａ／Ｄ変
換部３４に出力する。Ａ／Ｄ変換部３４は入力されたア
ナログ信号をデジタル信号に変換し、色補正部３５に出
力する。

【００３１】色補正部３５は、Ａ／Ｄ変換部３４によっ
てデジタル信号に変換された、受光部２０またはＣＣＤ
６０の出力信号の色成分のゲインを調整し、色彩の補正
を行う。本実施形態では、色補正部３５は、Ａ／Ｄ変換
部３４が出力したデジタル信号を処理したが、実施形態
はこれに限られない。たとえば、色補正部３５を、受光
部２０またはＣＣＤ６０と、Ａ／Ｄ変換部３４との間に
設置し、受光部２０またはＣＣＤ６０のアナログ出力信
号の色成分のゲインを調整し、色彩の補正を行ってもよ
い。色補正部３５は補正された信号をメモリ３６に出力
する。

【００３２】メモリ３６は入力されたデジタル信号を格
納する。メモリ３６は、レンズ５２がＣＣＤ６０に撮像
した被写体の画像、及び光学結像部１２が撮像した被写
体の視差画像を記憶する。

【００３３】光源推定部３８はメモリ３６から複数の視
差画像を読み出す。光源推定部３８は、制御部３９によ
る視点の移動量に対して、複数の視差画像上の位置の変
化量が比例しない、被写体の特定領域を検出することに
よって、被写体の鏡面反射成分を抽出する。光源推定部
３８は、鏡面反射成分を有する画素データから被写体を
照明する光源に関する情報を抽出する。光源に関する情
報には、光源の色温度、スペクトル分布などがある。

【００３４】制御部３９は、視点の移動方向及び移動量
を指定して、駆動部４２を制御し、被写体の視差画像を
順次撮像させる。

【００３５】制御部３９は、光源推定部３８が出力した
光源に関する情報に基づいて、色補正部３５を制御し、
ホワイトバランスを適正に制御する。また制御部３９
は、メモリ３６から読み出した被写体の画像の色情報、
明度、彩度に基づいて、レンズ５２のフォーカス、絞り
５４の絞り量及びシャッター５６の露光時間の少なくと
も一つを制御する。

【００３６】記録部４０は、メモリ３６から読み出した
被写体の画像、被写体の視差画像及び光源推定部３８が
出力した光源情報を記録する。記録部４０はフロッピィ
ディスクのような磁気記録媒体やフラッシュメモリのよ
うな不揮発性メモリであってもよい。

【００３７】本実施形態のカメラは、被写体の連続視差
画像の一次元領域を視点の移動の順に並べた二次元画像
において、曲線成分を有する鏡面反射成分を検出し、鏡
面反射成分から光源情報を抽出する。したがって、光源
の正確な情報を獲得し、ホワイトバランスを適正に調整
して、被写体を撮影することができる。

【００３８】尚、本実施形態のカメラでは、被写体を撮
像する光学系と、視差画像を撮像する光学系を有する
が、実施形態はこれに限られない。レンズ５２、カラー
フィルター５８、ＣＣＤ６０に、それぞれ光学結像部１
２、カラーフィルター１９、受光部２０の機能を兼ねさ
せ、被写体を撮像する光学系と、視差画像を撮像する光
学系を共通にし、同一の光学系を用いて、被写体の撮像
と視差画像の撮像を行ってもよい。

【００３９】図２は、物体を照明する光の反射光の説明
図である。光源１からの光が物体５を照明したとき、反
射される光は、一般に、光源１からの入射光が物体５の
表面で直接反射した鏡面反射成分７と、光源１からの入
射光が物体５の表面に吸収され、入射角とは無関係に拡
散された拡散反射成分９とを有する。

【００４０】鏡面反射成分７は、物体５の表面において
入射光が直接反射した光であるから、光源光と同じスペ
クトル分布を持つ。一方、拡散反射成分９は、物体５の
表面にいったん吸収された後、特定の波長で放出された
光であるから、物体５の材質に固有のスペクトル分布を
持つ。したがって、反射光を受光したカメラ３が、反射
光から鏡面反射成分７だけを分離することができれば、
鏡面反射成分７から、光源１の種類や色などの情報を推
定することができる。

【００４１】図３は、本実施形態のカメラの光学結像部
１２を移動させた場合に撮像される視差画像の説明図で
ある。本実施形態のカメラでは、鏡面反射成分を分離し
て取り出すために、被写体の視差画像を利用する。光学
結像部１２を移動面２に沿って移動させた場合に、結像
面４には、被写体の視差画像が撮像される。

【００４２】図３において、物体８は、被写体の一例で
ある。物体８の前面は、図３に示すように、平面部と球
面部を交互に有する。物体８の点８１及び８３は物体８
の平面部上に、点８５は物体８の球面部上に、点８７及
び８９は物体８の平面上にそれぞれある。

【００４３】光源１が物体８から十分遠い位置にあると
すると、光源１からの光が物体８の点８１において鏡面
反射した光１５ａと、光源１からの光が物体８の点８３
において鏡面反射した光１５ｂはほぼ平行になる。

【００４４】光学結像部１２が１２ａの位置にあると
き、物体８の点８１の鏡面反射による像は、結像面４の
８１ａの位置に撮像される。光学結像部１２が１２ｂの
位置にあるとき、物体８の点８３の鏡面反射による像
は、結像面４の８３ｂの位置に撮像される。

【００４５】鏡面反射による光１５ａ及び１５ｂがほぼ
平行であるため、物体８の点８１及び８３の結像面４で
の像８１ａ及び８３ｂは、光学結像部１２が異なる位置
にあるにもかかわらず、結像面４においてほぼ同じ位置
に撮像される。

【００４６】物体８の平面部上にある点８７及び８９の
鏡面反射による像についても同様である。鏡面反射によ
る光１５ｄ及び１５ｅがほぼ平行であるため、物体８の
点８７及び８９の結像面４での像８７ｄ及び８９ｅは、
光学結像部１２が異なる位置にあるにもかかわらず、結
像面４においてほぼ同じ位置に撮像される。

【００４７】図４は、図３に示した光学結像部１２を移
動面２に沿って移動しながら、物体８を撮像した場合
に、物体８の結像面における像が視差画像上で移動した
軌跡、すなわち視差ラインを示すグラフである。グラフ
の横軸は結像位置を示し、縦軸は光学結像部１２の移動
量を示す。

【００４８】図３に示した物体８の点８１、８３、８
５、８７及び８９における拡散反射による像の位置のず
れ、すなわち視差量は、光学結像部１２の移動量に比例
する。したがって、拡散反射による像が視差画像上で移
動した軌跡は、それぞれ図４に示す直線９１、９３、９
５、９７及び９９のようになる。

【００４９】このように、光学結像部１２を直線上に移
動させて視差画像を撮像した場合、拡散反射による物体
８の像についての視差ラインは直線になる。

【００５０】一方、物体８の点８１、８３、８５、８７
及び８９における鏡面反射による像の位置のずれは、光
学結像部１２の移動量に対して比例しない。なぜなら、
図３で説明したように、鏡面反射による光１５ａ及び１
５ｂは平行であるため、光学結像部１２の移動にかかわ
らず、鏡面反射による像８１ａ及び８３ｂの結像位置は
変化しないからである。したがって、鏡面反射による像
の視差ラインは、図４の８１ａと８３ｂを結ぶ線にな
る。

【００５１】同様に、鏡面反射による光１５ｄ及び１５
ｅはほぼ平行であるため、光学結像部１２の移動にかか
わらず、鏡面反射による像８７ｄ及び８９ｅの結像位置
は変化しない。したがって、鏡面反射による像の視差ラ
インは、図４の８７ｄと８９ｅを結ぶ線になる。

【００５２】また物体８の球面部においては、物体８の
表面に映された光源の光が、視点の移動に伴って、物体
８の表面の球面上を移動する。たとえば、物体８の球面
部にある点８５の像は図４の８５ｃに撮像される。

【００５３】したがって、鏡面反射による像についての
視差ラインは、図４の線９０（点８１ａ、８３ｂ、８５
ｃ、８７ｄ及び８９ｅを結ぶ線）のように、屈折した線
になる。このように物体を見る視点が直線上を移動した
場合であっても、鏡面反射による像は、視差画像上を直
線移動することはない。一般に、物体の表面がより複雑
である場合には、視差ラインは曲線成分を有する。

【００５４】以上述べたように、一般に被写体の表面が
鏡面反射面を有する場合、反射光には拡散反射成分と鏡
面反射成分の両方が含まれる。さらに被写体の表面が複
雑な曲面を有する場合、鏡面反射によって撮像された被
写体の点については、視差ラインは曲線成分を有する。

【００５５】本実施形態のカメラは、視点を直線上に移
動させた場合に得られる視差画像に基づいて、鏡面反射
成分による被写体の像を抽出し、光源の情報を獲得す
る。以下、本実施形態のカメラが視差画像に基づいて、
光源情報を獲得する方法を説明する。

【００５６】図５は、図１に示した本実施形態のカメラ
のメモリ３６及び光源推定部３８の構成図である。図５
を参照しながら、本実施形態のメモリ３６及び光源推定
部３８が、複数の視差画像から被写体を照明する光源に
関する情報を抽出する動作を説明する。図５では、マル
チプレクサー３２とＡ／Ｄ変換部３４を省略するが、実
際の動作では、受光部２０に撮像された画像は、マルチ
プレクサー３２を介してＡ／Ｄ変換部３４に送られ、デ
ジタル信号に変換されてからメモリ３６に格納される。

【００５７】メモリ３６は、受光部２０に撮像された被
写体の複数の視差画像３７を格納する。光源推定部３８
は、曲線成分検出部２２と、明度彩度検出部２４と、光
源情報抽出部２８と、色バランスゲイン算出部３０とを
有する。

【００５８】以下、一例として、図５に示した被写体Ａ
及びＢの視差画像を撮像した場合について、メモリ３
６、曲線成分検出部２２、明度彩度検出部２４、光源情
報抽出部２８、及び色バランスゲイン算出部３０の動作
を説明する。

【００５９】被写体Ａは、表面が複雑な形状の鏡面反射
面を有する物体であり、反射光は拡散反射成分以外に、
鏡面反射成分を有する。被写体Ｂは、表面が鏡面反射面
ではない物体であり、反射光は拡散反射成分を有する
が、鏡面反射成分は有しない。メモリ３６は、光学結像
部１２を移動させた時に受光部２０に撮像される被写体
Ａ及びＢの複数の視差画像３７を格納する。

【００６０】曲線成分検出部２２は、メモリ３６から複
数の視差画像３７を読み出す。曲線成分検出部２２は、
視点の移動方向と略同一の方向を有する複数の視差画像
３７の一次元領域を選択し、その一次元領域を視点の移
動量に比例するように並べた二次元画像において、連続
する所定の長さの線分を抽出する。さらに、その連続線
分が所定の閾値以上の曲率の曲線成分を有するかどうか
を判定し、そうであれば、その連続線分を曲線成分とし
て検出する。

【００６１】曲線成分検出部２２は、被写体Ａ及びＢが
撮像された領域内のすべての一次元領域について、上述
のように二次元画像における曲線成分を検出する。被写
体Ａの反射光は鏡面反射成分を有するため、被写体Ａが
撮像されている領域からは曲線成分が検出される。被写
体Ｂの反射光は鏡面反射成分を有しないため、曲線成分
は検出されない。

【００６２】明度彩度検出部２４は、曲線成分検出部２
２が検出した曲線成分上の画素の彩度及び明度を検出
し、彩度が所定の閾値以上又は明度が所定の閾値以下で
ある場合は、その曲線成分を破棄し、そうでない場合曲
線成分はすべて光源情報抽出部２８に出力する。

【００６３】光源情報抽出部２８は、明度彩度検出部２
４が出力したすべての曲線成分上の画素データを収集
し、画素データから光源の色温度やスペクトル分布など
の情報を抽出する。

【００６４】色バランスゲイン算出部３０は、光源情報
抽出部２８が抽出した光源情報に基づいて、画像のホワ
イトバランスを補正するための色バランスのゲインを計
算し、制御部３９へ出力する。

【００６５】曲線成分検出部２２は、視差画像の二次元
画像において、曲線成分を有する連続線分を検出する。
明度彩度検出部２４は曲線成分の内、彩度が低く、かつ
明度が高い曲線成分を検出する。彩度が低く、かつ明度
が高い曲線成分は、反射光の内、鏡面反射成分である可
能性がきわめて高い。したがってその曲線成分は光源の
種類と色を推定するために用いることができ、正確な光
源情報を獲得することができる。

【００６６】本実施形態では、被写体全体を撮像した視
差画像を用いて、曲線成分を検出したが、実施形態はこ
れに限られない。制御部３９が被写体の特定の部分を撮
像した視差画像を順次撮像させ、その特定の部分の視差
画像について、曲線成分検出部２２が、曲線成分を検出
してもよい。

【００６７】図６は、本実施形態の光源推定部３８の処
理のフローチャートである。図６を参照しながら、本実
施形態の光源推定部３８が複数の視差画像から光源情報
を抽出する処理を説明する。

【００６８】曲線成分検出部２２及び明度彩度検出部２
４は、Ｓ１００からＳ１１４までの処理を行う。複数の
視差画像を入力し（Ｓ１００）、視点の移動方向と略同
一の方向を有する複数の視差画像の一次元領域を選択し
（Ｓ１０２）、その一次元領域を視点の移動の順に並べ
た二次元画像を作成する（Ｓ１０４）。

【００６９】二次元画像内の連続する所定の長さの線分
を抽出する（Ｓ１０６）。その連続線分が所定の閾値以
上の曲率の曲線成分を有するかどうかを判定し（Ｓ１０
８）、そうであれば、Ｓ１１０の処理に進み、そうでな
いならＳ１１４の処理に進む。さらに連続する線分上の
画素について、彩度が所定の閾値以下で、かつ明度が所
定の閾値以上であるなら（Ｓ１１０）、曲線成分として
登録し（Ｓ１１２）、そうでないなら、Ｓ１１４に進
む。

【００７０】二次元画像におけるすべての連続する線分
を調べたなら（Ｓ１１４）、Ｓ１１５の処理に進み、そ
うでないならＳ１０６の処理に戻り、他の連続する線分
を抽出し、Ｓ１０８からＳ１１２までの処理を繰り返
す。

【００７１】視差画像におけるすべての一次元領域を調
べたなら（Ｓ１１５）、Ｓ１１６の処理に進み、そうで
ないならＳ１０２の処理に戻り、他の一次元領域を選択
し、Ｓ１０４からＳ１１４までの処理を繰り返す。

【００７２】光源情報抽出部２８は、登録された曲線成
分上の画素データを抽出し（Ｓ１１６）、その画素デー
タから光源に関する情報を推定する（Ｓ１１８）。色バ
ランスゲイン算出部３０は、推定された光源情報に基づ
いて、適正なホワイトバランスを行うための色バランス
のゲインを計算する（Ｓ１２０）。

【００７３】一般に、被写体の画像の中で、彩度が低
く、明度が高い画素があっても、それが直ちに鏡面反射
成分であると考えることはできない。しかし、彩度が低
く、明度が高い画素が、視差画像の一次元領域を視点の
移動の順に並べた二次元画像において曲線成分上にある
ならば、鏡面反射成分である可能性がきわめて高い。本
実施形態のカメラは、彩度が低く、かつ明度が高い、曲
線成分を検出するため、鏡面反射成分を高い精度で抽出
することができ、正確な光源の情報を得ることができ
る。

【００７４】（実施形態２）本発明の第２の実施形態に
係る視差画像撮像装置の一例としてのカメラは、図１及
び図５に示した第１の実施形態のカメラと同じ構成であ
り、光源推定部３８の処理だけが異なる。第１の実施形
態と共通部分の説明は省略し、異なる部分だけを説明す
る。

【００７５】第１の実施形態のカメラでは、曲線成分検
出部２２が、視差画像の一次元領域を視点の移動の順に
並べた二次元画像において、曲線成分を抽出したが、本
実施形態のカメラでは、視差画像の特定画素が視差画像
上を移動した軌跡を表す視差ラインの内、曲線成分を有
する視差ラインを抽出する。

【００７６】複数の視差画像の内、一つを基準画像と
し、他を参照画像とする。曲線成分検出部２２は、基準
画像のある特定画素を基準点とした場合、その基準点に
対応する参照画像中の参照点を検出する。参照点の検出
には、従来の対応点決定（マッチング）処理を用いる。
基準点と複数の参照点が検出されると、基準画像の参照
点が画像上で移動した軌跡を表す視差ラインを抽出する
ことができる。

【００７７】曲線成分検出部２２は、抽出された視差ラ
インが、所定の閾値以上の曲率の曲線成分を有するかど
うかを判定する。曲率が所定の閾値以上である曲線成分
を有するなら、その視差ラインを曲線成分として検出
し、そうでないなら、その視差ラインを破棄する。

【００７８】曲線成分検出部２２は、制御部３９が駆動
部４２に対して指定した視点の移動方向及び移動量を用
いて、視点の移動方向と略同一の方向に、視点の移動量
の長さだけ、視差ラインを抽出してもよい。

【００７９】明度彩度検出部２４、光源情報抽出部２
８、及び色バランスゲイン算出部３０の動作は第１の実
施形態と同じであるから説明を省略する。

【００８０】本実施形態の曲線成分検出部２２は、曲線
成分を有する視差ラインを検出し、明度彩度検出部２４
が曲線成分を有する視差ラインの内、彩度が低く、かつ
明度の高い視差ラインを検出する。そのような視差ライ
ンを形成する画素は鏡面反射成分である可能性がきわめ
て高い。したがってその視差ライン上の画素データは、
光源の種類と色を推定するために用いることができ、正
確な光源情報を獲得することができる。

【００８１】図７は、本実施形態のカメラにおける光源
推定部３８の処理のフローチャートである。図７を参照
しながら、本実施形態の光源推定部３８が複数の視差画
像から光源情報を抽出する処理を説明する。

【００８２】曲線成分検出部２２及び明度彩度検出部２
４は、Ｓ２００からＳ２１６までの処理を行う。複数の
視差画像を入力し、いずれか一つの視差画像を基準画
像、他の視差画像を参照画像とする（Ｓ２００）。基準
画像の特定領域を選択し（Ｓ２０２）、特定領域内の特
定画素を基準点として選択する（Ｓ２０４）。

【００８３】参照画像内に基準点に対応する参照点を検
出し（Ｓ２０６）、基準点と参照点を結ぶ視差ラインを
抽出する（Ｓ２０８）。抽出された視差ラインが、所定
の閾値以上の曲率の曲線成分を有するかどうかを判定し
（Ｓ２１０）、そうであるなら、Ｓ２１２の処理に進
み、そうでないなら、Ｓ２１６の処理に進む。視差ライ
ン上の画素について、彩度が所定の閾値以下で、かつ明
度が所定の閾値以上であるなら（Ｓ２１２）、曲線成分
として登録し（Ｓ２１４）、そうでないなら、Ｓ２１６
に進む。

【００８４】特定領域内のすべての画素について調べた
なら（Ｓ２１６）、Ｓ２１８の処理に進み、そうでない
ならＳ２０４の処理に戻り、特定領域の他の特定画素を
センタ選択し、Ｓ２０６からＳ２１４までの処理を繰り
返す。

【００８５】光源情報抽出部２８は、登録された曲線成
分上の画素データを抽出し（Ｓ２１８）、その画素デー
タから光源に関する情報を推定する（Ｓ２２０）。色バ
ランスゲイン算出部３０は、推定された光源情報に基づ
いて、適正なホワイトバランスを行うための色バランス
のゲインを計算する（Ｓ２２２）。

【００８６】一般に、被写体の画像の中で、彩度が低
く、明度が高い画素があっても、それが直ちに鏡面反射
成分であると考えることはできない。しかし、彩度が低
く、明度が高い画素が、曲線成分を有する視差ライン上
にあるならば、鏡面反射成分である可能性がきわめて高
い。本実施形態のカメラは、彩度が低く、かつ明度が高
い、曲線成分を検出するため、鏡面反射成分を高い精度
で抽出することができ、正確な光源の情報を得ることが
できる。

【００８７】（実施形態３）図８は、本発明の第３の実
施形態に係る視差画像処理装置の一例としてのデジタル
ラボシステムの構成図である。本実施形態のデジタルラ
ボシステムは、視差画像入力部６４と、視差画像記憶部
６６と、曲線成分検出部６８と、明度彩度検出部７０
と、光源情報抽出部７２と、画像処理部７４と、画像出
力部７６とを有する。

【００８８】視差画像入力部６４は、被写体の画像及び
被写体を見る視点を移動した場合に得られる複数の視差
画像を入力する。視差画像入力部６４は写真又は感光フ
ィルムを読みとりデジタル信号に置き換えるスキャナ、
又はビデオテープ、ＣＤ−ＲＯＭ、ＤＶＤなどの記録媒
体から画像データを読みとる読み込み装置であってもよ
い。

【００８９】視差画像記憶部６８は、視差画像入力部６
４が入力した被写体の画像及び被写体の複数の視差画像
を記憶する。

【００９０】曲線成分検出部６８、明度彩度検出部７０
及び光源情報抽出部７２は、それぞれ第１又は第２の実
施形態のカメラの曲線成分検出部２２、明度彩度検出部
２４及び光源情報抽出部２８と同じ動作をするので、説
明を省略する。

【００９１】画像処理部７４は、光源情報抽出部７２が
出力した光源情報を用いて、被写体の画像を処理する。

【００９２】画像出力部７６は、画像処理部７４が作成
して得られた画像を出力する。画像出力部７６は、現像
機又はプリンタであってもよい。

【００９３】本実施形態のデジタルラボシステムは、被
写体の複数の視差画像を用いて、被写体を照明する光源
に関する情報を獲得する。得られた光源情報を利用し
て、被写体を撮像したネガフィルムや写真に対して、被
写体の画像のホワイトバランスを調整したり、光源色あ
るいは物体色のみを変更した画像の編集をすることがで
き、より美しい被写体の画像を再構成することができ
る。

【００９４】（実施形態４）図９は、本発明の第４の実
施形態に係るコンピュータ用のプログラムの機能構成図
である。図９において、コンピュータ１８０は、視差画
像入力モジュール１８４と、視差画像記憶モジュール１
８６と、曲線成分検出モジュール１８８と、明度彩度検
出モジュール１９０と、光源情報抽出モジュール１９２
と、画像処理モジュール１９４と、画像出力モジュール
１９６とを有する。これらの機能構成は、記録媒体１８
２に格納されたプログラムによってソフトウエアとして
提供されてもよい。

【００９５】視差画像入力モジュール１８４は、被写体
の画像及び被写体を異なる視点から見た場合に得られる
複数の視差画像を入力する。視差画像入力モジュール１
８４は、スキャナなどの画像読み取り装置や、ＣＤ−Ｒ
ＯＭなどの記憶デバイスから画像を読み込んでもよい。
視差画像記憶モジュール１８６は、被写体の画像及び複
数の視差画像を記憶する。

【００９６】曲線成分検出モジュール１８８、明度彩度
検出モジュール１９０、及び光源情報抽出モジュール１
９２は、それぞれ第１又は第２の実施形態のカメラの曲
線成分検出部２２、明度彩度検出部２４及び光源情報抽
出部２８と同じ動作をするので、説明を省略する。

【００９７】画像処理モジュール１９４は、光源情報抽
出モジュール１９２が出力した光源情報を用いて、被写
体の画像に対して画像処理を行う。

【００９８】画像出力モジュール１９６は、画像処理モ
ジュール１９４が作成した画像をコンピュータに接続さ
れたディスプレイに出力する。画像出力モジュール１９
６は、画像処理モジュール１９４が作成した画像をプリ
ンタに出力してもよい。

【００９９】本実施形態の記録媒体に格納されたプログ
ラムによれば、被写体の複数の視差画像に基づいて、被
写体を照明する光源に関する情報を獲得する。得られた
光源情報を利用して、被写体を撮像した画像に対して、
被写体の画像のホワイトバランスを調整したり、光源色
あるいは物体色のみを変更した画像の編集をすることが
でき、より高度な画像処理を行うことができる。

【０１００】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。

【０１０１】

【発明の効果】上記説明から明らかなように、本発明に
よれば、被写体の複数の視差画像から、被写体を照明す
る光源に関する情報を正確に求めることができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施形態のカメラの構成図

【図２】 物体を照明する光の反射光の説明図

【図３】 光学結像部を移動させた場合に撮像される視
差画像の説明図

【図４】 被写体の像の視差画像上での軌跡を示すグラ
フ

【図５】 メモリ及び光源推定部の構成図

【図６】 光源推定部の処理のフローチャート

【図７】 本発明の第２の実施形態のカメラにおける光
源推定部の処理のフローチャート

【図８】 本発明の第３の実施形態のデジタルラボシス
テムの構成図

【図９】 本発明の第４の実施形態のコンピュータ用の
プログラムの構成図

【符号の説明】 １２ 光学結像部 １９ カラーフィ
ルター ２０ 受光部 ２２ 曲線成分検
出部 ２４ 明度彩度検出部 ２８ 光源情報抽
出部 ３０ 色バランスゲイン算出部 ３２ マルチプレ
クサー ３４ Ａ／Ｄ変換部 ３５ 色補正部 ３６ メモリ ３８ 光源推定部 ３９ 制御部 ４０ 記録部 ４２ 駆動部 ５２ レンズ ５４ 絞り ５６ シャッター ５８ カラーフィルター ６０ ＣＣＤ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA00 BB05 EE00 FF01 FF42 FF67 JJ03 JJ07 JJ26 LL04 LL21 LL30 NN11 NN13 NN17 QQ00 QQ03 QQ21 QQ23 QQ24 QQ25 QQ28 QQ31 SS02 SS13 2H059 AA04 AA12 AA18 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 5C061 AA29 AB01 AB02 AB04 AB08 AB21 AB24 5C066 AA01 AA05 CA05 EA14 EB01 HA02 JA01 KA11 KE07 KE16 KE17 KM02

Claims (17)

【特許請求の範囲】
1. 【請求項１】 被写体の視差画像を撮像し、前記被写体
   を照明する光の光源に関する情報を獲得する視差画像撮
   像装置であって、 前記被写体を見る視点を略直線上に移動させた場合に得
   られる複数の視差画像を順次撮像させる制御部と、 前記制御部による前記視点の移動量に対して、前記視差
   画像上の位置の変化量が比例しない、前記被写体の特定
   領域を検出する曲線成分検出部と、 前記曲線成分検出部が検出した前記特定領域の画素デー
   タから前記光源の情報を抽出する光源情報抽出部とを備
   えたことを特徴とする視差画像撮像装置。
2. 【請求項２】 前記曲線成分検出部は、前記複数の視差
   画像における前記視点の移動方向と略同一の方向の一次
   元領域を前記視点の移動量に比例するように並べた二次
   元画像において、曲線成分を有する連続線分を検出し、
   前記連続線分上に撮像された、前記被写体の特定領域を
   検出することを特徴とする請求項１の視差画像撮像装
   置。
3. 【請求項３】 前記曲線成分検出部は、前記被写体の特
   定の部分であって、前記複数の視差画像における前記視
   点の移動方向の位置成分と前記視点の移動量との関係を
   示した視差ラインが、曲線成分を有する前記特定の部分
   を検出し、前記特定の部分を前記被写体の前記特定領域
   として検出することを特徴とする請求項１に記載の視差
   画像撮像装置。
4. 【請求項４】 前記曲線成分検出部が検出した前記特定
   領域の内、前記特定領域の画素データの明度及び彩度の
   少なくとも一つに関する条件を満たす前記特定領域を検
   出する明度彩度検出部をさらに備え、前記光源情報抽出
   部は、前記明度彩度検出部が検出した前記特定領域の画
   素データから前記光源の前記情報を抽出することを特徴
   とする請求項１に記載の視差画像撮像装置。
5. 【請求項５】 前記被写体を結像する第１の光学結像部
   と、複数の受光素子が配置され、前記第１の光学結像部
   により前記被写体の前記複数の視差画像が撮像される第
   １の受光部と、前記第１の光学結像部を移動させる駆動
   部とをさらに備え、前記制御部が前記視点の移動方向及
   び移動量を指定し、前記駆動部は前記移動方向及び前記
   移動量に基づいて前記第１の光学結像部を略直線上に移
   動させることを特徴とする請求項１に記載の視差画像撮
   像装置。
6. 【請求項６】 前記被写体を結像する第２の光学結像部
   と、前記第２の光学結像部により前記被写体の画像が撮
   像される第２の受光部と、前記第２の受光部に撮像され
   た画像の色を補正する色補正部とをさらに備え、前記制
   御部が、前記光源情報抽出部が抽出した前記光源の前記
   情報に基づいて、前記色補正部のホワイトバランスを制
   御することを特徴とする請求項５に記載の視差画像撮像
   装置。
7. 【請求項７】 前記第１の光学結像部により前記被写体
   の画像が撮像される第２の受光部と、前記第２の受光部
   に撮像された画像の色を補正する色補正部とをさらに備
   え、前記制御部が、前記光源情報抽出部が抽出した前記
   光源の前記情報に基づいて、前記色補正部のホワイトバ
   ランスを制御することを特徴とする請求項５に記載の視
   差画像撮像装置。
8. 【請求項８】 前記第１の受光部に撮像された前記複数
   の視差画像、前記光源情報抽出部が抽出した前記光源の
   前記情報、及び前記第２の受光部に撮像された前記被写
   体の画像の少なくとも一つを記録する記録部をさらに備
   えることを特徴とする請求項６又は７に記載の視差画像
   撮像装置。
9. 【請求項９】 被写体の視差画像に基づいて、前記被写
   体を照明する光の光源に関する情報を算出する視差画像
   処理装置であって、 前記被写体の画像及び前記被写体を見る視点を略直線上
   に移動させた場合に得られる複数の視差画像を入力する
   視差画像入力部と、 前記被写体の画像及び前記複数の視差画像を記憶する視
   差画像記憶部と、 前記視点の移動量に対して、前記視差画像上の位置の変
   化量が比例しない、前記被写体の特定領域を検出する曲
   線成分検出部と、 前記曲線成分検出部が検出した前記特定領域上の画素デ
   ータから前記光源の情報を抽出する光源情報抽出部と、 前記光源情報抽出部が抽出した前記光源の前記情報に基
   づいて、前記被写体の前記画像を処理する画像処理部
   と、 前記画像処理部が作成して得られた画像を出力する画像
   出力部とを備えたことを特徴とする視差画像処理装置。
10. 【請求項１０】 前記曲線成分検出部が、前記視点の移
    動方向と略同一の方向を有する前記複数の視差画像の一
    次元領域を前記視点の移動量に比例するように並べた二
    次元画像において、曲線成分を有する連続線分を検出
    し、前記連続線分上に撮像された、前記被写体の特定領
    域を検出することを特徴とする請求項９の視差画像処理
    装置。
11. 【請求項１１】 前記曲線成分検出部は、前記被写体の
    特定の部分であって、前記複数の視差画像における前記
    視点の移動方向の位置成分と前記視点の移動量との関係
    を示した視差ラインが、曲線成分を有する前記特定の部
    分を検出し、前記特定の部分を前記被写体の前記特定領
    域として検出することを特徴とする請求項９に記載の視
    差画像処理装置。
12. 【請求項１２】 前記曲線成分検出部が検出した前記特
    定領域の内、前記特定領域の画素データの明度及び彩度
    の少なくとも一つに関する条件を満たす前記特定領域を
    検出する明度彩度検出部をさらに備え、前記光源情報抽
    出部は、前記明度彩度検出部が検出した前記特定領域の
    画素データから前記光源の前記情報を抽出することを特
    徴とする請求項９に記載の視差画像処理装置。
13. 【請求項１３】 被写体の視差画像に基づいて、前記被
    写体を照明する光の光源に関する情報を獲得するコンピ
    ュータ用のプログラムを格納した記録媒体であって、前
    記プログラムが、 前記コンピュータに働きかけて、前記被写体の画像及び
    前記被写体を見る視点を略直線上に移動させた場合に得
    られる複数の視差画像を入力させる視差画像入力モジュ
    ールと、 前記コンピュータに働きかけて、前記被写体の画像及び
    前記複数の視差画像を記憶させる視差画像記憶モジュー
    ルと、 前記コンピュータに働きかけて、前記視点の移動量に対
    して、前記視差画像上の位置の変化量が比例しない、前
    記被写体の特定領域を検出させる曲線成分検出モジュー
    ルと、 前記コンピュータに働きかけて、前記曲線成分検出モジ
    ュールが検出した前記特定領域上の画素データから前記
    光源の情報を抽出させる光源情報抽出モジュールと、 前記コンピュータに働きかけて、前記光源情報抽出部が
    抽出した前記光源の前記情報に基づいて、前記被写体の
    前記画像を処理させる画像処理モジュールと、 前記コンピュータに働きかけて、前記画像処理モジュー
    ルが作成して得られた画像を出力させる画像出力モジュ
    ールとを備えたことを特徴とする記録媒体。
14. 【請求項１４】 前記曲線成分検出モジュールが、前記
    視点の移動方向と略同一の方向を有する前記複数の視差
    画像の一次元領域を前記視点の移動量に比例するように
    並べた二次元画像において、曲線成分を有する連続線分
    を検出し、前記連続線分上に撮像された、前記被写体の
    特定領域を検出することを特徴とする請求項１３に記載
    の記録媒体。
15. 【請求項１５】 前記曲線成分検出モジュールは、前記
    被写体の特定の部分であって、前記複数の視差画像にお
    ける前記視点の移動方向の位置成分と前記視点の移動量
    との関係を示した視差ラインが、曲線成分を有する前記
    特定の部分を検出し、前記特定の部分を前記被写体の前
    記特定領域として検出することを特徴とする請求項１３
    に記載の記録媒体。
16. 【請求項１６】 前記プログラムが、前記コンピュータ
    に働きかけて、前記曲線成分検出部が検出した前記特定
    領域の内、前記特定領域の画素データの明度及び彩度の
    少なくとも一つに関する条件を満たす前記特定領域を検
    出させる明度彩度検出モジュールをさらに備え、前記光
    源情報抽出モジュールは、前記明度彩度検出モジュール
    が検出した前記特定領域の画素データから前記光源の前
    記情報を抽出することを特徴とする請求項１３に記載の
    記録媒体。
17. 【請求項１７】 被写体の視差画像に基づいて、光源に
    関する情報を算出する視差画像処理方法であって、 前記被写体の画像及び前記被写体を見る視点を略直線上
    に移動させた場合に得られる複数の視差画像を入力し、 前記視点の移動量に対して、前記視差画像上の位置の変
    化量が比例しない、前記被写体の特定領域を検出し、 前記被写体の前記特定領域上の画素データから前記光源
    の情報を抽出することを特徴とする視差画像処理方法。