JP2001012912A - 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 鏡面反射成分又は透過光成分が含まれた被写
体の複数の視差画像に基づいて、被写体の正確な奥行き
値を獲得することのできる視差画像撮像装置、視差画像
処理装置、視差画像撮像方法、及び視差画像処理方法を
提供する。 【解決手段】 被写体を見る視点を略直線上に移動させ
た場合に得られる複数の視差画像を順次撮像させる制御
部３９と、制御部３９により撮像された複数の視差画像
を視点の移動の順に時間軸方向に並べた時空間画像にお
いて、略直線性を有する直線成分を検出する直線成分検
出部２２と、略直線性を有する直線成分の傾きに基づい
て、略直線性を有する直線成分上の画素に撮像された被
写体の領域までの距離を算出する距離計算部３８とを備
えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる視点から被
写体を見た場合に得られる複数の視差画像に基づいて、
被写体の奥行き値を獲得する視差画像撮像装置、視差画
像処理装置、視差画像撮像方法、及び視差画像処理方法
に関する。

【０００２】

【従来の技術】画像処理や画像認識の分野において、被
写体の奥行き方向の情報を抽出する手法として、異なる
視点から被写体を見た場合に得られる複数の視差画像を
用いて、視差画像間の視差を検出し、視差から被写体の
奥行き値を計算する方法が一般に取られている。

【０００３】複数の視差画像間の視差を検出するために
は、ある視差画像に撮像された被写体の点が、他の視差
画像のどこに対応しているかを探し出す処理が必要であ
る。被写体を見る視点を直線移動させ、視差画像を連続
撮像した場合、対応点は連続視差画像上で直線上に位置
する。この直線を視差ラインと呼び、従来、この視差ラ
インの傾きに基づいて、三角測量の原理から被写体の点
の奥行き値を求めていた。

【０００４】

【発明が解決しようとする課題】被写体の連続視差画像
において、上述のように奥行き値に応じた傾きの直線が
現れるのは、被写体表面が拡散反射面である場合に限ら
れる。しかし、実際の被写体では、物体の表面に鏡面反
射成分が多く含まれていたり、ガラス製品のように物体
が光を透過することも少なくない。このような場合、被
写体の連続視差画像の視差ラインは直線にはならない。
連続視差画像から被写体の奥行き値を求める従来の方法
は、被写体の表面は拡散反射成分しか含まないという前
提で視差の検出を行っている。そのため、連続視差画像
に含まれる鏡面反射成分や透過光成分が、視差の検出の
際、ノイズ要因となり、視差量の検出を誤り、被写体の
正確な奥行き値を計算することができないという問題が
生じていた。

【０００５】そこで本発明は、上記の課題を解決するた
めに、被写体の連続視差画像に鏡面反射成分又は透過光
成分が含まれた場合であっても、被写体の連続視差画像
から被写体の奥行き値を正確に獲得することのできる視
差画像撮像装置、視差画像処理装置、視差画像撮像方
法、及び視差画像処理方法を提供することを目的とす
る。この目的は特許請求の範囲における独立項に記載の
特徴の組み合わせにより達成される。また従属項は本発
明の更なる有利な具体例を規定する。

【０００６】

【課題を解決するための手段】即ち、本発明の第１の形
態における視差画像撮像装置は、被写体の奥行きに関す
る情報を獲得する視差画像撮像装置であって、被写体を
見る視点を略直線上に移動させた場合に得られる複数の
視差画像を順次撮像させる制御部と、制御部により撮像
された複数の視差画像を視点の移動の順に時間軸方向に
並べた時空間画像において、略直線性を有する直線成分
を検出する直線成分検出部と、略直線性を有する直線成
分の傾きに基づいて、略直線性を有する直線成分上の画
素に撮像された被写体の領域までの距離を算出する距離
成分算出部とを備えたことを特徴とする。

【０００７】直線成分検出部は、時空間画像において、
曲線成分を有する連続した線分を除外した後に、略直線
性を有する直線成分を検出してもよい。

【０００８】直線成分検出部は、複数の視差画像の特定
の画素が、視点の移動に従って、複数の視差画像上で移
動した軌跡を表す視差ラインの内、略直線性を有する視
差ラインを検出することにより、略直線性を有する直線
成分を検出してもよい。

【０００９】被写体を結像する第１の光学結像部と、複
数の受光素子が配置され、第１の光学結像部により被写
体の複数の視差画像が撮像される第１の受光部と、第１
の光学結像部を移動させる駆動部とをさらに備え、制御
部が視点の移動方向及び移動量を指定し、駆動部は移動
方向及び移動量に基づいて第１の光学結像部を略直線上
に移動させてもよい。

【００１０】直線成分検出部は、制御部が指定する視点
の移動方向と略同一の方向に、制御部が指定する視点の
移動量に基づいて、連続する線分を検出することによ
り、略直線性を有する直線成分を検出してもよい。

【００１１】被写体を結像する第２の光学結像部と、第
２の光学結像部により被写体の画像が撮像される第２の
受光部と、第１の受光部に撮像された複数の視差画像、
距離成分算出部が算出した距離、及び第２の受光部に撮
像された被写体の画像を記録する記録部とをさらに備
え、制御部が、距離成分算出部が算出した距離に基づい
て、第２の光学結像部のフォーカス、絞り、及び第２の
受光部の露光時間の少なくとも一つを制御してもよい。

【００１２】第１の光学結像部により被写体の画像が撮
像される第２の受光部と、第１の受光部に撮像された複
数の視差画像、距離成分算出部が算出した距離、及び第
２の受光部に撮像された被写体の画像を記録する記録部
とをさらに備え、制御部が、距離成分算出部が算出した
距離に基づいて、第１の光学結像部のフォーカス、絞
り、及び第２の受光部の露光時間の少なくとも一つを制
御してもよい。

【００１３】本発明の第２の形態における視差画像処理
装置は、被写体の奥行きに関する情報を算出する視差画
像処理装置であって、被写体の画像及び被写体を見る視
点を略直線上に移動させた場合に得られる複数の視差画
像を入力する視差画像入力部と、被写体の画像及び複数
の視差画像を記憶する視差画像記憶部と、複数の視差画
像を視点の移動の順に時間軸方向に並べた時空間画像に
おいて、略直線性を有する直線成分を検出する直線成分
検出部と、略直線性を有する直線成分の傾きに基づい
て、略直線性を有する直線成分上の画素に撮像された被
写体の領域までの距離を算出する距離成分算出部と、距
離成分算出部が算出した距離に基づいて、被写体の画像
を処理する画像処理部と、画像処理部が作成して得られ
た画像を出力する画像出力部とを備えたことを特徴とす
る。

【００１４】直線成分検出部は、時空間画像において、
曲線成分を有する連続した線分を除外した後に、略直線
性を有する直線成分を検出してもよい。

【００１５】直線成分検出部は、複数の視差画像の特定
の画素が、視点の移動に従って、複数の視差画像上で移
動した軌跡を表す視差ラインの内、略直線性を有する視
差ラインを検出することにより、略直線性を有する直線
成分を検出してもよい。

【００１６】本発明の第３の形態における記録媒体は、
被写体の奥行きに関する情報を算出するコンピュータ用
のプログラムを格納した記録媒体であって、プログラム
が、コンピュータに働きかけて、被写体の画像及び被写
体を見る視点を略直線上に移動させた場合に得られる複
数の視差画像を入力させる視差画像入力モジュールと、
コンピュータに働きかけて、被写体の画像及び複数の視
差画像を記憶させる視差画像記憶モジュールと、コンピ
ュータに働きかけて、複数の視差画像を視点の移動の順
に時間軸方向に並べた時空間画像において、略直線性を
有する直線成分を検出させる直線成分検出モジュール
と、コンピュータに働きかけて、略直線性を有する直線
成分の傾きに基づいて、略直線性を有する直線成分上の
画素に撮像された被写体の領域までの距離を算出させる
距離成分算出モジュールと、コンピュータに働きかけ
て、距離成分算出モジュールが算出した距離に基づい
て、被写体の画像を処理させる画像処理モジュールと、
コンピュータに働きかけて、画像処理モジュールが作成
して得られた画像を出力させる画像出力モジュールとを
備えたことを特徴とする。

【００１７】直線成分検出モジュールは、時空間画像に
おいて、曲線成分を有する連続した線分を除外した後
に、略直線性を有する直線成分を検出してもよい。

【００１８】直線成分検出モジュールは、複数の視差画
像の特定の画素が、視点の移動に従って、複数の視差画
像上で移動した軌跡を表す視差ラインの内、略直線性を
有する視差ラインを検出することにより、略直線性を有
する直線成分を検出してもよい。

【００１９】本発明の第４の形態における視差画像処理
方法は、被写体の奥行きに関する情報を算出する視差画
像処理方法であって、被写体の画像及び被写体を見る視
点を略直線上に移動させた場合に得られる複数の視差画
像を入力し、複数の視差画像を視点の移動の順に時間軸
方向に並べた時空間画像において、略直線性を有する直
線成分を検出し、略直線性を有する直線成分の傾きに基
づいて、略直線性を有する直線成分上の画素に撮像され
た被写体の領域までの距離を算出することを特徴とす
る。

【００２０】時空間画像において、曲線成分を有する連
続した線分を除外した後に、略直線性を有する直線成分
を検出してもよい。

【００２１】複数の視差画像の特定の画素が、視点の移
動に従って、複数の視差画像上で移動した軌跡を表す視
差ラインの内、略直線性を有する視差ラインを検出する
ことにより、略直線性を有する直線成分を検出してもよ
い。

【００２２】本発明の第５の形態における視差画像撮像
方法は、被写体の奥行きに関する情報を獲得する視差画
像撮像方法であって、被写体を見る視点を略直線上に移
動させた場合に得られる複数の視差画像を撮像し、複数
の視差画像を視点の移動の順に時間軸方向に並べた時空
間画像において、略直線性を有する直線成分を検出し、
略直線性を有する直線成分の傾きに基づいて、略直線性
を有する直線成分上の画素に撮像された被写体の領域ま
での距離を算出し、距離算出部が算出した距離に基づい
て、被写体を撮像するときの撮影条件を調整し、被写体
を撮影条件で撮像することを特徴とする。

【００２３】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。

【００２４】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態は特許請求の範囲
にかかる発明を限定するものではなく、また、実施形態
の中で説明されている特徴の組み合わせの全てが発明の
解決手段に必須であるとは限らない。

【００２５】（実施形態１）図１は、本発明の第１の実
施形態に係る視差画像撮像装置の一例としてのカメラの
構成図である。本実施形態のカメラは、光学結像部１２
と、カラーフィルター１９と、受光部２０と、レンズ５
２と、絞り５４と、シャッター５６と、カラーフィルタ
ー５８と、ＣＣＤ（電荷結合素子）６０と、マルチプレ
クサー３２と、Ａ／Ｄ変換部３４と、メモリ３６と、距
離計算部３８と、制御部３９と、記録部４０と、駆動部
４２とを有する。

【００２６】レンズ５２は被写体を結像し、絞り５４は
絞り量を調整し、シャッター５６は露光時間を調整す
る。カラーフィルター５８はレンズ５２を通して受光さ
れる光のＲＧＢ成分を分解する。ＣＣＤ６０はレンズ５
２によって結像された被写体の画像を受光して、電気信
号に変換し、マルチプレクサー３２に出力する。

【００２７】光学結像部１２は被写体の視差画像を結像
する。カラーフィルター１９は光学結像部１２を通して
受光される光のＲＧＢ成分を分解する。受光部２０は光
学結像部１２によって結像された被写体の画像を受光し
て、電気信号に変換し、マルチプレクサー３２に出力す
る。

【００２８】受光部２０は、複数の受光素子がマトリッ
クス状に配置され、光学結像部により被写体が結像され
る。カラーフィルター１９は受光部２０の表面を覆い、
光のＲＧＢ成分を透過させ、受光部２０の受光素子に受
光させる。受光部２０の受光素子は、たとえばＣＣＤ
（電荷結合素子）のような光電変換素子であってもよ
く、受光部２０は、複数のＣＣＤが配列された光電変換
撮像体であってもよい。

【００２９】駆動部４２は、制御部３９によって指定さ
れた視点の移動方向及び移動量に基づいて、光学結像部
１２を略直線上に移動させる。これにより、光学結像部
１２は、被写体を見る視点を略直線上に移動させた場合
に得られる複数の視差画像を受光部２０に結像させる。

【００３０】マルチプレクサー３２は、受光部２０また
はＣＣＤ６０の出力信号のどちらかを選択し、Ａ／Ｄ変
換部３４に出力する。Ａ／Ｄ変換部３４は入力されたア
ナログ信号をデジタル信号に変換し、メモリ３６に出力
する。メモリ３６は入力されたデジタル信号を格納す
る。メモリ３６は、レンズ５２がＣＣＤ６０に撮像した
被写体の画像、及び光学結像部１２が撮像した被写体の
視差画像を記憶する。

【００３１】距離計算部３８はメモリ３６から複数の視
差画像を読み出し、複数の視差画像に基づいて、視差画
像の任意の画素に撮像された被写体の領域の奥行き値を
計算し、視差画像の全領域について奥行き値を格納した
被写体の距離分布情報を出力する。距離計算部３８は、
複数の視差画像を視点の移動の順に時間軸方向に並べた
時空間画像において、略直線性を有する直線成分を奥行
き値の計算に利用し、略直線でない成分は奥行き値の計
算には利用しない。

【００３２】制御部３９は、所望の視差画像を撮像する
ために、視点の移動方向及び移動量を指定して、駆動部
４２を制御する。制御部３９はまた、メモリ３６から読
み出した被写体の画像の色情報、明度、彩度、及び距離
計算部３８が出力した被写体の距離分布情報に基づい
て、レンズ５２のフォーカス、絞り５４の絞り量及びシ
ャッター５６の露光時間の少なくとも一つを制御する。

【００３３】記録部４０は、メモリ３６から読み出した
被写体の画像及び距離計算部３８が出力した被写体の距
離情報を記録する。記録部４０はフロッピィディスクの
ような磁気記録媒体やフラッシュメモリのような不揮発
性メモリであってもよい。

【００３４】本実施形態のカメラによれば、被写体の連
続視差画像が作る時空間画像において、略直線性を有す
る成分のみを奥行き値の計算に用い、略直線でない成分
は奥行き値の計算に用いない。略直線でない成分は、鏡
面反射成分又は透過光成分である。したがって、被写体
の物体の表面に鏡面反射成分が多く含まれる場合や、ガ
ラス製品のように物体が光を透過する場合であっても、
視差の検出の際、ノイズ要因となる鏡面反射成分又は透
過光成分を排除して、正しい視差量を検出し、正確な奥
行き値を計算することができる。

【００３５】尚、本実施形態のカメラでは、被写体を撮
像する光学系と、視差画像を撮像する光学系を有する
が、実施形態はこれに限られない。レンズ５２、カラー
フィルター５８、ＣＣＤ６０に、それぞれ光学結像部１
２、カラーフィルター１９、受光部２０の機能を兼ねさ
せ、被写体を撮像する光学系と、視差画像を撮像する光
学系を共通にし、同一の光学系を用いて、被写体の撮像
と視差画像の撮像を行ってもよい。

【００３６】図２は、光学結像部１２を移動させた場合
に撮像される視差画像の説明図である。図２において、
前景８０及び背景９０は、被写体の一例である。前景８
０は、前面に曲面部を有する半透明の物体であり、前景
８０を通して背景９０が透かして見える。光学結像部１
２を移動面２に沿って移動させた場合に、結像面４に
は、被写体の視差画像が撮像される。

【００３７】光学結像部１２から結像面４までの距離
（焦点距離）をＦ、光学結像部１２から前景８０の後部
までの距離をＲ０、光学結像部１２から背景９０までの
距離をＲ１とする。光学結像部１２を１２ａの位置から
１２ｂの位置へ移動させたときの移動距離（視点間隔）
をＬとする。

【００３８】光学結像部１２が移動面２の１２ａの位置
にあるとき、前景８０の点８３及び８５は、結像面４の
それぞれ８３ａ及び８５ａの位置に撮像される。また背
景９０の点９１及び９５は、結像面４のそれぞれ９１ａ
及び９５ａの位置に撮像される。

【００３９】光学結像部１２が移動面２の１２ｂの位置
にあるとき、前景８０の点８３及び８５は、結像面４の
それぞれ８３ｂ及び８５ｂの位置に撮像される。また背
景９０の点９１及び９５は、結像面４のそれぞれ９１ｂ
及び９５ｂの位置に撮像される。

【００４０】前景８０は表面が曲面である半透明の物体
であるため、前景８０を通して見た背景９０は光の屈折
により歪んで見える。そのため、結像面４には前景８０
の像に重なるように、背景９０の歪んだ像が撮像され
る。

【００４１】光学結像部１２が１２ａの位置にあると
き、結像面４に撮像された視差画像を基準画像と呼び、
光学結像部１２が１２ｂの位置にあるとき、結像面に撮
像された視差画像を参照画像と呼ぶ。基準画像の特定の
位置にある画素を基準点とし、基準点に撮像された被写
体の同一の点が撮像されている参照画像の画素を参照点
と呼ぶ。基準画像における基準点の位置と、参照画像に
おける参照点の位置には一定のずれがある。このずれを
視差量と呼ぶ。視差量は基準画像のすべての画素に対し
て定義される。

【００４２】図３は、図２に示した光学結像部１２を移
動面２に沿って移動しながら、前景８０及び背景９０を
撮像した場合に、前景８０及び背景９０の結像面におけ
る像が視差画像上で移動した軌跡を示すグラフである。
グラフの横軸は結像位置を示し、縦軸は光学結像部１２
を移動させた距離（視点間隔）を示す。

【００４３】図３において、視点間隔Ｌだけ離れた視点
から撮像した基準画像及び参照画像を比較すると、背景
９０の点９５の像は９５ａから９５ｂへ移動する。点９
５の像の移動した軌跡を表す線を視差ラインと呼ぶ。９
５ａと９５ｂの結像位置のずれ、すなわち視差量はｄ１
である。このとき、背景９０の点９５の距離Ｒ１は、視
点間隔Ｌ、焦点距離Ｆを用いて、式Ｒ１＝Ｆ×Ｌ／ｄ１
によって計算できる。ここでＫ１＝Ｌ／ｄ１とおくと、
Ｋ１は基準点９５ａについての視差ラインの傾きであ
り、Ｒ１＝Ｆ×Ｋ１とかける。

【００４４】また前景８０の点８５の像は８５ａから８
５ｂへ移動する。８５ａと８５ｂの結像位置のずれ、す
なわち視差量はｄ０である。このとき、前景８０の点８
５の距離Ｒ０は、式Ｒ０＝Ｆ×Ｌ／ｄ０によって計算で
きる。視差ラインの傾きをＫ０＝Ｌ／ｄ０とおくと、Ｒ
０＝Ｆ×Ｋ０とかける。

【００４５】一般に、基準画像のある画素を基準点とし
て、基準点に対する参照画像の対応点を探し出し、視差
ラインを抽出し、視差ラインの傾きＫを求めれば、基準
点に撮像された被写体の点の距離Ｒは、式Ｒ＝Ｆ×Ｋに
よって求めることができる。

【００４６】このように前景８０及び背景９０の像の位
置のずれに基づいて、前景８０の点及び背景９０の点ま
での距離を計算できる。しかし、前景８０の曲面部を透
過した背景９０の点は、光の屈折により歪んで見えるた
め、視差画像上の像の軌跡は直線にならない。図３の曲
線９３は、前景８０の曲面部を透過した背景９０の点の
像の軌跡の例である。

【００４７】視差の検出の際、曲線９３のような直線で
ない像の軌跡が現れると、ノイズ要因となり、正しい視
差量の検出の妨げとなる。このような直線でない像の軌
跡が現れるのは、被写体の物体の表面に鏡面反射成分が
多く含まれる場合や、ガラス製品のように物体が光を透
過する場合である。そこで、本実施形態のカメラでは、
被写体の視差画像から視差を検出する際、ノイズ要因と
なる略直線でない成分を廃棄し、略直線性を有する直線
成分の傾きから、奥行き値を算出する。

【００４８】以下、本実施形態のカメラが、ノイズ要因
となる略直線でない成分を廃棄し、略直線性を有する直
線成分の傾きから奥行き値を算出する方法を説明する。

【００４９】図４は、図１に示した本実施形態のカメラ
のメモリ３６及び距離計算部３８の構成図である。図４
を参照しながら、本実施形態のメモリ３６及び距離計算
部３８が、複数の視差画像から被写体の距離分布情報を
作成する動作を説明する。図４では、マルチプレクサー
３２とＡ／Ｄ変換部３４を省略するが、実際の動作で
は、受光部２０に撮像された画像は、マルチプレクサー
３２を介してＡ／Ｄ変換部３４に送られ、デジタル信号
に変換されてからメモリ３６に格納される。

【００５０】メモリ３６は、受光部２０に撮像された被
写体の複数の視差画像３７を格納する。距離計算部３８
は、複数の視差画像を視点の移動の順に時間軸方向に並
べた時空間画像において、略直線性を有する直線成分を
検出する直線成分検出部２２と、略直線性を有する直線
成分から被写体の距離を算出する距離成分算出部２８と
を有する。

【００５１】以下、一例として、図４に示した被写体Ａ
及びＢの視差画像を撮像した場合について、メモリ３
６、直線成分検出部２２及び距離成分算出部２８の動作
を説明する。

【００５２】光学結像部１２から被写体Ａ及びＢまでの
距離はそれぞれＲ１及びＲ２である。被写体Ａは表面が
球面の半透明の物体であり、被写体Ａを通して、被写体
Ｂを透かして見ることができる。メモリ３６は、光学結
像部１２を移動させた時に受光部２０に撮像される被写
体Ａ及びＢの複数の視差画像３７を格納する。

【００５３】直線成分検出部２２は、メモリ３６から複
数の視差画像３７を読み出し、視差画像３７の一つを基
準画像とし、他の視差画像３７を参照画像とする。直線
成分検出部２２は、複数の視差画像３７を視点の移動の
順に時間軸方向に並べた時空間画像において、連続する
一定の長さの線分を抽出し、連続線分の曲率が所定の閾
値以下であるかどうか判定する。曲率が所定の閾値を超
えているなら、その連続線分を破棄し、曲率が所定の閾
値以下であるなら、その連続線分を略直線性を有する直
線成分とする。

【００５４】直線成分検出部２２は、視差画像の時空間
画像において、被写体Ａ及びＢが撮像された領域内のす
べての連続する線分について、略直線性を判定し、略直
線性を有する直線成分を抽出する。

【００５５】直線成分検出部２２は、制御部３９が駆動
部４２に対して指定した視点の移動方向及び移動量を用
いて、視点の移動方向と略同一の方向に、視点の移動量
の長さだけ、連続する線分を抽出してもよい。

【００５６】直線成分検出部２２は、略直線性を有する
直線成分を抽出する方法として、特定の直線成分を検出
するハフ変換処理などの従来手法を用いてもよい。

【００５７】距離成分算出部２８は、基準画像の特定領
域の特定画素が、直線成分検出部２２が抽出した略直線
性を有する直線成分上にあるかどうかを判定する。特定
画素が略直線性を有する直線成分上にあるなら、その直
線成分の傾きから特定画素の奥行き値を計算する。特定
画素が略直線性を有する直線成分上にないなら、その特
定画素については奥行き値を計算しない。

【００５８】被写体Ａが撮像されている基準画像の領域
では、視差ラインの傾きＫ１が検出され、距離Ｒ１が、
式Ｒ１＝Ｆ×Ｋ１によって求められる。被写体Ｂが撮像
されている基準画像の領域では、視差ラインの傾きＫ２
が検出され、距離Ｒ２が、式Ｒ２＝Ｆ×Ｋ２によって求
められる。

【００５９】距離成分算出部２８は、被写体Ａ及びＢが
撮像された特定領域内のすべての画素について、直線成
分検出部２２が抽出した略直線性を有する直線成分にあ
る場合にのみ、奥行き値を計算する。距離成分算出部２
８は、被写体Ａ及びＢが撮像された基準画像のすべての
画素に関する奥行き値を格納した距離分布情報３０を出
力する。

【００６０】直線成分検出部２２は、視差画像の時空間
画像において、曲線成分を有する連続線分は破棄するた
め、距離成分算出部２８は、曲線成分を有する連続線分
から被写体の奥行き値を算出することはない。したがっ
て、表面が球面である半透明の物体である被写体Ａの視
差画像を撮像した場合でも、透過光成分による曲線成分
を奥行き値の計算から除去することができるので、被写
体の正確な奥行き値を算出することができる。

【００６１】図５は、本実施形態の距離計算部３８の処
理のフローチャートである。図５を参照しながら、本実
施形態の距離計算部３８が複数の視差画像から被写体の
距離分布情報を求める処理を説明する。

【００６２】直線成分検出部２２は、Ｓ１００からＳ１
１２までの処理を行う。複数の視差画像を入力し、いず
れか一つの視差画像を基準画像、他の視差画像を参照画
像とし（Ｓ１００）、基準画像の特定領域を選択する
（Ｓ１０２）。

【００６３】特定領域について、複数の視差画像を視点
の移動の順に時間軸方向に並べた時空間画像を作成し
（Ｓ１０４）、連続する線分を抽出する（Ｓ１０６）。
連続する線分の曲率が所定の閾値以下であるかどうかを
判定し（Ｓ１０８）、曲率が所定の閾値以下であるな
ら、その連続する線分を直線成分として登録する（Ｓ１
１０）。曲率が所定の閾値以下でないなら、Ｓ１１２の
処理に進む。

【００６４】時空間画像におけるすべての連続する線分
を調べたかどうか判定し（Ｓ１１２）、そうでないなら
Ｓ１０６の処理に戻り、他の連続する線分を抽出し、Ｓ
１０８及びＳ１１０の処理を繰り返す。時空間画像にお
けるすべての連続する線分を調べたなら、Ｓ１１４の処
理に進む。

【００６５】距離成分算出部２８は、Ｓ１１４からＳ１
２２までの処理を行う。基準画像の特定領域内の特定画
素を選択し（Ｓ１１４）、その特定画素が直線成分検出
部２２によって抽出された直線成分上にあるかどうかを
判定し（Ｓ１１６）、そうであるなら、その直線成分の
傾きＫを検出し、特定画素の距離Ｒを式Ｒ＝Ｆ×Ｋによ
って算出する（Ｓ１１８）。ここでＦは焦点距離であ
る。その特定画素が直線成分上にないなら、Ｓ１２０の
処理に進む。

【００６６】特定領域内のすべての画素について距離を
算出したかどうかを判定し（Ｓ１２０）、そうでないな
ら、Ｓ１１４の処理に戻り、他の特定画素を選択して、
Ｓ１１６及びＳ１１８の処理を繰り返す。特定領域内の
すべての画素について距離を算出したなら、基準画像の
特定領域の距離分布情報を出力する（Ｓ１２２）。

【００６７】このように、直線成分検出部２２は、曲線
成分をあらかじめ破棄し、直線成分のみを抽出するた
め、距離成分算出部２８は、直線成分だけから特定画素
の奥行き値を計算し、曲線成分は奥行き値の計算に用い
ない。したがって、距離成分算出部２８は、被写体の正
確な距離分布情報を算出することができる。

【００６８】以上述べたように、本実施形態のカメラで
は、被写体の複数の視差画像が作る時空間画像から曲線
成分を視差画像から予め除去する。このため、被写体の
物体の表面に、鏡面反射成分が多く含まれる場合や、ガ
ラス製品のように透過光成分を含む場合であっても、視
差の検出の際、ノイズ要因となる鏡面反射成分又は透過
光成分を排除して、正しい視差量を検出し、正確な奥行
き値を計算することができる。

【００６９】（実施形態２）本発明の第２の実施形態に
係る視差画像撮像装置の一例としてのカメラは、図１及
び図４に示した第１の実施形態のカメラと同じ構成であ
り、距離計算部３８の処理だけが異なる。第１の実施形
態と共通部分の説明は省略し、異なる部分だけを説明す
る。

【００７０】第１の実施形態のカメラでは、直線成分検
出部２２が、視差画像の時空間画像において、略直線性
を有する直線成分を抽出したが、本実施形態のカメラで
は、視差画像の特定画素が視差画像上を移動した軌跡を
表す視差ラインの内、略直線性を有する視差ラインを抽
出する。

【００７１】直線成分検出部２２は、基準画像のある特
定画素を基準点とした場合、その基準点に対応する参照
画像中の参照点を検出する。参照点の検出には、従来の
対応点決定（マッチング）処理を用いる。基準点と複数
の参照点が検出されると、基準画像の参照点が画像上で
移動した軌跡を表す視差ラインを抽出することができ
る。

【００７２】直線成分検出部２２は、抽出された視差ラ
インの曲率が所定の閾値以下であるかどうか判定する。
曲率が所定の閾値以下であるなら、その視差ラインを略
直線性を有する直線成分とし、曲率が所定の閾値以上で
あるなら、その視差ラインを破棄する。

【００７３】直線成分検出部２２は、制御部３９が駆動
部４２に対して指定した視点の移動方向及び移動量を用
いて、視点の移動方向と略同一の方向に、視点の移動量
の長さだけ、視差ラインを抽出してもよい。

【００７４】距離成分算出部２８は、直線成分検出部２
２が抽出した略直線性を有する視差ラインの傾きを検出
し、その傾きから基準画像の特定画素の奥行き値を算出
する。

【００７５】距離成分算出部２８は、基準画像のすべて
の画素に関する奥行き値を格納した距離分布情報３０を
出力する。

【００７６】直線成分検出部２２は、視差ラインが略直
線でない場合にはその視差ラインを破棄するため、距離
成分算出部２８は、視差ラインが略直線でない場合に
は、基準画像の特定画素の奥行き値を算出することはな
い。したがって、たとえば、表面が球面である半透明の
物体である被写体の視差画像を撮像した場合でも、透過
光成分による非直線成分を奥行き値の計算から除去する
ことができるので、被写体の正確な奥行き値を算出する
ことができる。

【００７７】図６は、本実施形態のカメラにおける距離
計算部３８の処理のフローチャートである。図６を参照
しながら、本実施形態の距離計算部３８が複数の視差画
像から被写体の距離分布情報を求める処理を説明する。

【００７８】直線成分検出部２２は、Ｓ２００からＳ２
１０までの処理を行う。複数の視差画像を入力し、いず
れか一つの視差画像を基準画像、他の視差画像を参照画
像とする（Ｓ２００）。基準画像の特定領域を選択し
（Ｓ２０２）、特定領域内の特定画素を基準点として選
択する（Ｓ２０４）。

【００７９】参照画像内に基準点に対応する参照点を検
出し（Ｓ２０６）、基準点と参照点を結ぶ視差ラインを
抽出する（Ｓ２０８）。抽出された視差ラインの曲率が
所定の閾値以下であるかどうかを判定し（Ｓ２１０）、
曲率が所定の閾値以下であるなら、Ｓ２１２の処理に進
み、そうでないなら、Ｓ２１４の処理に進む。

【００８０】距離成分算出部２８は、Ｓ２１２からＳ２
１６までの処理を行う。特定画素の視差ラインの傾きＫ
を検出し、特定画素の距離Ｒを式Ｒ＝Ｆ×Ｋによって算
出する（Ｓ２１２）。ここでＦは焦点距離である。

【００８１】特定領域内のすべての画素について、距離
を算出したかどうかを判定し（Ｓ２１４）、そうでない
なら、Ｓ２０４の処理に戻り、他の特定画素を選択し
て、Ｓ２０４からＳ２１２までの処理を繰り返す。特定
領域内のすべての画素について、距離を算出したなら、
基準画像の特定領域の距離分布情報を出力する（Ｓ２１
６）。

【００８２】このように、直線成分検出部２２は、曲線
成分を有する視差ラインをあらかじめ破棄し、直線成分
のみを有する視差ラインを抽出するため、距離成分算出
部２８は、直線成分を有する視差ラインだけから特定画
素の奥行き値を計算し、曲線成分を有する視差ラインは
奥行き値の計算に用いない。したがって、距離成分算出
部２８は、被写体の正確な距離分布情報を算出すること
ができる。

【００８３】（実施形態３）図７は、本発明の第３の実
施形態に係る視差画像処理装置の一例としてのデジタル
ラボシステムの構成図である。本実施形態のデジタルラ
ボシステムは、視差画像入力部６８と、視差画像記憶部
７０と、直線成分検出部７２と、距離成分算出部７４
と、画像処理部７６と、画像出力部７８とを有する。

【００８４】視差画像入力部６８は、被写体の画像及び
被写体を見る視点を移動した場合に得られる複数の視差
画像を入力する。視差画像入力部６８は写真又は感光フ
ィルムを読みとりデジタル信号に置き換えるスキャナ、
又はＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどの記録媒体から画
像データを読みとる読み込み装置であってもよい。

【００８５】視差画像記憶部７０は、視差画像入力部６
８が入力した被写体の画像及び被写体の複数の視差画像
を記憶する。

【００８６】直線成分検出部７２及び距離成分算出部７
４は、第１又は第２の実施形態のカメラの直線成分検出
部２２及び距離成分算出部２８と同じ動作をするので、
説明を省略する。

【００８７】画像処理部７６は、距離成分算出部７４が
出力した被写体の距離分布情報を用いて、被写体の画像
を処理する。

【００８８】画像出力部７８は、画像処理部７６が作成
して得られた画像を出力する。画像出力部７８は、現像
機又はプリンタであってもよい。

【００８９】本実施形態のデジタルラボシステムは、被
写体の複数の視差画像を用いて、被写体の距離分布情報
を獲得する。特に、表面に鏡面反射成分が多く含まれる
被写体や、ガラス製品のように光を透過する被写体を撮
像した視差画像であっても、視差の検出の際、ノイズ要
因となる鏡面反射成分又は透過光成分を排除して、正し
い視差量を検出し、正確な奥行き値を計算することがで
きる。

【００９０】本実施形態のデジタルラボシステムは、得
られた被写体の奥行き情報を利用して、被写体を撮像し
たネガフィルムや写真に対して、被写体の濃度やコント
ラストを自動補正したり、主要被写体を抽出して、主要
被写体の濃度やコントラストを部分補正するなど、より
美しい被写体の画像を再構成することができる。

【００９１】（実施形態４）図８は、本発明の第４の実
施形態に係るコンピュータ用のプログラムの機能構成図
である。図８において、コンピュータ１８０は、視差画
像入力モジュール１８４と、視差画像記憶モジュール１
８６と、直線成分検出モジュール１８８と、距離成分算
出モジュール１９０と、画像処理モジュール１９２と、
画像出力モジュール１９４とを有する。これらの機能構
成は、記録媒体１８２に格納されたプログラムによって
ソフトウエアとして提供されてもよい。

【００９２】視差画像入力モジュール１８４は、被写体
の画像及び被写体を異なる視点から見た場合に得られる
複数の視差画像を入力する。視差画像入力モジュール１
８４は、スキャナなどの画像読み取り装置や、ＣＤ−Ｒ
ＯＭなどの記憶デバイスから画像を読み込んでもよい。
視差画像記憶モジュール１８６は、被写体の画像及び複
数の視差画像を記憶する。

【００９３】直線成分検出モジュール１８８及び距離成
分算出モジュール１９０は、第１又は第２の実施形態の
カメラの直線成分検出部２２及び距離成分算出部２８と
同じ動作をするので、説明を省略する。

【００９４】画像処理モジュール１９２は、距離成分算
出モジュール１９０が算出した距離分布情報を用いて、
被写体の画像に画像処理を施す。

【００９５】画像出力モジュール１９４は、画像処理モ
ジュール１９２が作成した画像をコンピュータに接続さ
れたディスプレイに出力する。画像出力モジュール１９
４は、画像処理モジュール１９２が作成した画像をプリ
ンタに出力してもよい。

【００９６】本実施形態の記録媒体に格納されたプログ
ラムによれば、被写体の複数の視差画像から被写体の距
離分布情報を獲得できる。特に、表面に鏡面反射成分が
多く含まれる被写体や、ガラス製品のように光を透過す
る成分を含む被写体を撮像した視差画像であっても、視
差の検出の際、ノイズ要因となる鏡面反射成分又は透過
光成分を排除して、正しい視差量を検出し、正確な奥行
き値を計算することができる。

【００９７】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができることが当業者に明らかであ
る。その様な変更又は改良を加えた形態も本発明の技術
的範囲に含まれ得ることが、特許請求の範囲の記載から
明らかである。

【００９８】

【発明の効果】上記説明から明らかなように、本発明に
よれば、被写体の複数の視差画像から、被写体の奥行き
値を正確に求めることができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施形態のカメラの構成図

【図２】 光学結像部を移動させた場合に撮像される視
差画像の説明図

【図３】 被写体の像の視差画像上での軌跡を示すグラ
フ

【図４】 メモリ及び距離計算部の構成図

【図５】 距離計算部の処理のフローチャート

【図６】 本発明の第２の実施形態のカメラにおける距
離計算部の処理のフローチャート

【図７】 本発明の第３の実施形態のデジタルラボシス
テムの構成図

【図８】 本発明の第４の実施形態のコンピュータ用の
プログラムの機能構成図

【符号の説明】

１２ 光学結像部 １９ カラーフィ
ルター ２０ 受光部 ２２ 直線成分検
出部 ２８ 距離成分算出部 ３２ マルチプレ
クサー ３４ Ａ／Ｄ変換部 ３６ メモリ ３８ 距離計算部 ３９ 制御部 ４０ 記録部 ４２ 駆動部 ５２ レンズ ５４ 絞り ５６ シャッター ５８ カラーフィ
ルター ６０ ＣＣＤ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 13/02 Ｇ０６Ｆ 15/62 ４１５ Ｆターム(参考） 2F065 AA04 AA06 AA32 AA47 DD11 DD12 FF04 FF09 JJ03 JJ26 LL22 LL30 MM07 MM24 QQ03 QQ24 QQ31 QQ38 SS11 2F112 AD10 CA12 DA15 FA07 FA21 FA33 FA35 FA38 2H059 AA09 AA18 5B057 BA15 DA07 DB03 DC02 DC08 5C061 AB03 AB04 AB08 AB24

Claims (17)

【特許請求の範囲】
1. 【請求項１】 被写体の奥行きに関する情報を獲得する
   視差画像撮像装置であって、 前記被写体を見る視点を略直線上に移動させた場合に得
   られる複数の視差画像を順次撮像させる制御部と、 前記制御部により撮像された前記複数の視差画像を前記
   視点の移動の順に時間軸方向に並べた時空間画像におい
   て、略直線性を有する直線成分を検出する直線成分検出
   部と、 前記略直線性を有する直線成分の傾きに基づいて、前記
   略直線性を有する直線成分上の画素に撮像された前記被
   写体の領域までの距離を算出する距離成分算出部とを備
   えたことを特徴とする視差画像撮像装置。
2. 【請求項２】 前記直線成分検出部は、前記時空間画像
   において、曲線成分を有する連続した線分を除外した後
   に、前記略直線性を有する直線成分を検出することを特
   徴とする請求項１に記載の視差画像撮像装置。
3. 【請求項３】 前記直線成分検出部は、前記複数の視差
   画像の特定の画素が、前記視点の移動に従って、前記複
   数の視差画像上で移動した軌跡を表す視差ラインの内、
   略直線性を有する前記視差ラインを検出することによ
   り、前記略直線性を有する直線成分を検出することを特
   徴とする請求項１に記載の視差画像撮像装置。
4. 【請求項４】 前記被写体を結像する第１の光学結像部
   と、複数の受光素子が配置され、前記第１の光学結像部
   により前記被写体の前記複数の視差画像が撮像される第
   １の受光部と、前記第１の光学結像部を移動させる駆動
   部とをさらに備え、前記制御部が前記視点の移動方向及
   び移動量を指定し、前記駆動部は前記移動方向及び前記
   移動量に基づいて前記第１の光学結像部を略直線上に移
   動させることを特徴とする請求項１に記載の視差画像撮
   像装置。
5. 【請求項５】 前記直線成分検出部は、前記制御部が指
   定する前記視点の前記移動方向と略同一の方向に、前記
   制御部が指定する前記視点の前記移動量に基づいて、連
   続する線分を検出することにより、前記略直線性を有す
   る直線成分を検出することを特徴とする請求項４に記載
   の視差画像撮像装置。
6. 【請求項６】 前記被写体を結像する第２の光学結像部
   と、前記第２の光学結像部により前記被写体の画像が撮
   像される第２の受光部と、前記第１の受光部に撮像され
   た前記複数の視差画像、前記距離成分算出部が算出した
   前記距離、及び前記第２の受光部に撮像された前記被写
   体の画像を記録する記録部とをさらに備え、前記制御部
   が、前記距離成分算出部が算出した前記距離に基づい
   て、前記第２の光学結像部のフォーカス、絞り、及び前
   記第２の受光部の露光時間の少なくとも一つを制御する
   ことを特徴とする請求項４に記載の視差画像撮像装置。
7. 【請求項７】 前記第１の光学結像部により前記被写体
   の画像が撮像される第２の受光部と、前記第１の受光部
   に撮像された前記複数の視差画像、前記距離成分算出部
   が算出した前記距離、及び前記第２の受光部に撮像され
   た前記被写体の画像を記録する記録部とをさらに備え、
   前記制御部が、前記距離成分算出部が算出した前記距離
   に基づいて、前記第１の光学結像部のフォーカス、絞
   り、及び前記第２の受光部の露光時間の少なくとも一つ
   を制御することを特徴とする請求項４に記載の視差画像
   撮像装置。
8. 【請求項８】 被写体の奥行きに関する情報を算出する
   視差画像処理装置であって、 前記被写体の画像及び前記被写体を見る視点を略直線上
   に移動させた場合に得られる複数の視差画像を入力する
   視差画像入力部と、 前記被写体の画像及び前記複数の視差画像を記憶する視
   差画像記憶部と、 前記複数の視差画像を前記視点の移動の順に時間軸方向
   に並べた時空間画像において、略直線性を有する直線成
   分を検出する直線成分検出部と、 前記略直線性を有する直線成分の傾きに基づいて、前記
   略直線性を有する直線成分上の画素に撮像された前記被
   写体の領域までの距離を算出する距離成分算出部と、 前記距離成分算出部が算出した前記距離に基づいて、前
   記被写体の前記画像を処理する画像処理部と、 前記画像処理部が作成して得られた画像を出力する画像
   出力部とを備えたことを特徴とする視差画像処理装置。
9. 【請求項９】 前記直線成分検出部は、前記時空間画像
   において、曲線成分を有する連続した線分を除外した後
   に、前記略直線性を有する直線成分を検出することを特
   徴とする請求項８に記載の視差画像処理装置。
10. 【請求項１０】 前記直線成分検出部は、前記複数の視
    差画像の特定の画素が、前記視点の移動に従って、前記
    複数の視差画像上で移動した軌跡を表す視差ラインの
    内、略直線性を有する前記視差ラインを検出することに
    より、前記略直線性を有する直線成分を検出することを
    特徴とする請求項８に記載の視差画像処理装置。
11. 【請求項１１】 被写体の奥行きに関する情報を算出す
    るコンピュータ用のプログラムを格納した記録媒体であ
    って、前記プログラムが、 前記コンピュータに働きかけて、前記被写体の画像及び
    前記被写体を見る視点を略直線上に移動させた場合に得
    られる複数の視差画像を入力させる視差画像入力モジュ
    ールと、 前記コンピュータに働きかけて、前記被写体の画像及び
    前記複数の視差画像を記憶させる視差画像記憶モジュー
    ルと、 前記コンピュータに働きかけて、前記複数の視差画像を
    前記視点の移動の順に時間軸方向に並べた時空間画像に
    おいて、略直線性を有する直線成分を検出させる直線成
    分検出モジュールと、 前記コンピュータに働きかけて、前記略直線性を有する
    直線成分の傾きに基づいて、前記略直線性を有する直線
    成分上の画素に撮像された前記被写体の領域までの距離
    を算出させる距離成分算出モジュールと、 前記コンピュータに働きかけて、前記距離成分算出モジ
    ュールが算出した距離に基づいて、前記被写体の前記画
    像を処理させる画像処理モジュールと、 前記コンピュータに働きかけて、前記画像処理モジュー
    ルが作成して得られた画像を出力させる画像出力モジュ
    ールとを備えたことを特徴とする記録媒体。
12. 【請求項１２】 前記直線成分検出モジュールは、前記
    時空間画像において、曲線成分を有する連続した線分を
    除外した後に、略直線性を有する直線成分を検出するこ
    とを特徴とする請求項１１に記載の記録媒体。
13. 【請求項１３】 前記直線成分検出モジュールは、前記
    複数の視差画像の特定の画素が、前記視点の移動に従っ
    て、前記複数の視差画像上で移動した軌跡を表す視差ラ
    インの内、略直線性を有する前記視差ラインを検出する
    ことにより、前記略直線性を有する直線成分を検出する
    ことを特徴とする請求項１１に記載の記録媒体。
14. 【請求項１４】 被写体の奥行きに関する情報を算出す
    る視差画像処理方法であって、 前記被写体の画像及び前記被写体を見る視点を略直線上
    に移動させた場合に得られる複数の視差画像を入力し、 前記複数の視差画像を前記視点の移動の順に時間軸方向
    に並べた時空間画像において、略直線性を有する直線成
    分を検出し、 前記略直線性を有する直線成分の傾きに基づいて、前記
    略直線性を有する直線成分上の画素に撮像された前記被
    写体の領域までの距離を算出することを特徴とする視差
    画像処理方法。
15. 【請求項１５】 前記時空間画像において、曲線成分を
    有する連続した線分を除外した後に、前記略直線性を有
    する直線成分を検出することを特徴とする請求項１４に
    記載の視差画像処理方法。
16. 【請求項１６】 前記複数の視差画像の特定の画素が、
    前記視点の移動に従って、前記複数の視差画像上で移動
    した軌跡を表す視差ラインの内、略直線性を有する前記
    視差ラインを検出することにより、前記略直線性を有す
    る直線成分を検出することを特徴とする請求項１４に記
    載の視差画像処理方法。
17. 【請求項１７】 被写体の奥行きに関する情報を獲得す
    る視差画像撮像方法であって、 前記被写体を見る視点を略直線上に移動させた場合に得
    られる複数の視差画像を撮像し、 前記複数の視差画像を前記視点の移動の順に時間軸方向
    に並べた時空間画像において、略直線性を有する直線成
    分を検出し、 前記略直線性を有する直線成分の傾きに基づいて、前記
    略直線性を有する直線成分上の画素に撮像された前記被
    写体の領域までの距離を算出し、 前記距離算出部が算出した前記距離に基づいて、前記被
    写体を撮像するときの撮影条件を調整し、 前記被写体を前記撮影条件で撮像することを特徴とする
    視差画像撮像方法。