JP2002095016A - 画像撮像装置及び画像撮像方法 - Google Patents

Abstract

(57)【要約】 【課題】被写体の死角領域の奥行き情報を取得すること
のできる画像撮像装置及び画像撮像システムを提供す
る。 【解決手段】被写体の鏡像を映す鏡面を有する鏡像表示
部４１０と、異なる２つの視点位置から鏡像の視差画像
を撮像する撮像部１０と、被写体の鏡像と鏡面との相対
的位置情報及び視差画像に基づき、被写体における鏡面
に映されている部分の奥行き情報を取得する奥行き算出
部３１２とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像撮像装置、画
像撮像システム、画像処理方法及び記録媒体に関する。
特に本発明は、鏡像に基づいて被写体の奥行き情報を取
得する画像撮像装置、画像撮像システム、画像処理方法
及び記録媒体に関する。

【０００２】

【従来の技術】被写体の３次元情報を取得する方法とし
て、人間の両眼立体視の機能を真似て、カメラを２台並
べて、異なる２つの視点から被写体を見た場合の視差画
像を撮像し、被写体の奥行き値を測定するステレオ撮影
の技法が古くからある。さらに被写体の裏側の奥行き値
も測定したいときは、被写体を回転させたり、撮影装置
を裏側に回り込ませたり、複数台の撮影装置を準備し被
写体の周りに配置したりして、ステレオ撮影を行う方法
が提案されている。

【０００３】

【発明が解決しようとする課題】しかしながら、被写体
を回転させたり、撮影装置を裏側に回り込ませたり、撮
影する場合、瞬時に撮影が完了しないために動きのある
被写体には効果的ではなかった。また、複数台の撮影装
置を配置して撮影する場合、撮影のコストが大きくな
り、また装置全体も大掛かりで複雑なものになってしま
うという問題があった。

【０００４】そこで本発明は、上記の課題を解決するこ
とのできる画像撮像装置、画像撮像システム、画像処理
方法及び記録媒体を提供することを目的とする。この目
的は特許請求の範囲における独立項に記載の特徴の組み
合わせにより達成される。また従属項は本発明の更なる
有利な具体例を規定する。

【０００５】

【課題を解決するための手段】即ち、本発明の第１の形
態によると、被写体の奥行きに関する情報を取得する画
像撮像装置であって、被写体が鏡に映された鏡像を撮像
する撮像部と、撮像部が撮像した画像に基づき鏡に映さ
れた被写体の領域内における奥行きの分布を示す奥行き
分布情報を算出する仮奥行き算出部と、被写体の鏡像と
被写体との相対的な位置情報、及び奥行き分布情報に基
づいて、被写体における鏡に映されている部分の奥行き
情報を取得する奥行き算出部とを備えた。

【０００６】奥行き算出部は、撮像装置から被写体まで
の第１の距離、撮像装置から鏡像までの第２の距離及び
奥行き分布情報に基づいて、被写体における鏡に映され
た部分の奥行き情報を取得してもよい。奥行き算出部
は、撮像装置から被写体までの方向及び撮像装置から鏡
像までの方向をさらに用いて、被写体における鏡に映さ
れた部分の奥行き情報を取得してもよい。奥行き算出部
は、被写体が直接撮像された実像の大きさ及び鏡像の大
きさを比較することにより、撮像装置から被写体までの
距離と撮像装置から鏡像までの距離の比を算出し、距離
の比及び奥行き分布情報に基づいて、被写体における鏡
に映されている部分の奥行き情報を取得してもよい。

【０００７】撮像部は、被写体及び鏡像の画像を撮像
し、同一又は類似の形状もしくは色彩を有する複数の像
が撮像されている場合において、撮像装置から複数の像
のそれぞれまでの距離に基づいて、いずれの像が被写体
を直接撮像した実像であるかを判断する判断部をさらに
備えてもよい。判断部は、複数の像における実像以外の
像を鏡像と判断し、鏡像において同一又は類似の像に連
続している部分を実像における同一又は類似の像に連続
する部分の鏡像であると判断してもよい。撮像装置から
被写体までの距離及び方向並びに撮像装置から鏡像まで
の距離及び方向に基づいて、被写体におけるいずれの部
分が鏡像として映されているかを判断する判断部をさら
に備えてもよい。

【０００８】鏡の位置が既知であり、被写体の位置及び
鏡の位置に基づいて、鏡に映されている鏡像の領域を判
断する判断部をさらに備えてもよい。鏡の位置が既知で
あり、奥行き算出部は、被写体の位置及び鏡の位置に基
づいて、被写体と鏡像との相対的な位置情報を算出して
もよい。 撮像部は、異なる２つの視点位置から鏡像の
視差画像を撮像し、仮奥行き算出部は、視差画像に基づ
き奥行き分布情報を算出してもよい。撮像部は、パター
ンの投影された被写体が鏡に映された鏡像をパターンの
照射位置とは異なる位置で撮像し、仮奥行き算出部は、
撮像部が撮像したパターンの投影された鏡像の画像に基
づき奥行き分布情報を算出してもよい。

【０００９】本発明の他の形態によると、被写体の奥行
きに関する情報を取得する画像撮像システムであって、
被写体の鏡像を映す鏡面を有する鏡像表示部と、鏡像の
画像を撮像する撮像部と、撮像部が撮像した画像に基づ
き鏡面に映された被写体の領域内における奥行きの分布
を示す奥行き分布情報を算出する仮奥行き算出部と、被
写体の鏡像と前記鏡面との相対的位置情報及び奥行き分
布情報に基づき、被写体における鏡面に映されている部
分の奥行き情報を取得する奥行き算出部とを備えた。

【００１０】鏡像表示部は、鏡面上に特定の模様を有
し、画像における特定の像と模様が重なる場合に、像が
鏡面に映された像であると判断する判断部をさらに備え
てもよい。鏡像表示部は、鏡面を撮像部の光軸に平行に
配置してもよい。撮像部は、広い視野角の光学レンズを
有し、視点位置を光軸方向に移動させて異なる２つの視
点位置で撮像してもよい。鏡像表示部は、鏡面を、撮像
部の光軸に垂直に、撮像装置から見た場合に被写体の後
方に配置してもよい。鏡像表示部は、被写体を囲むよう
に光軸に平行に１以上の鏡面をさらに配置してもよい。

【００１１】本発明の他の形態によると、被写体の奥行
きに関する情報を取得する画像処理装置であって、異な
る２つの視点位置から被写体が鏡に映された鏡像を見た
場合に得られる被写体の視差画像を入力する入力部と、
視差画像に基づき、鏡に映された被写体の領域内におけ
る奥行き分布を示す奥行き分布情報を取得する仮奥行き
算出部と、被写体の鏡像と被写体との相対的な位置情報
及び奥行き分布情報に基づいて、被写体における鏡に映
されている部分の奥行き情報を取得する奥行き算出部と
を備えた。

【００１２】本発明の他の形態によると、被写体の奥行
きに関する情報を取得する画像撮像方法であって、被写
体の鏡像を鏡に映し、異なる２つの視点位置から鏡像の
視差画像を撮像し、被写体の鏡像と被写体との相対的な
位置情報及び視差画像に基づいて、被写体における鏡に
映されている部分の奥行き情報を算出する。

【００１３】本発明の他の形態によると、被写体の奥行
きに関する情報を取得するコンピュータ用のプログラム
を格納した記録媒体であって、プログラムが、異なる２
つの視点位置から被写体が鏡に映された鏡像を見た場合
に得られる被写体の視差画像を入力する入力モジュール
と、視差画像に基づき、鏡に映された被写体の領域内に
おける奥行き分布を示す奥行き分布情報を取得する仮奥
行き算出モジュールと、被写体の鏡像と被写体との相対
的な位置情報及び奥行き分布情報に基づいて、被写体に
おける鏡に映されている部分の奥行き情報を取得する奥
行き算出モジュールとを備えた。

【００１４】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。

【００１５】

【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態はクレームにかか
る発明を限定するものではなく、又実施形態の中で説明
されている特徴の組み合わせの全てが発明の解決手段に
必須であるとは限らない。

【００１６】（実施形態１）本発明の第１の実施形態を
説明する。図１は、画像撮像装置の一例としてのデジタ
ルカメラ１０の構成図である。デジタルカメラ１０に
は、デジタルスチルカメラや静止画像を撮影できるデジ
タルビデオカメラ等が含まれる。デジタルカメラ１０
は、主に撮像ユニット２０、撮像制御ユニット４０、処
理ユニット６０、表示ユニット１００、および操作ユニ
ット１１０を含む。

【００１７】撮像ユニット２０は、撮影および結像に関
する機構部材および電気部材を含む。撮像ユニット２０
はまず、映像を取り込んで処理を施す撮影レンズ２２、
絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィル
タ）２８、固体撮像素子の一例であるＣＣＤ３０、およ
び撮像信号処理部３２を含む。撮影レンズ２２は、フォ
ーカスレンズやズームレンズ等からなる。この構成によ
り、被写体像がＣＣＤ３０の受光面上に結像する。結像
した被写体像の光量に応じ、ＣＣＤ３０の各センサエレ
メント（図示せず）に電荷が蓄積される（以下その電荷
を「蓄積電荷」という）。蓄積電荷は、リードゲートパ
ルスによってシフトレジスタ（図示せず）に読み出さ
れ、レジスタ転送パルスによって電圧信号として順次読
み出される。

【００１８】デジタルカメラ１０は一般に電子シャッタ
機能を有するので、シャッタ２６のような機械式シャッ
タは必須ではない。電子シャッタ機能を実現するため
に、ＣＣＤ３０にシャッタゲートを介してシャッタドレ
インが設けられる。シャッタゲートを駆動すると蓄積電
荷がシャッタドレインに掃き出される。シャッタゲート
の制御により、各センサエレメントに電荷を蓄積するた
めの時間、すなわちシャッタ速度が制御できる。

【００１９】ＣＣＤ３０から出力される電圧信号、すな
わちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成
分に色分解され、まずホワイトバランスが調整される。
つづいて撮像信号処理部３２はガンマ補正を行い、必要
なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、そ
の結果得られたデジタルの画像データ（以下単に「デジ
タル画像データ」とよぶ）を処理ユニット６０へ出力す
る。

【００２０】撮像ユニット２０はさらに、ファインダ３
４とストロボ３６を有する。ファインダ３４には図示し
ないＬＣＤを内装してもよく、その場合、後述のメイン
ＣＰＵ６２等からの各種情報をファインダ３４内に表示
できる。ストロボ３６は、コンデンサ（図示せず）に蓄
えられたエネルギが放電管３６ａに供給されたときそれ
が発光することで機能する。

【００２１】撮像制御ユニット４０は、レンズ駆動部４
２、フォーカス駆動部４４、絞り駆動部４６、シャッタ
駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距
センサ５２、および測光センサ５４をもつ。レンズ駆動
部４２などの駆動部は、それぞれステッピングモータ等
の駆動手段を有する。後述のレリーズスイッチ１１４の
押下に応じ、測距センサ５２は被写体までの距離を測定
し、測光センサ５４は被写体輝度を測定する。測定され
た距離のデータ（以下単に「測距データ」という）およ
び被写体輝度のデータ（以下単に「測光データ」とい
う）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０
は、ユーザから指示されたズーム倍率等の撮影情報に基
づき、レンズ駆動部４２とフォーカス駆動部４４を制御
して撮影レンズ２２のズーム倍率とピントの調整を行
う。また撮像系ＣＰＵ５０は、視差画像を撮像するため
に、レンズ駆動部４２を制御して撮影レンズ２２の位置
を移動させる。

【００２２】撮像系ＣＰＵ５０は、１画像フレームのＲ
ＧＢのデジタル信号積算値、すなわちＡＥ情報に基づい
て絞り値とシャッタ速度を決定する。決定された値にし
たがい、絞り駆動部４６とシャッタ駆動部４８がそれぞ
れ絞り量の調整とシャッタ２６の開閉を行う。

【００２３】撮像系ＣＰＵ５０はまた、測光データに基
づいてストロボ３６の発光を制御し、同時に絞り２６の
絞り量を調整する。ユーザが映像の取込を指示したと
き、ＣＣＤ３０が電荷蓄積を開始し、測光データから計
算されたシャッタ時間の経過後、蓄積電荷が撮像信号処
理部３２へ出力される。

【００２４】処理ユニット６０は、デジタルカメラ１０
全体、とくに処理ユニット６０自身を制御するメインＣ
ＰＵ６２と、これによって制御されるメモリ制御部６
４、ＹＣ処理部７０、オプション装置制御部７４、圧縮
伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣ
ＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５
０との間で必要な情報をやりとりする。メインＣＰＵ６
２の動作クロックは、クロック発生器８８から与えられ
る。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユ
ニット１００に対してもそれぞれ異なる周波数のクロッ
クを提供する。

【００２５】メインＣＰＵ６２には、キャラクタ生成部
８４とタイマ８６が併設されている。タイマ８６は電池
でバックアップされ、つねに日時をカウントしている。
このカウント値から撮影日時に関する情報、その他の時
刻情報がメインＣＰＵ６２に与えられる。キャラクタ生
成部８４は、撮影日時、タイトル等の文字情報を発生
し、この文字情報が適宜撮影画像に合成される。

【００２６】メモリ制御部６４は、不揮発性メモリ６６
とメインメモリ６８を制御する。不揮発性メモリ６６
は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能な
ＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザー
による設定情報や出荷時の調整値など、デジタルカメラ
１０の電源がオフの間も保持すべきデータが格納されて
いる。不揮発性メモリ６６には、場合によりメインＣＰ
Ｕ６２のブートプログラムやシステムプログラムなどが
格納されてもよい。一方、メインメモリ６８は一般にＤ
ＲＡＭのように比較的安価で容量の大きなメモリで構成
される。メインメモリ６８は、撮像ユニット２０から出
力されたデータを格納するフレームメモリとしての機
能、各種プログラムをロードするシステムメモリとして
の機能、その他ワークエリアとしての機能をもつ。不揮
発性メモリ６６とメインメモリ６８は、処理ユニット６
０内外の各部とメインバス８２を介してデータのやりと
りを行う。

【００２７】ＹＣ処理部７０は、デジタル画像データに
ＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−
Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制
御部６４によってメインメモリ６８に一旦格納される。
圧縮伸張処理部７８はメインメモリ６８から順次輝度信
号と色差信号を読み出して圧縮する。こうして圧縮され
たデータ（以下単に「圧縮データ」という）は、オプシ
ョン装置制御部７４を介してオプション装置７６の一種
であるメモリカードへ書き込まれる。

【００２８】処理ユニット６０はさらにエンコーダ７２
をもつ。エンコーダ７２は輝度信号と色差信号を入力
し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変
換してビデオ出力端子９０から出力する。オプション装
置７６に記録されたデータからビデオ信号を生成する場
合、そのデータはまずオプション装置制御部７４を介し
て圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸
張処理部７８で必要な伸張処理が施されたデータはエン
コーダ７２によってビデオ信号へ変換される。

【００２９】オプション装置制御部７４は、オプション
装置７６に認められる信号仕様およびメインバス８２の
バス仕様にしたがい、メインバス８２とオプション装置
７６の間で必要な信号の生成、論理変換、または電圧変
換などを行う。デジタルカメラ１０は、オプション装置
７６として前述のメモリカードのほかに、例えばＰＣＭ
ＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよ
い。その場合、オプション装置制御部７４は、ＰＣＭＣ
ＩＡ用バス制御ＬＳＩなどで構成してもよい。

【００３０】通信Ｉ／Ｆ部８０は、デジタルカメラ１０
がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３
２Ｃ、イーサネット（登録商標）、Ｂｌｕｅｔｏｏｔ
ｈ、ＩｒＤＡなどの仕様に応じたプロトコル変換等の制
御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバ
ＩＣを含み、ネットワークを含む外部機器とコネクタ９
２を介して通信する。そうした標準的な仕様のほかに、
例えばプリンタ、カラオケ機、ゲーム機等の外部機器と
の間で独自のＩ／Ｆによるデータ授受を行う構成として
もよい。

【００３１】表示ユニット１００は、ＬＣＤモニタ１０
２とＬＣＤパネル１０４を有する。それらはＬＣＤドラ
イバであるモニタドライバ１０６、パネルドライバ１０
８によってそれぞれ制御される。ＬＣＤモニタ１０２
は、例えば２インチ程度の大きさでカメラ背面に設けら
れ、現在の撮影や再生のモード、撮影や再生のズーム倍
率、電池残量、日時、モード設定のための画面、被写体
画像などを表示する。ＬＣＤパネル１０４は例えば小さ
な白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ
／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発
光禁止、標準撮影可能枚数、画素数、電池容量などの情
報を簡易的に表示する。

【００３２】操作ユニット１１０は、ユーザーがデジタ
ルカメラ１０の動作やそのモードなどを設定または指示
するために必要な機構および電気部材を含む。パワース
イッチ１１２は、デジタルカメラ１０の電源のオンオフ
を決める。レリーズスイッチ１１４は、半押しと全押し
の二段階押し込み構造になっている。一例として、半押
しでＡＦおよびＡＥがロックし、全押しで撮影画像の取
込が行われ、必要な信号処理、データ圧縮等の後、メイ
ンメモリ６８、オプション装置７６等に記録される。操
作ユニット１１０はこれらのスイッチの他、回転式のモ
ードダイヤルや十字キーなどによる設定を受け付けても
よく、それらは図１において機能設定部１１６と総称さ
れている。操作ユニット１１０で指定できる動作または
機能の例として、「ファイルフォーマット」、「特殊効
果」、「印画」、「決定／保存」、「表示切換」等があ
る。ズームスイッチ１１８は、ズーム倍率を決める。

【００３３】以上の構成による主な動作は以下のとおり
である。まずデジタルカメラ１０のパワースイッチ１１
２がオンされ、カメラ各部に電力が供給される。メイン
ＣＰＵ６２は、機能設定部１１６の状態を読み込むこと
で、デジタルカメラ１０が撮影モードにあるか再生モー
ドにあるかを判断する。

【００３４】カメラが撮影モードにあるとき、メインＣ
ＰＵ６２はレリーズスイッチ１１４の半押し状態を監視
する。半押し状態が検出されたとき、メインＣＰＵ６２
は測光センサ５４および測距センサ５２からそれぞれ測
光データと測距データを得る。得られたデータに基づい
て撮像制御ユニット４０が動作し、撮影レンズ２２のピ
ント、絞りなどの調整が行われる。調整が完了すると、
ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示
してユーザーにその旨を伝え、つづいてレリーズスイッ
チ１１４の全押し状態を監視する。レリーズスイッチ１
１４が全押しされると、所定のシャッタ時間をおいてシ
ャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信
号処理部３２へ掃き出される。撮像信号処理部３２によ
る処理の結果生成されたデジタル画像データはメインバ
ス８２へ出力される。デジタル画像データは一旦メイン
メモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸
張処理部７８で処理を受け、オプション装置制御部７４
を経由してオプション装置７６へ記録される。記録され
た画像は、フリーズされた状態でしばらくＬＣＤモニタ
１０２に表示され、ユーザーは撮影画像を知ることがで
きる。以上で一連の撮影動作が完了する。

【００３５】一方、デジタルカメラ１０が再生モードの
場合、メインＣＰＵ６２は、メモリ制御部６４を介して
メインメモリ６８から最後に撮影した画像を読み出し、
これを表示ユニット１００のＬＣＤモニタ１０２へ表示
する。この状態でユーザーが機能設定部１１６にて「順
送り」、「逆送り」を指示すると、現在表示している画
像の前後に撮影された画像が読み出され、ＬＣＤモニタ
１０２へ表示される。

【００３６】本実施形態において、撮像ユニット２０
は、２以上の異なる視点位置から被写体と被写体の鏡像
とが混在した視差画像を撮像する。２以上の異なる視点
位置での撮像は、複数の撮像ユニット２０を用いて実現
してもよいが、撮像ユニット２０の全体又は一部を移動
させることで実現すれば撮像装置を小さく軽量にするこ
とができ、また撮像装置のコストを抑えることができ
る。図２は、視点位置を移動させる手段の一例をあらわ
す図である。絞り駆動部４６が絞り２４を回転させるこ
とで開口２５をレンズ瞳面に平行に移動させて異なる視
点位置での撮像を実現すれば、動かす部分を小さくでき
るので更によい。

【００３７】図３は、鏡像の一例である。鏡面２は光を
全反射する鏡、ガラス、金属、水面等であり、鏡面２に
写し出される被写体ａの鏡像ａ’は、あたかも被写体ａ
と鏡面２に関して対称に存在するように見える。図４
は、鏡像の他の例である。撮像ユニット２０は、図４の
ように被写体ａと鏡像ａ’の両方が画像に入るように撮
像する。撮像ユニット２０から被写体ａを見たとき見え
なかった死角領域ｂが、鏡像ａ’を同時に撮像すること
で死角領域ｂの鏡像は見ることができるようになる。

【００３８】本実施形態のＣＣＤ３０は、固体撮像素子
の一例である。固体撮像素子は、半導体化および集積化
された撮像素子で、構造上、半導体基板上に光電変換と
電荷の蓄積機能をもった画素群を二次元的に配列したも
のである。固体撮像素子は、撮影レンズ２２によって結
像された光を受光し、光電変換作用によって電荷を蓄積
する。蓄積された電荷像は一定の順序に走査され、電気
信号として読み出される。

【００３９】固体撮像素子は、基本的に、外部から入射
する光を受光して光電変換を行うための受光素子部を含
む半導体素子と、半導体素子を収納するパッケージと、
受光素子部への光の入射を可能にするため、パッケージ
の半導体素子と対向する位置に配置された透明保護部材
と、透明保護部材の外側表面あるいは内側において、透
明保護部材よりも高い遮光性を有する遮光部材から構成
されていることが好ましい。これにより、撮像される画
像の品質を向上させることができる。さらに透明保護部
はマイクロレンズの機能を持つことにより、結像される
画像の解像度を向上させてもよい。受光素子部と透明保
護部の間に、または、透明保護部の上または透明保護部
中にカラーフィルタを設け、カラーの画像を撮像できる
ようにしてもよい。

【００４０】本実施形態のＣＣＤ３０は、視差画像にお
ける視差を正確に検出できるように、解像度が十分に高
い電荷結合素子（ＣＣＤ）１次元イメージセンサ（リニ
アセンサ）又は２次元イメージセンサ（エリアセンサ）
イメージセンサであることが望ましい。固体撮像素子と
してＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓ
ｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリ
コン）密着型イメージセンサ、又はバイポーラ密着型イ
メージセンサのいずれかを用いてもよい。

【００４１】さらに、撮影レンズ２２は視差撮影用の光
学レンズ系以外に本撮影用の光学レンズ系を有し、本撮
影用の光学レンズ系と視差撮影用の撮影レンズ系が、被
写体の画像及び視差画像をそれぞれ異なる２つのＣＣＤ
３０に撮像してもよい。本撮影用の光学レンズ系は、標
準の光学レンズであってもよく、視野角の広い広角レン
ズまたは魚眼レンズであってもよい。本撮影用の光学レ
ンズ系が像を受光させるＣＣＤ３０と、視差撮影用の光
学レンズ系が像を受光させるＣＣＤ３０とで、ＣＣＤの
解像度や感度が異なっていてもよい。

【００４２】本実施形態の処理ユニット６０は、撮像ユ
ニット２０が撮像した被写体の視差画像に基づいて、被
写体の奥行き情報を獲得する。図５は、処理ユニット６
０の機能ブロック図である。処理ユニット６０は、視差
画像記憶部３０２と、判断部３０６と、仮奥行き算出部
３１０と、奥行き算出部３１２と、記録部３１４とを有
する。

【００４３】視差画像記憶部３０２は、撮像ユニット２
０が２以上の異なる視点位置から撮像した被写体の像と
被写体の鏡像の像とが混在する２以上の視差画像を記憶
する。判断部３０６は、被写体を直接撮像した実像と鏡
面に映った鏡像とが、視差画像のどの領域にあるかを判
断する。仮奥行き算出部３１０は、相対的な位置情報の
一例として空間座標を算出する。例えば、視差画像にお
ける位置ずれ量に基づき、撮像ユニット２０からの光軸
方向の距離を算出し、画像における像の位置と光軸方向
の距離とに基づいて空間座標を算出してもよい。ただ
し、鏡像の「空間座標」とは、図３に例示したように、
被写体から見てあたかも鏡面の向こう側にあるように見
える鏡像空間までの座標である。また、算出されるの
は、画像撮像装置から実像までと画像撮像装置から鏡像
までの距離の比と方向などの相対的な位置情報であって
もよい。奥行き算出部３１２は、実像とその実像の鏡像
との相対的な位置情報に基づいて、鏡像の空間座標を実
像上に変換する。処理ユニット６０によって、視差画像
に撮像された被写体の一部の領域または全部の領域につ
いて、被写体の奥行き値が算出される。

【００４４】鏡面の位置が既知である場合と鏡像の位置
が分からない場合とに分けて説明する。鏡面の位置が既
知である場合とは、ユーザーが鏡面の位置を入力しても
よいし、鏡面の枠も同時に撮像し視差画像における位置
ずれと視差画像上の座標から算出してもよい。図６は、
本実施形態の鏡面の位置が既知である場合の撮像フロー
チャートである。ユーザーは、ファインダ３４を見て、
被写体の方向を設定する。例えば、被写体が画像の中央
に来ることを予め画像撮像装置に入力してある場合に、
被写体が画像の中央にくるようにフレーミングする。そ
の後、被写体の鏡像も画像に入るように画角を変え、鏡
面の位置を入力する（Ｓ１００）。ユーザーがレリーズ
スイッチ１１４を押下すると撮像ユニット２０が、２つ
の視点位置から２枚の視差画像を撮像する（Ｓ１０
２）。視差画像記憶部３０２は、２枚の視差画像を格納
する（Ｓ１０４）。判断部３０６は、被写体のあるべき
領域の一例として視差画像の中央領域を仮奥行き算出部
３１０に指定し、仮奥行き算出部３１０は、指定された
領域の空間座標を算出する。視差による位置ずれから奥
行き値を算出し、その奥行き値と撮像ユニット２０から
その領域見た方向に基づき実空間の空間座標を算出す
る。方向は、画像上の座標でもよい。判断部３０６は、
画像上の座標に対応した実空間の空間座標を受け取り、
中央領域で奥行き値の連続した領域を「実像」と判断す
る（Ｓ１０６）。判断部３０６は、「実像」の空間座標
を予め入力されている鏡面に対して対称移動させ、画像
上の鏡像があるべき領域を算出する（Ｓ１０８）。仮奥
行き算出部３１０は、鏡像のあるべき領域の奥行き値を
視差画像における視差による位置ずれ量に基づき算出
し、奥行き値と画像上の座標に基づき鏡像の空間座標を
算出する。算出する領域は、奥行き値等が連続する限り
において順次広げていく（Ｓ１１０）。奥行き算出部３
１２は、鏡像の空間座標を鏡面に対称な位置に変換する
（Ｓ１１２）。記録部３１４は、「実像」の空間座標
と、鏡像の空間座標を変換して求めた空間座標と、もと
の視差画像を格納する（Ｓ１１８）。

【００４５】図７は、鏡面の位置は分からないが、図４
の特徴部分ｃと鏡像ｃ’のように対応する領域が見つけ
られる場合の処理のフローチャートである。画像データ
を格納するところまで（Ｓ１０４まで）は、同じであ
る。判断部３０６は、視差画像において同一又は類似す
る色彩又は形状を持つ領域を検索する（Ｓ１２０）。判
断部３０６は、同一又は類似する色彩又は形状の大きさ
を比較し、最大の像を「実像」と、その他の像を「鏡
像」と判断する（Ｓ１２２）。仮奥行き算出部３１０
は、「鏡像」の周囲の奥行き値を算出し、判断部３０６
は、色彩、形状又は奥行き値が「鏡像」に連続する領域
を「準鏡像」と判断する（Ｓ１２４）。仮奥行き算出部
３１０は、「実像」、「鏡像」及び「準鏡像」の空間座
標を算出する（Ｓ１２６）。奥行き算出部３１２は、
「実像」の空間座標と「鏡像」の空間座標との垂直２等
分面を算出し、「準鏡像」の空間座標を垂直２等分面に
対して対称移動させる（Ｓ１３０）。記録部３１４は、
「実像」の空間座標と、対称移動させた「準鏡像」の空
間座標を変換して求めた空間座標と、もとの視差画像と
を格納する（Ｓ１１８）。鏡像において同一類似形状の
領域に連続する領域の奥行き情報を奥行き算出部３１２
が被写体上に変換した場合、変換後の奥行き情報は、実
像における同一類似形状の領域から求めた奥行き情報に
連続であるはずである。対称移動させた「準鏡像」の空
間座標は、「実像」の空間座標と連続であるはずであ
り、連続になるよう補正を加えてもよい。

【００４６】奥行き算出部３１２は算出した被写体の奥
行き情報を撮像制御ユニット４０へ入力し、撮像制御ユ
ニット４０は、被写体の奥行き情報に基づいて、フォー
カス駆動部４４、絞り駆動部４６及びシャッタ駆動部４
８を制御して、フォーカス、絞り、シャッター速度を調
整してもよい。

【００４７】記録部３１４は、奥行き算出部３１２が算
出した被写体の奥行き情報、及び視差画像記憶部３０２
が記憶する被写体の視差画像をオプション装置７６に記
録させる。

【００４８】処理ユニット６０の判断部３０６、仮奥行
き算出部３１０、及び奥行き算出部３１２の機能は一例
として、図１のメインＣＰＵ６２と、メインメモリ６８
や不揮発性メモリ６６に格納またはロードされたプログ
ラムとの連携によって実現することができる。メインＣ
ＰＵ６２が内蔵メモリをもつ場合にはそのメモリに必要
なプログラムを格納し、諸機能をファームウエアとして
実現してもよい。処理ユニット６０の視差画像記憶部３
０２が記憶すべき視差画像データは、メインメモリ６８
または不揮発性メモリ６６に記憶させることができる。
また視差画像データは圧縮伸張処理部７８によって圧縮
されてもよい。処理ユニット６０の記録部３１４の機能
は一例として、オプション装置制御部７４によって実現
することができる。また、ユーザの指示を受け付ける操
作ユニット１１０が被写体の画像の特定領域を処理ユニ
ット６０に指示し、処理ユニット６０は、ユーザーが指
定する特定領域について奥行き値を算出してもよい。ま
た、ユーザーは処理結果をＬＣＤモニタ１０２で確認し
て、誤差が大きいと思われるときは、視差画像における
被写体の像の領域を操作ユニット１１０で指示して被写
体／鏡像の判断を補正してもよい。デジタルカメラ１０
において処理ユニット６０の上述の機能を実現する設計
には相当の自由度がある。

【００４９】次に、図７のＳ１２２において、「最も大
きな像」を「実像」とした理由を説明する。図８は、円
錐の被写体Ｔの鏡面による鏡像の例である。撮像の際
は、被写体と鏡像とが重ならないように、鏡面と被写体
とをある程度離して撮像した方がよい。図８（Ａ）のＴ
１、Ｔ２及びＴ３は、鏡面Ｒ１、Ｒ２及びＲ３を見た場
合の被写体Ｔの鏡像であり、図８（Ｂ）の画像Ｐは、撮
像ユニット２０がＴ、Ｔ１、Ｔ２及びＴ３を撮像した場
合の画像である。鏡面と被写体とを離して撮像しても、
ＴとＴ１の像は重なる。しかし、図８（Ａ）から明らか
なように撮像ユニット２０のいわゆるフィルム面からの
距離が異なる。一般に、同じ被写体の場合遠くにあるも
のが小さく見え、近くにあるものは大きく見える。これ
らのことから「最も大きな像」を「実像」と推定するこ
ととした。なお、鏡像Ｔ３や鏡像Ｔ２は、画像における
像の位置が実像Ｔと大きく異なり、予め被写体をフレー
ミングすべき領域を設定しておけば判別できる。

【００５０】フィルム面からの距離は、像の大きさの他
に、被写体にピントを合わせた場合の像のピンぼけ量
や、視差画像に基づき算出した奥行き値等によって比較
してもよい。ピンぼけ量は、ピントのあっているピント
面からの距離が大きいほど、大きくなり、像がぼける。

【００５１】図９は、鏡面の位置は未知で、同一又は類
似する色彩又は形状を持つ領域も検索不能（図３の対応
する特徴部分を検索不能）の場合に有効な処理の他の例
を説明する図である。鏡像Ｖは、鏡面２に映った被写体
Ｖの鏡像である。対称移動面Ｑは、被写体Ｖと鏡像Ｖと
を結ぶ直線に垂直な任意の平面である。鏡像Ｖ’は、鏡
像Ｖを対称移動面Ｑに対して対称移動したものである。
鏡像Ｖ’を、鏡像Ｖから見た被写体Ｖの方向に、連続的
に繋がるように移動させると、合成像Ｖができる。

【００５２】図１０は、処理の変形例のフローチャート
である。鏡面の位置は未知で、同一又は類似する色彩又
は形状を持つ領域も検索不能（図３の対応する特徴部分
を検索不能）の場合に有効な処理の例を説明する。ユー
ザーは、撮像した視差画像をＬＣＤモニタ１０２で見
て、「実像」領域と「鏡像」領域を入力する（Ｓ３０
０）。仮奥行き算出部３１０は、「実像」領域と「鏡
像」領域との空間座標を算出する（Ｓ３０２）。判断部
３０６は、鏡像から実像への方向を求める。例えば、
「実像」の領域の位置と「鏡像」の領域の位置とを結ぶ
ベクトルを算出する（Ｓ３０４）。奥行き算出部３１２
は、鏡像の奥行き分布情報をベクトルに垂直な平面に対
して対称移動させる。視差画像に基づき算出した鏡像の
凹凸でもよく、一例として「鏡像」の空間座標を対称移
動させ（Ｓ３０６）、「実像」の空間座標と対称移動し
た「鏡像」の空間座標が連続に繋がるまで、対称移動し
た「鏡像」の空間座標をベクトル方向に移動させる（Ｓ
３０８）。

【００５３】図１１は、鏡像の奥行き分布情報を取得す
る他の例を表す。パターン照射装置３７は、被写体に予
め定められたパターンを照射する。パターン照射装置３
７は、鏡面２に反射させて被写体にパターンを照射して
もよい。パターンは、光パターンでもよく、例えば、格
子パターンや照射角度に応じて照度を変調した光であっ
てもよい。撮像ユニット２０は、パターンの投影された
被写体が鏡に映された鏡像をパターンの照射位置とは異
なる位置で撮像する。仮奥行き算出部３１０は、撮像ユ
ニット２０が撮像したパターンの投影された鏡像の画像
に基づき奥行き分布情報を算出する。例えば、仮奥行き
算出部３１０は、光パターンの投影された鏡像の画像、
パターン照射装置３７が照射した光パターン及び撮像ユ
ニット２０とパターン照射装置３７の相対的位置情報に
基づき三角測量の原理によって奥行き情報を算出する。

【００５４】以上述べたように、本実施形態の画像撮像
装置によれば、被写体の鏡像も同時に撮像することによ
り被写体の死角領域の奥行き値も同時に算出することが
できる。

【００５５】また、本実施形態の画像撮像装置で人工衛
星から、海面等も入るように雲を撮像すれば、上層から
みた雲と下層からみた雲を同時に撮像でき、雲の三次元
の分布情報を取得することができる。

【００５６】（実施形態２）本発明の第２の実施形態を
説明する。図１２は、画像撮像システムの一例として
の、被写体の奥行き値を求める３Ｄ撮像システム４００
の構成図である。本実施形態の３Ｄ撮像システム４００
は、デジタルカメラ１０と、鏡像表示部４１０とを有す
る。また、パターン照射装置３７を加えてもよい。

【００５７】鏡像表示部４１０は、正四角柱の一つの底
面を開口とし、他の底面と側面の内側を鏡面にしたもの
である。鏡面表示部４１０の形状は他の正多角柱でもよ
く、円柱でもよい。鏡面にした底面を鏡面Ｒ５、側面を
Ｒ６、Ｒ７（図示せず）、Ｒ８、Ｒ９（図示せず）とす
る。撮像ユニット２０は、図１２（Ａ）に示すように視
点位置を移動させ、被写体Ｕを鏡像表示部４１０の中に
入れて撮像する。また、光パターンを照射して撮像する
場合は、パターン照射装置３７が光パターンを照射する
位置と撮像ユニット２０の視点位置が異なればよく、視
点位置を移動させる必要はない。撮像ユニット２０のレ
ンズ２２は、視野角の広いレンズが望ましい。魚眼レン
ズであってもよい。図１２（Ｂ）に示すように、広角の
レンズを用いて撮像すれば光軸に対してより直角にちか
い方向からの画像が得られ、通常死角になりやすい領域
の奥行き値を求めることが可能になる。

【００５８】デジタルカメラ１０の構成及び動作は、実
施形態１の鏡面が既知の場合と同様であるため、説明は
省略する。

【００５９】図１３は、鏡面Ｒ５、Ｒ６の一例をあらわ
す図である。鏡面上にその鏡面を特定する模様をつけて
おく。鏡面Ｒ６における鏡像には、×印が付くはずであ
り、鏡面Ｒ５とＲ６で反射した鏡像は、×印と格子縞が
付くはずである。特定の像が実像であるのか、またはど
の鏡面における鏡像であるのかの判断が容易になる。ま
た、模様までの奥行きを視差画像に基づき算出すれば鏡
面の位置が算出できる。

【００６０】図１４は、画像のある領域が、実像である
のか、又はどの鏡面で反射した鏡像であるのかを判断す
る像判断のフローチャートである。判断部３０６は、画
像の特定領域を入力し（Ｓ２００）、それぞれの鏡面の
模様を検索し（Ｓ２０２）、模様がない場合は、「実
像」と判断する。模様がある場合において、模様が一種
類の場合は、その模様の鏡面で反射している「鏡像」で
あると判断し（Ｓ２０６）、模様が二種類の場合は、そ
の２種類の模様に対応した２つの鏡面で順次反射してい
る「鏡像」と判断し（Ｓ２０８）、模様が３種類以上の
場合は、「背景」と判断する（Ｓ２１０）。「背景」と
判断された領域は奥行き値の算出には使わない。

【００６１】本システムにおいて、より多方位からの視
差画像の撮像を可能にするには、撮影レンズ２２は、視
野角の広い光学レンズであることが好ましく、広角レン
ズまたは魚眼レンズ等であってもよい。魚眼レンズは視
野角が１８０度に達するように設計されており、広い視
野の被写体を撮影する上で最も好ましい。また、撮影レ
ンズ２２は、同一の光軸を有する複数の光学レンズによ
って構成された光学レンズ系であってもよい。

【００６２】次に、撮影レンズ２２の最も望ましい形態
である、視野角の広い光学レンズの一例としての魚眼レ
ンズのレンズ特性を説明する。図１５は、魚眼レンズ３
２０が結像する被写体の点の入射角θと、全方位画像３
２２における被写体の点の像の位置との関係を説明する
図である。魚眼レンズ３２０の中心はｘｙ平面の原点の
位置にある。被写体の点の方位は、被写体の点から魚眼
レンズ３２０への入射光が魚眼レンズ３２０の光軸とな
す入射角θで表される。全方位画像３２２の中心はＸＹ
平面の原点の位置にある。被写体の点の全方位画像３２
２上での位置を、ＸＹ平面の原点からの距離ｒで表す。
この距離ｒは像高とも呼ばれる。魚眼レンズの焦点距離
をｆとすると、被写体の点の位置ｒと入射角θの間に
は、ｒ＝ｆ・θの関係がある。

【００６３】このように、魚眼レンズは、視野角が１８
０度であり、被写体の全方位の画像を撮像面に結像する
ことができる。特に、被写体の点の位置ｒと入射角θの
間に成り立つレンズ特性を示す関係式がｒ＝ｆ・θとな
る魚眼レンズは「ｆθレンズ」と呼ばれ、広く用いられ
ている。撮影レンズ２２として、ｆθレンズの代わり
に、レンズ特性を示す関係式がｒ＝ｆ・ｓｉｎθとなる
「ｆｓｉｎθレンズ」と呼ばれる魚眼レンズを用いても
よい。また、一般に位置ｒが入射角θに対して単調に増
加し、被写体の全方位の領域の点が、有限の位置ｒに撮
像される魚眼レンズであればよく、必ずしもｆθレン
ズ、ｆｓｉｎθレンズの特性を示す魚眼レンズでなくて
もよい。魚眼レンズは視野角が１８０度に達するように
設計されており、広い視野の被写体を撮影する上で最も
好ましい。しかし、撮影レンズ２２は、視野角が十分に
広く、広い視野にわたって被写体を撮像することができ
る光学レンズであれば、必ずしも魚眼レンズである必要
はなく、視野角の広い広角レンズを用いてもよい。

【００６４】図１６は、２つの魚眼レンズを用いて被写
体を見た場合の視差の説明図である。魚眼レンズ３２４
及び３２６は、それぞれ点Ｌ、Ｒの位置を視点位置とす
るように置かれている。点Ｌと点Ｒは距離２ｄだけ離れ
ている。線３２８及び３３０はそれぞれ魚眼レンズ３２
４及び３２６の光軸である。点Ｌ、Ｒの中点を点Ｏとす
る。被写体の奥行き値は、点Ｏからの距離によって定義
する。被写体の点Ａの奥行き値は、線分ＯＡの長さＺで
ある。また線分ＯＡが、点Ｏから引いた垂線３２９とな
す角をθとする。角θは点Ｏから点Ａを見た場合の点Ａ
の方位角である。

【００６５】線分ＬＡが魚眼レンズ３２４の光軸３２８
となす角、すなわち点Ａの魚眼レンズ３２４への入射角
をθ１とし、線分ＲＡが魚眼レンズ３２６の光軸３３０
となす角、すなわち点Ａの魚眼レンズ３２６への入射角
をθ２とする。入射角θ１は視点Ｌから点Ａを見た場合
の点Ａの方位、入射角θ２は視点Ｒから点Ａを見た場合
の点Ａの方位である。視点が異なるために、点Ａの方位
に差θ１−θ２が生じる。これを視差角と呼ぶ。線分Ｌ
Ａと線分ＲＡのなす角をθＡとすると、θＡ＝θ１−θ
２であるから、便宜上、θＡを、点Ａを異なる視点Ｌ、
Ｒから見た場合の視差角と考えてもよい。

【００６６】魚眼レンズ３２２及び３２４がｆθレンズ
である場合、像高ｒと入射角θの間にｒ＝ｆ・θの関係
が成立するので、視点Ｌ、Ｒから点Ａを見た場合の像高
ｒ_Ｌ、ｒ_Ｒの差と、入射角θ１、θ２の差との間には、
次の比例関係 ｒ_Ｌ−ｒ_Ｒ＝ｆ・（θ１−θ２） が成り立つ。

【００６７】したがって、魚眼レンズ３２４及び３２６
で写した視差画像において、点Ａの像高の差ｒ_Ｌ−ｒ_Ｒ
を検出すると、魚眼レンズの焦点距離ｆが既知である場
合、入射角の差θ１−θ２を計算することができ、視差
角θＡを算出できる。

【００６８】次に、視差角θＡと奥行き値Ｚ、方位角θ
の間に成り立つ関係式を導く。角ＬＡＯをθＬ、角ＲＡ
ＯをθＲとおく。３角形ＬＡＨ及び３角形ＲＡＨに注目
すると、

【００６９】ｔａｎ（θ＋θＬ）＝（Ｚ・ｓｉｎθ＋
ｄ）／（Ｚ・ｃｏｓθ） ｔａｎ（θ−θＲ）＝（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃ
ｏｓθ） が成り立つ。

【００７０】したがって、視差角θＡは、 θＡ＝θＬ＋θＲ ＝ｔａｎ^−１（Ｚ・ｓｉｎθ＋ｄ）／（Ｚ・ｃｏｓθ） −ｔａｎ^−１（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃｏｓθ） （１） と書ける。

【００７１】図１７は、視差角θＡの式（１）のグラフ
である。視点間距離２ｄ、及び奥行き値Ｚをある値に固
定して、方位角θの値を変えて、視差角θＡの値をグラ
フにした。方位角θ＝０のとき、視差角θＡは最大であ
る。方位角θ＝π／２のとき、視差角θＡは０になる。

【００７２】図１７のグラフから明らかなように、魚眼
レンズの並びの横方向に近い領域にある被写体に対して
は、視差角が非常に小さくなるため、視差画像上での像
の位置のずれは極めて小さくなる。図１８は、異なる２
つの視点位置の配置による視差角の違いを説明する図で
ある。光軸に垂直に近い方向からの視差画像は、鏡面Ｒ
６等側面の鏡面上の鏡像を方位角θが大きな方向（図１
８のように光軸に垂直な方向に大きくずれた方向）に、
撮像されている。この場合、視点位置ｉと視点位置ｊと
を組み合わせたときの視差角θｉｊは小さくなり、視点
位置ｉと視点位置ｈとを組み合わせたときの視差角θｈ
ｉの方が大きくなる。奥行き値を求めるときは視差角は
大きいほうがよく、この場合視点位置は光軸方向に移動
させた方がより有効である。

【００７３】一方、光軸方向からの視差画像の場合は、
視点位置ｉと視点位置ｊとの組み合わせの方が有利であ
り、必要に応じて視点位置の組み合わせを変えてもよ
い。

【００７４】図１９は、本システムの変形例を表す図で
ある。鏡像制御部３１８は、鏡面についての情報、撮像
ユニット２０の位置情報、撮像ユニット２０の光軸の方
向等を予め入力されており、処理ユニット６０に出力し
てもよい。処理ユニット６０は、鏡面の方向や鏡面と撮
像ユニット２０の相対的位置を知ることで、鏡面の位置
を算出する必要がなくなる。また、被写体の特定領域に
ついてより詳しい奥行き情報を知りたい場合には、鏡面
制御部３１８は、撮像ユニット２０からの要求に応じて
鏡像表示部４１０の鏡面の向きや位置等を変えてもよ
い。

【００７５】また、処理ユニット６０から算出した３次
元情報を３次元モデリングの装置に出力してもよい。例
えば、算出した被写体の３次元情報を３次元画像表示装
置に入力し被写体の３次元画像を表示してもよい。被写
体の全周囲の位置情報が入力されるので被写体をあらゆ
る方向から見た場合の３次元画像が表示可能である。

【００７６】以上述べたように、本実施形態の画像撮像
システムによれば、複数の鏡像も同時に撮像することに
より、全周囲からの視差画像が撮像可能になり、被写体
の全周囲の奥行き情報をワンショットの撮像で取得でき
る。

【００７７】（実施形態３）本発明の第３の実施形態を
説明する。図２０は、画像処理装置の一例としての、写
真画像の現像や編集等を行うラボシステム２００の構成
図である。本実施形態のラボシステム２００は、入力部
２１０と、処理部２２０と、記録部２４０と、出力部２
５０とを有する。

【００７８】入力部２１０は、被写体の画像データを入
力する。画像データとして、被写体及び被写体の鏡像を
異なる視点から見た場合の視差画像を入力する。デジタ
ルカメラ等で撮影された対象物のデジタル画像を入力す
る場合、入力部２１０には、半導体メモリカード等の着
脱自在な記録媒体から画像データを読み取るための読み
取り装置が用いられる。また、フロッピー（登録商標）
ディスク、ＭＯ、ＣＤ−ＲＯＭ等から画像データを読み
取る場合は、入力部２１０として、それぞれフロッピー
ドライブ、ＭＯドライブ、ＣＤドライブ等が用いられて
もよい。

【００７９】処理部２２０は、入力部２１０が入力した
視差画像を記憶し、被写体の奥行き情報を算出する。処
理部２２０は算出した奥行き情報を視差画像とともに記
録部２４０に出力する。また処理部２２０は算出した奥
行き情報をもとに、被写体の画像を処理して、記録部２
４０と出力部２５０に出力してもよい。

【００８０】記録部２４０は、処理部２２０が出力した
奥行き情報または画像データを着脱自在な記録媒体に記
録する。記録媒体として、書き込み可能なＣＤ−ＲＯ
Ｍ、ＤＶＤ等の光記録媒体や、ＭＯ等の光磁気記録媒
体、フロッピーディスク等の磁気記録媒体等が用いられ
る。記録部２４０として、ＣＤ−Ｒドライブ、ＤＶＤド
ライブ、ＭＯドライブ、フロッピードライブ等が用いら
れる。また、記録部２４０は、フラッシュメモリ、メモ
リカード等の半導体メモリに奥行き情報または画像デー
タを記録してもよい。

【００８１】出力部２５０は、処理部２２０が出力した
被写体の処理された画像データを画像として出力する。
例えば画像を画面表示する場合、出力部２５０には画像
を表示するモニタが用いられる。また例えば画像を印刷
する場合、出力部２５０にはデジタルプリンタやレーザ
プリンタ等のプリンタが用いられる。

【００８２】図２１は、処理部２２０の機能構成図であ
る。処理部２２０は、視差画像記憶部３０２と、判断部
３０６と、仮奥行き算出部３１０と、奥行き算出部３１
２と、画像変換部３１６とを有する。

【００８３】視差画像記憶部３０２は、入力部２１０が
入力した被写体及び被写体の鏡像の２の視差画像のデー
タをＲＡＭ等の半導体メモリまたはハードディスク等の
磁気記録媒体に記憶する。判断部３０６は、ピントの合
っている領域を被写体の像であると判断する。画像の中
で高周波成分の多い領域をピントの合っている領域と判
断してもよい。ユーザがモニターに表示された視差画像
を見て被写体の像を選択し入力してもよい。仮奥行き算
出部３１０は、視差画像おいて、被写体及び鏡像の特定
領域の像の位置が視差によってずれる量を検出し、三角
測量の原理に基づき奥行き値を算出し、奥行き値と視差
画像上の像の座標に基づき、像の空間座標を算出する。
奥行き算出部３１２は、実像と鏡像の相対的な奥行き値
と方向に基づき、鏡像の位置情報を鏡面に関して対称な
位置に変換する。例えば、実像と鏡像の中で被写体の同
じ領域の像が検索できた場合に、その領域の実像におけ
る像の位置情報とその領域の鏡像における像の位置情報
とで、鏡像を対称移動すべき平面を算出してもよい。

【００８４】仮奥行き算出部３０４と、判断部３０６
と、空間位置算出部３０８と、鏡面推定部３１０と、奥
行き算出部３１２が、視差画像に撮像された被写体の一
部の領域または全部の領域について、被写体の奥行き情
報を算出する処理については、第１の実施形態と同じで
あるから、説明を省略する。

【００８５】画像変換部３１２は、奥行き算出部３０８
が算出した被写体の奥行き情報に基づいて、被写体の画
像を処理する。画像変換部３１２は、被写体の奥行き情
報、視差画像、または処理された画像を記憶部２４０と
出力部２５０に出力する。

【００８６】本実施形態の画像処理装置によれば、被写
体と被写体の鏡像との視差画像を入力して、撮像手段か
ら直接見えない被写体の死角領域の奥行き情報を算出す
ることができる。また算出された奥行き情報に基づい
て、画像処理を行い、ＣＡＤ等の図面データを作成する
ことができる。また、被写体全周囲の奥行き情報のある
画像データは、３Ｄ画像の生成に利用することができ
る。

【００８７】（実施形態４）次に、本発明の第４の実施
形態を説明する。図２２は、画像処理装置の構成図であ
る。本実施形態の画像処理装置の基本的な構成及び動作
は、第３の実施形態の画像処理装置と同様である。本実
施形態では、画像処理装置の処理部２２０として、パー
ソナルコンピュータやワークステーション等の電子計算
機を用いる点が、第３の実施形態と異なる。

【００８８】図２２を参照しながら、本実施形態の処理
部２２０のハードウエア構成を説明する。ＣＰＵ２３０
はＲＯＭ２３２及びＲＡＭ２３４に格納されたプログラ
ムに基づいて動作する。キーボード、マウス等の入力装
置２３１を介して利用者によりデータが入力される。ハ
ードディスク２３３は、画像等のデータ、及びＣＰＵ２
３０を動作させるプログラムを格納する。ＣＤ−ＲＯＭ
ドライブ２３５はＣＤ−ＲＯＭ２９０からデータ又はプ
ログラムを読み取り、ＲＡＭ２３４、ハードディスク２
３３及びＣＰＵ２３０の少なくともいずれかに提供す
る。

【００８９】ＣＰＵ２３０が実行するプログラムの機能
構成は、第３の実施形態の画像処理装置の処理部２２０
の機能構成と同じであり、視差画像記憶モジュールと、
判断モジュールと、仮奥行き算出モジュールと、奥行き
算出モジュールと、画像変換モジュールとを有する。

【００９０】視差画像記憶モジュール、判断モジュー
ル、仮奥行き算出モジュール、奥行き算出モジュール及
び画像変換モジュールが、ＣＰＵ２３０に行わせる処理
は、それぞれ、第３の実施形態の画像処理装置の処理部
２２０における、視差画像記憶部３０２、判断部３０
６、仮奥行き算出部３１０、奥行き算出部３１２及び画
像変換部３１２の機能及び動作と同じであるから、説明
を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９
０等の記録媒体に格納されて利用者に提供される。記録
媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で
説明した画像処理装置の動作の一部又は全ての機能を格
納することができる。

【００９１】上記のプログラムは記録媒体から直接ＲＡ
Ｍ２３４に読み出されてＣＰＵ２３０により実行されて
もよい。あるいは、上記のプログラムは記録媒体からハ
ードディスク２３３にインストールされ、ＲＡＭ２３４
に読み出されてＣＰＵ２３０により実行されてもよい。

【００９２】記録媒体としては、ＣＤ−ＲＯＭ２９０の
他にも、ハードディスク、ＲＯＭやＲＡＭ等のメモリ、
ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクや
ミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁
気記録媒体、テープ状記録媒体、不揮発性の半導体メモ
リカード等を用いることができる。

【００９３】上記のプログラムは、単一の記録媒体に格
納されてもよいし、複数の記録媒体に分割されて格納さ
れてもよい。また、上記プログラムは記録媒体に圧縮さ
れて格納されてもよい。圧縮されたプログラムは伸張さ
れ、ＲＡＭ２３４等の別の記録媒体に読み出され、実行
されてもよい。さらに、圧縮されたプログラムはＣＰＵ
２３０によって伸張され、ハードディスク２３３等にイ
ンストールされた後、ＲＡＭ２３４等の別の記録媒体に
読み出され、実行されてもよい。

【００９４】さらに、記録媒体の一例としてのＣＤ−Ｒ
ＯＭ２９０は、通信ネットワークを介して、ホストコン
ピュータによって提供される上記のプログラムを格納し
てもよい。記録媒体に格納された上記のプログラムは、
ホストコンピュータのハードディスクに格納され、通信
ネットワークを介してホストコンピュータから当該コン
ピュータに送信され、ＲＡＭ２３４等の別の記録媒体に
読み出され、実行されてもよい。

【００９５】上記のプログラムを格納した記録媒体は、
本出願の画像処理装置を製造するためにのみ使用される
ものであり、そのような記録媒体の業としての製造およ
び販売等が本出願に基づく特許権の侵害を構成すること
は明らかである。

【００９６】（実施形態５）次に、本発明の第５の実施
形態を説明する。本実施形態の画像撮像装置の一例は、
カメラを内蔵したノート型コンピュータやカメラを内蔵
した携帯型電子端末等の電子機器等である。これらの場
合、ノート型コンピュータや携帯型電子端末の電子計算
機部分は主に図２２に示した処理部２２０として機能す
る。本実施形態の画像撮像装置は、第１の実施形態の画
像撮像装置の処理ユニット６０を、図２２に示した処理
部２２０のハードウエア構成に換えたものである。本実
施形態の画像撮像装置の基本的な構成及び動作は、第１
の実施形態の画像撮像装置と同様である。

【００９７】本実施形態の処理部２２０のハードウエア
構成は、第４の実施形態の処理部２２０のハードウエア
構成と同じであるから説明を省略する。ＣＰＵ２３０が
実行するプログラムの機能構成は、第１の実施形態の画
像撮像装置の処理ユニット６０の機能構成と同じであ
り、視差画像記憶モジュールと、仮奥行き算出モジュー
ルと、判断モジュールと、仮奥行き算出モジュールと、
奥行き算出モジュールと、記録モジュールとを有する。

【００９８】視差画像記憶モジュール、判断モジュー
ル、仮奥行き算出モジュール、奥行き算出モジュール及
び記録モジュールが、ＣＰＵ２３０に行わせる処理は、
それぞれ、第１の実施形態の画像撮像装置の処理ユニッ
ト６０における、視差画像記憶部３０２、判断部３０
６、仮奥行き算出部３１０、奥行き算出部３１２及び記
録部３１４の機能及び動作と同じであるから、説明を省
略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等
の記録媒体に格納されて利用者に提供される。記録媒体
の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明
した画像撮像装置の動作の一部又は全ての機能を格納す
ることができる。

【００９９】上記のプログラムを格納した記録媒体は、
本出願の画像撮像装置を製造するためにのみ使用される
ものであり、そのような記録媒体の業としての製造およ
び販売等が本出願に基づく特許権の侵害を構成すること
は明らかである。

【０１００】以上述べたように、本発明の画像撮像装
置、画像撮像システム及び画像処理装置によれば、被写
体の鏡像も同時に撮像し、鏡像までの見かけ上の奥行き
情報を被写体上の奥行き情報に変換することで、撮像装
置から直接見ることのできない被写体の領域の奥行き情
報を取得できる。

【０１０１】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施の形態に記載の範
囲には限定されない。上記実施の形態に、多様な変更又
は改良を加えることができる。その様な変更又は改良を
加えた形態も本発明の技術的範囲に含まれ得ることが、
特許請求の範囲の記載から明らかである。

【０１０２】

【発明の効果】上記説明から明らかなように、本発明に
よれば被写体の広い領域にわたって被写体の奥行きに関
する情報を取得することができる。

【図面の簡単な説明】

【図１】画像撮像装置の一例としてのデジタルカメラ１
０の構成図である。

【図２】視点位置を移動させる手段の一例をあらわす図
である。

【図３】鏡像の一例を表す図である。

【図４】鏡像の他の例を表す図である。

【図５】処理ユニット６０の機能ブロック図である。

【図６】第１の実施形態の鏡面の位置が既知である場合
の撮像フローチャートである。

【図７】鏡面の位置は分からないが、対応する領域が見
つけられる場合の処理のフローチャートである。

【図８】円錐の被写体Ｔの鏡面による鏡像の例をあらわ
す図である。

【図９】鏡面未知、同一類似領域検索不能の場合の処理
の例を説明する図である。

【図１０】処理の変形例のフローチャートである。

【図１１】鏡像の奥行き分布情報を取得する他の例を表
す図である。

【図１２】３Ｄ撮像システム４００の構成図である。

【図１３】鏡面Ｒ５、Ｒ６の一例をあらわす図である。

【図１４】像判断のフローチャートである。

【図１５】被写体の点の像の位置との関係を説明する図
である。

【図１６】２つの魚眼レンズを用いて被写体を見た場合
の視差の説明図である。

【図１７】視差角θＡの式（１）のグラフである。

【図１８】異なる２つの視点位置の配置による視差角の
違いを説明する図である。

【図１９】３Ｄ撮像システムの変形例を表す図である。

【図２０】処理部２２０の機能構成図である。

【図２１】ラボシステム２００の構成図である。

【図２２】画像処理装置の構成図である。

【符号の説明】

２ 鏡面 １０ デジタルカメラ ２０ 撮像ユニット ２２ レンズ ２４ 絞り ２５ 開口 ３０ ＣＣＤ ３７ パターン照射装置 ４６ 絞り駆動部 ６０ 処理ユニット １００ 表示ユニット １１０ 操作ユニット ２００ 画像処理装置 ２１０ 入力部 ２２０ 処理部 ２４０ 記録部 ２５０ 出力部 ２９０ 記録媒体 ３０２ 視差画像記憶部 ３０６ 判断部 ３１０ 仮奥行き算出部 ３１２ 奥行き算出部 ３１４ 記録部 ３１６ 画像変換部 ３１８ 鏡面制御部 ３２４、３２６ 魚眼レンズ ４１０ 鏡像表示部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 DD02 FF00 FF01 FF05 JJ25 JJ26 LL04 LL30 QQ24 QQ31 UU05 UU07 5B057 BA02 CA01 CA08 CA13 CA16 CB18 CC03 CD02 CD14 DA08 DB03 DB06 DB09 DC09 DC32 5C022 AA13 AB12 AB15 AB17 AC03 AC42 AC69 5C061 AA29 AB04 AB08 AB18 AB21 5L096 AA09 CA04 CA05 CA18 DA02 EA06 EA26 FA66 HA01 JA18 MA05

Claims (20)

【特許請求の範囲】
1. 【請求項１】 被写体の奥行きに関する情報を取得する
   画像撮像装置であって、 前記被写体が鏡に映された鏡像を撮像する撮像部と、 前記撮像部が撮像した画像に基づき前記鏡に映された前
   記被写体の領域内における奥行きの分布を示す奥行き分
   布情報を算出する仮奥行き算出部と、 前記被写体の鏡像と前記被写体との相対的な位置情報、
   及び前記奥行き分布情報に基づいて、前記被写体におけ
   る前記鏡に映されている部分の奥行き情報を取得する奥
   行き算出部とを備えたことを特徴とする画像撮像装置。
2. 【請求項２】 前記奥行き算出部は、当該撮像装置から
   前記被写体までの第１の距離、当該撮像装置から前記鏡
   像までの第２の距離及び前記奥行き分布情報に基づい
   て、前記被写体における前記鏡に映された部分の奥行き
   情報を取得することを特徴とする請求項１に記載の画像
   撮像装置。
3. 【請求項３】 前記奥行き算出部は、当該撮像装置から
   前記被写体までの方向及び当該撮像装置から前記鏡像ま
   での方向をさらに用いて、前記被写体における前記鏡に
   映された部分の奥行き情報を取得することを特徴とする
   請求項２に記載の画像撮像装置。
4. 【請求項４】 前記奥行き算出部は、前記被写体が直接
   撮像された実像の大きさ及び前記鏡像の大きさを比較す
   ることにより、当該撮像装置から前記被写体までの距離
   と当該撮像装置から前記鏡像までの距離の比を算出し、
   前記距離の比及び前記奥行き分布情報に基づいて、前記
   被写体における前記鏡に映されている部分の奥行き情報
   を取得することを特徴とする請求項１に記載の画像撮像
   装置。
5. 【請求項５】 前記撮像部は、前記被写体及び前記鏡像
   の画像を撮像し、同一又は類似の形状もしくは色彩を有
   する複数の像が撮像されている場合において、当該撮像
   装置から前記複数の像のそれぞれまでの距離に基づい
   て、いずれの像が前記被写体を直接撮像した実像である
   かを判断する判断部をさらに備えたことを特徴とする請
   求項１から請求項４のいずれかに記載の画像撮像装置。
6. 【請求項６】 前記判断部は、前記複数の像における実
   像以外の像を前記鏡像と判断し、前記鏡像において前記
   同一又は類似の像に連続している部分を前記実像におけ
   る前記同一又は類似の像に連続する部分の鏡像であると
   判断することを特徴とする請求項５に記載の画像撮像装
   置。
7. 【請求項７】 当該撮像装置から前記被写体までの距離
   及び方向並びに当該撮像装置から前記鏡像までの距離及
   び方向に基づいて、前記被写体におけるいずれの部分が
   前記鏡像として映されているかを判断する判断部をさら
   に備えたことを特徴とする請求項１から請求項４までの
   いずれかに記載の画像撮像装置。
8. 【請求項８】 前記鏡の位置が既知であり、前記被写体
   の位置及び前記鏡の位置に基づいて、前記鏡に映されて
   いる前記鏡像の領域を判断する判断部をさらに備えたこ
   とを特徴とする請求項１から請求項４のいずれかに記載
   の画像撮像装置。
9. 【請求項９】 前記鏡の位置が既知であり、前記奥行き
   算出部は、前記被写体の位置及び前記鏡の位置に基づい
   て、前記被写体と前記鏡像との相対的な位置情報を算出
   することを特徴とする請求項１に記載の画像撮像装置。
10. 【請求項１０】 前記撮像部は、異なる２つの視点位置
    から前記鏡像の視差画像を撮像し、前記仮奥行き算出部
    は、前記視差画像に基づき前記奥行き分布情報を算出す
    ることを特徴とする請求項１から請求項９のいずれかに
    記載の画像撮像装置。
11. 【請求項１１】 前記撮像部は、パターンの投影された
    前記被写体が前記鏡に映された鏡像を前記パターンの照
    射位置とは異なる位置で撮像し、前記仮奥行き算出部
    は、前記撮像部が撮像した前記パターンの投影された鏡
    像の画像に基づき前記奥行き分布情報を算出することを
    特徴とする請求項１から請求項９のいずれかに記載の画
    像撮像装置。
12. 【請求項１２】 被写体の奥行きに関する情報を取得す
    る画像撮像システムであって、 前記被写体の鏡像を映す鏡面を有する鏡像表示部と、 前記鏡像の画像を撮像する撮像部と、 前記撮像部が撮像した前記画像に基づき前記鏡面に映さ
    れた前記被写体の領域内における奥行きの分布を示す奥
    行き分布情報を算出する仮奥行き算出部と、 前記被写体の鏡像と前記鏡面との相対的位置情報及び前
    記奥行き分布情報に基づき、前記被写体における前記鏡
    面に映されている部分の奥行き情報を取得する奥行き算
    出部とを備えたことを特徴とする画像撮像システム。
13. 【請求項１３】 前記鏡像表示部は、前記鏡面上に特定
    の模様を有し、前記画像における特定の像と前記模様が
    重なる場合に、前記像が前記鏡面に映された像であると
    判断する判断部をさらに備えたことを特徴とする請求項
    １１に記載の画像撮像システム。
14. 【請求項１４】 前記鏡像表示部は、前記鏡面を前記撮
    像部の光軸に平行に配置することを特徴とする請求項１
    １に記載の画像撮像システム。
15. 【請求項１５】 前記撮像部は、広い視野角の光学レン
    ズを有し、前記視点位置を前記光軸方向に移動させて異
    なる２つの視点位置で撮像することを特徴とする請求項
    １３に記載の画像撮像システム。
16. 【請求項１６】 前記鏡像表示部は、前記鏡面を、前記
    撮像部の光軸に垂直に、前記撮像装置から見た場合に前
    記被写体の後方に配置することを特徴とする請求項１１
    に記載の画像撮像システム。
17. 【請求項１７】 前記鏡像表示部は、前記被写体を囲む
    ように前記光軸に平行に１以上の前記鏡面をさらに配置
    することを特徴とする請求項１５に記載の画像撮像シス
    テム。
18. 【請求項１８】 被写体の奥行きに関する情報を取得す
    る画像処理装置であって、 異なる２つの視点位置から前記被写体が鏡に映された鏡
    像を見た場合に得られる前記被写体の視差画像を入力す
    る入力部と、 前記視差画像に基づき、前記鏡に映された前記被写体の
    領域内における奥行き分布を示す奥行き分布情報を取得
    する仮奥行き算出部と、 前記被写体の鏡像と前記被写体との相対的な位置情報及
    び前記奥行き分布情報に基づいて、前記被写体における
    前記鏡に映されている部分の奥行き情報を取得する奥行
    き算出部とを備えたことを特徴とする画像処理装置。
19. 【請求項１９】 被写体の奥行きに関する情報を取得す
    る画像撮像方法であって、 前記被写体の鏡像を鏡に映し、 異なる２つの視点位置から前記鏡像の視差画像を撮像
    し、 前記被写体の鏡像と前記被写体との相対的な位置情報及
    び前記視差画像に基づいて、前記被写体における前記鏡
    に映されている部分の奥行き情報を算出することを特徴
    とする画像撮像方法。
20. 【請求項２０】 被写体の奥行きに関する情報を取得す
    るコンピュータ用のプログラムを格納した記録媒体であ
    って、前記プログラムが、 異なる２つの視点位置から前記被写体が鏡に映された鏡
    像を見た場合に得られる前記被写体の視差画像を入力す
    る入力モジュールと、 前記視差画像に基づき、前記鏡に映された前記被写体の
    領域内における奥行き分布を示す奥行き分布情報を取得
    する仮奥行き算出モジュールと、 前記被写体の鏡像と前記被写体との相対的な位置情報及
    び前記奥行き分布情報に基づいて、前記被写体における
    前記鏡に映されている部分の奥行き情報を取得する奥行
    き算出モジュールとを備えたことを特徴とする記録媒
    体。