JP2013232757A - 撮像装置、画像処理装置、画像処理方法及びプログラム - Google Patents
撮像装置、画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2013232757A JP2013232757A JP2012103158A JP2012103158A JP2013232757A JP 2013232757 A JP2013232757 A JP 2013232757A JP 2012103158 A JP2012103158 A JP 2012103158A JP 2012103158 A JP2012103158 A JP 2012103158A JP 2013232757 A JP2013232757 A JP 2013232757A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- unit
- imaging
- subjects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 112
- 238000012545 processing Methods 0.000 title claims description 43
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000009499 grossing Methods 0.000 claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims description 45
- 238000000034 method Methods 0.000 description 22
- 230000006854 communication Effects 0.000 description 14
- 210000001747 pupil Anatomy 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【課題】撮像画像を任意の位置に擬似合焦できる撮像装置を提供する。
【解決手段】被写体の撮像画像を撮像する撮像部と、撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、希望焦点距離と撮像画像に含まれる被写体の各々及び撮像部の間の距離との差分である相対距離を被写体の各々に対して計算する計算部と、各被写体に対して計算した相対距離に基づいて、撮像画像を平滑化する平滑処理部とを備える撮像装置が与えられる。
【選択図】図1
【解決手段】被写体の撮像画像を撮像する撮像部と、撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、希望焦点距離と撮像画像に含まれる被写体の各々及び撮像部の間の距離との差分である相対距離を被写体の各々に対して計算する計算部と、各被写体に対して計算した相対距離に基づいて、撮像画像を平滑化する平滑処理部とを備える撮像装置が与えられる。
【選択図】図1
Description
本発明は、撮像装置、画像処理装置、画像処理方法及びプログラムに関する。
従来、カメラで被写体を撮像した後に、画像データを加工して、リフォーカスする技術がある。この技術は、レンズの表面を複数の視点に分割し、視点毎に一つのイメージを生成する。そして、視点毎のイメージの有する視差を補正して、再合成する(例えば、非特許文献1参照)。
非特許文献1 Light Field Photography with a Hand-held Plenoptic Camera, Ren Ng, et. al., Stanford Tech Report CTSR 2005-02
非特許文献1 Light Field Photography with a Hand-held Plenoptic Camera, Ren Ng, et. al., Stanford Tech Report CTSR 2005-02
しかしながら、従来の方法では、奥行き方向の解像度を増やすべく、視点数を増やすと画像の水平方向の解像度が低下する。また従来の方法は、すべての視点におけるイメージデータを保存し、その全てのイメージデータを使って再現ベクトル演算を実行するため、装置の負荷が非常に大きい。さらに、従来の方法では、開放f値の比較的小さいレンズを使用するため、装置コストの増大をまねく。
本発明の第1の態様においては、被写体の撮像画像を撮像する撮像部と、撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、希望焦点距離に応じた希望焦点位置と撮像画像に含まれる2以上の被写体の各々の位置との相対距離を計算する計算部と、それぞれの被写体に対して計算した相対距離に基づいて、撮像画像を平滑化する平滑処理部とを備える撮像装置が提供される。
本発明の第2の態様においては、撮像装置が撮像した被写体の撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、希望焦点距離に応じた希望焦点位置と撮像画像に含まれる2以上の被写体の各々の位置との相対距離を計算する計算部と、それぞれの被写体に対して計算した相対距離に基づいて、画像を平滑化する平滑処理部とを備える画像処理装置が提供される。
本発明の第3の態様においては、撮像装置が被写体を撮像した撮像画像を取得する段階と、画像を擬似合焦させる希望焦点距離を指定する段階と、希望焦点距離に応じた希望焦点位置と撮像画像に含まれる2以上の被写体の各々の位置との相対距離を計算する段階と、それぞれの被写体に対して計算した相対距離に基づいて、画像を平滑化処理する段階とを備える画像処理方法が提供される。
本発明の第4の態様においては、コンピュータを上記画像処理装置として機能させるためのプログラムが提供される。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の実施形態にかかる撮像装置100のブロック図である。撮像装置100は、撮像部10と、距離測定部12と、メモリ14と、距離情報画像生成部16と、表示部18と、距離指定部20と、計算部22と、平滑処理部24と、メインメモリ26と、出力インターフェース28とを備える。距離情報画像生成部16と、距離指定部20と、計算部22と、平滑処理部24は、画像処理装置11を構成する。
撮像部10は、被写体の撮像画像を撮像する。ここで、被写体とは、撮像部10からの距離が異なる複数の物体、もしくは、奥行き方向に凹凸を有する複数の部分を含むひとつの物体を指す。ここで、撮像画像とは、画像処理装置11により画像処理を施す前の画像を指す。撮像画像は、2次元のパンフォーカス画像である。パンフォーカス画像とは、2以上の被写体のそれぞれと撮像部10との距離が異なっても、ピントが合っているように見える画像を指す。パンフォーカス画像は、光学的な絞りを絞った状態で撮像することにより取得することができる。つまり、パンフォーカス画像は、被写界深度が深くなる状態で撮影することで得ることができる、被写界深度の深い状態とは、被写界深度内に∞及び近距離(例えば、1m)の被写体の両方が含まれる状態を指す。パンフォーカス画像を撮像する撮像部10は、開放f値が大きいレンズを有する。開放f値はF8以上であってよい。パンフォーカス画像は、ピントの合っている位置が曖昧な画像である。撮像画像の解像度は、例えば、2500×1600画素である。
距離測定部12は、撮像部10から2以上の被写体の各々までの距離を測定する。ここで、距離とは、撮像部10から2以上の被写体の各々までの光学的距離を指す。同一の被写体内において距離の差があるときは、それぞれの距離を測定してよい。距離測定部12の詳細は、後述する。距離測定部12は、撮像部10から2以上の被写体の各々までの距離を視覚的に表すための距離情報を取得する。距離測定部12は、例えば撮像部10と同一範囲の被写体について、撮像部10よりも低い解像度で距離情報を測定する。例えば撮像部10は、数百万から数千万程度の画素を有する。これに対して距離測定部12は、800×400程度の画素を有し、それぞれの画素に対して距離を測定してよい。距離測定部12は、撮像部10の一部であってよい。また、距離測定部12は、撮像部10とは独立の光学系であってもよい。後者の場合、距離測定部12は、撮像部10に近接して配置されるが好ましい。
メモリ14は、撮像部10及び距離測定部12と接続し、撮像部10からの撮像画像データ及び距離測定部12からの距離情報データを格納する。メモリ14は、キャッシュメモリであってもよい。その場合、メインメモリ26が撮像部10からの撮像画像データ及び距離測定部12からの距離情報データを格納する。メモリ14は、それぞれのデータのアドレス、フラグなどの属性情報を保持してよい。
距離情報画像生成部16は、メモリ14と接続し、距離測定部12によって測定した、撮像部10から2以上の被写体の各々までの距離に基づいて、2以上の被写体の各々と撮像部10との間の距離を表す距離情報画像を生成する。距離情報画像生成部16は、メモリ14にアクセスすることにより、距離情報データを取得する。ここで、距離情報データとは、撮像部10から各被写体までの光学的距離を表すデータを指す。距離情報画像生成部16は、取得した距離情報データに基づいて、距離情報画像を生成する。ここで、距離情報画像は、撮像部10から2以上の被写体の各々までの距離の範囲毎に区別された画像を指す。距離の範囲は、例えば、撮像部10から被写体までの距離を、50cm、80cm、もしくは1m毎に区別して得ることができる。距離の範囲は、等間隔であってもよいし、等間隔でなくてもよい。距離の範囲は、線によって区別してよく、色によって区別してもよい。また、距離の範囲は、模様もしくは文字その他の記号によって区別してもよい。
表示部18は、距離情報画像生成部16から距離情報画像データを取得し、距離情報画像を表示する。表示部18は、撮像部10の裏面に設けられた液晶カラーディスプレイであってよい。
距離指定部20は、撮像画像を擬似合焦させる希望焦点距離を指定する。距離指定部20は、距離情報画像において、ユーザによりいずれかの距離が選択された場合に、選択された距離を希望焦点距離とする。ここで、希望焦点距離とは、撮像部10から、ユーザがピントを合わせたい被写体までの光学的距離を指す。つまり、擬似合焦とは、撮像部10でピントを合わせて撮像した被写体とは異なる被写体に対応する画像領域を抽出し、当該画像領域の被写体にピントが合った画像に加工処理することを指す。例えば、表示部18が表示する距離情報画像の距離の範囲のいずれかをユーザが選択することで、その距離の範囲に含まれる被写体に擬似合焦することができる。
距離指定部20は、表示部18と一体であってよいし、独立であってもよい。距離指定部20が表示部18と一体である場合の例として、表示部18の画面がタッチパネルである場合が挙げられる。この例では、ユーザは表示部18が表示する距離情報画像の距離の範囲のいずれかを、指先もしくはペンなどでタッチすることにより選択することで、希望焦点距離を指定してよい。他の例では、距離指定部20が距離情報画像から予め所定の距離の範囲に属する被写体の擬似合焦像を自動的に複数生成し、表示部18が表示する複数の擬似合焦像から、ユーザがいずれかを選択してもよい。
一方、距離指定部20が表示部18と独立している場合には、距離指定部20は、希望焦点距離を入力するユーザ・インターフェースを含んでよい。他の例では、ユーザは無線用のユーザ・インターフェースを使って、遠隔操作により距離指定部20に希望焦点距離を入力することができる。ユーザは携帯電話などから希望焦点距離を入力してもよい。
計算部22は、距離指定部20と接続し、計算部22は、希望焦点距離に応じた希望焦点位置と撮像画像に含まれる2以上の被写体の各々の位置との相対距離を計算する。計算部22は、希望焦点距離と、撮像部10及び2以上の被写体の距離との差分を相対距離として計算してよい。相対距離は、正または負の値を取り得る。つまり、擬似合焦させたい目的の被写体よりも手前に位置する被写体については、相対距離は負の値となり、擬似合焦させたい目的の被写体よりも奥に位置する被写体については、相対距離は正の値となる。
平滑処理部24は、計算部22及びメモリ14と接続し、それぞれの被写体に対して計算した相対距離に基づいて、撮像画像を平滑化する。ここで、相対距離に基づいてとは、相対距離の絶対値を対比することにより、撮像画像を平滑化することを含んでよい。また、相対距離の閾値を予め指定し、当該閾値と各被写体の相対距離とを対比して、撮像画像を平滑化することを含んでよい。さらに、被写体どうしの相対距離の差が小さい場合に、相対距離に重み付けをして、その重み付けされた相対距離と閾値とを対比して、撮像画像を平滑化することを含んでよい。平滑処理部24は、相対距離に応じて、平滑化フィルタを作成する。平滑化フィルタは、撮像画像の縦方向及び横方向に画素レベルを平均化するローパスフィルタであってよい。
平滑処理部24は、メモリ14にアクセスして撮像部10で撮像したパンフォーカス画像データを読み込む。平滑処理部24は、読み出したパンフォーカス画像データに対して、平滑化処理を行う。平滑処理部24は、相対距離がより大きい被写体に対応する撮像画像の領域に対して、ぼかしの程度をより大きくする。平滑処理部24は、相対距離が大きいほど、広い範囲に対してぼかしの程度を強くする。ここで、ぼかしの程度とは、平滑化の相対強度を指す。平滑化フィルタは、パンフォーカス画像の中で、相対距離が大きい被写体に対応する画像については、平滑化の強度を相対的に強くして、強くぼかすようにフィルタリングする。一方、平滑化フィルタは、相対距離の小さい被写体に対応する画像については、平滑化の強度を相対的に弱くして、弱くぼかすようにフィルタリングする。ローパスフィルタをかける回数を増減することにより、ぼかしの相対的な強さを変更することができる。本実施形態によれば、複数の視差画像を同時に取得せずとも擬似合焦像を生成できるので、高解像度の画像が得られる。また、平滑化処理のみで、解像度の高い擬似合焦像を得ることができるので、平滑化処理後に、画像データを再合成する必要がない。したがって、画像処理における装置の負荷を軽減することができる。
メインメモリ26は、平滑処理部24と接続し、擬似合焦像データを格納する。表示部18は、メインメモリ26から擬似合焦像データを読み出し表示する。出力インターフェース28は、メインメモリ26と接続し、メインメモリ26に格納された擬似合焦像データを撮像装置100の外部に出力してよい。撮像装置100は、出力インターフェース28を介して、携帯電話、PAD端末、パソコン、テレビ等の外部のディスプレイ装置と接続することができる。
図2は、実施形態にかかる画像処理方法のフロー図である。本実施形態にかかる画像処理方法は、撮像ステップS1と、距離測定ステップS2と、距離情報画像作成/表示ステップS3と、距離指定ステップS4と、相対距離計算ステップS5と、平滑化処理ステップS6と、判断ステップS7とを備える。
まず、撮像ステップS1において、撮像部10が被写体を撮像した撮像画像を取得する。本実施形態において撮像部10が撮像した撮像画像は、パンフォーカス画像である。
次に、距離測定ステップS2において、距離測定部12が、撮像部10から2以上の被写体の各々までの距離を測定し、各被写体と距離情報データとを関連づける。ここで、距離とは、撮像部10からそれぞれの被写体までの最短距離を意味する。距離測定方法の詳細は、図6から13において後述する。
続いて、距離情報画像作成/表示ステップS3において、距離情報画像生成部16が、距離測定ステップS2で測定した距離情報データから距離情報画像データを生成する。距離情報画像データは、表示部18に送信され、表示部18が距離情報画像を表示する。距離情報画像は、撮像部10から2以上の被写体の各々までの距離の範囲毎に区別されている。
続いて、距離指定ステップS4において、距離指定部20は、ユーザの選択に基づいて、画像を擬似合焦させる希望焦点距離を指定する。距離指定部20は、ユーザが表示部18に表示された距離情報画像から選択した希望焦点距離の情報を、ユーザ・インターフェースを介して受信する。ユーザは、表示部18に表示された距離情報画像を見て、目的の被写体に対応する画像が含まれる距離の範囲を選択する。ここで、ユーザは、被写体が存在しない距離の範囲を希望焦点距離として指定してもよい。
なお、ユーザが希望焦点距離を指定する方法は、表示部18に表示された距離情報画像を見た後で、ユーザが距離情報画像から距離の範囲を選択する方法に限定されない。例えば、撮像画像に含まれる複数の被写体について、距離指定部20が予め自動的に擬似合焦像を生成し、メモリ14に記憶させ、表示部18がメモリ14にアクセスして複数の擬似合焦像を順番に表示し、ユーザが目的の被写体の擬似合焦像を選択する方法であってもよい。他の例では、予めユーザが希望焦点距離を指定してメモリ14に記憶させ、距離指定部20がメモリ14にアクセスして希望焦点距離情報を読み出し、自動的に擬似合焦像を生成してもよい。
次に、相対距離計算ステップS5において、計算部22が希望焦点距離に応じた希望焦点位置と撮像画像に含まれる2以上の被写体の各々の位置との相対距離を計算する。ここで、相対距離は、希望焦点距離と、撮像画像に含まれる2以上の被写体の各々及び撮像部10の間の距離との差分であってよい。相対距離計算ステップS5において、目的の被写体と、それ以外の被写体が撮像画像において区別される。計算部22は、それぞれの被写体に対応する画像と各被写体の相対距離とを関連づける。希望焦点距離に配置される目的の被写体に対する相対距離は0となる。
続いて、平滑化処理ステップS6において、平滑処理部24が、それぞれの被写体に対して計算した相対距離に基づいて、撮像画像を平滑化処理する。平滑処理部24はメモリ14にアクセスし、撮像部10が撮像したパンフォーカス画像のデータを読み出す。平滑化処理ステップS6は、一例として、ローパスフィルタによるフィルタリング処理であってよい。平滑化処理ステップS6は、相対距離がより大きい被写体に対応する撮像画像の領域に対して、ぼかしの程度をより大きくするように処理する。ぼかしの程度は、例えば平滑化フィルタのフィルタ係数およびタップ数を変更することで制御できる。
次に、判断ステップS7において、ユーザは別の被写体の擬似合焦像を取得するかどうかを判断する。ユーザが取得すると判断した場合には、距離指定ステップS4に戻る。ユーザが取得しないと判断した場合には、画像処理は終了する。
本実施形態にかかる撮像装置100及び画像処理方法によれば、一度撮像した画像から、任意の位置にピントが合った解像度の高い擬似合焦像を取得することができる。また、本実施形態にかかる撮像装置100及び画像処理方法によれば、画像処理を簡素化することができるので、画像処理に伴う装置の負荷を低減することができる。さらに、本実施形態にかかる撮像装置100及び画像処理方法によれば、画像処理の高速化及び装置コストの低減を図ることができる。
図3は、表示部18が表示した距離情報画像200の一例である。本例において、被写体210は、両手を前に突き出した一人の人間の上半身である。距離情報画像200は、被写体210の画像及びその横に表示された模様チャート220を含む。距離情報画像200は、被写体210の輪郭がわかる程度の解像度を有する画像であってよい。距離情報画像200において、被写体210の体の表面は、撮像部10からの距離に応じて、所定の距離の範囲毎に異なる模様が付され、区別されている。また、距離情報画像は、撮像部10からの距離がそれぞれの範囲内にある領域を境界線で区別する。本例では、1mから7mまでの距離を5段階で5種類の模様により区別している。
例えば、距離の範囲aによって区別される被写体部分と距離の範囲bによって区別される被写体部分とでは、模様が異なるので、撮像部10からの距離が異なることをユーザは容易に識別することができる。模様の境界線どうしの間隔が狭い場所は、奥行き方向の距離の変化量が大きいことを示す。一方、模様の境界線どうしの間隔が広い場所は、奥行き方向の距離の変化量が小さいことを示す。距離の範囲は、模様以外に、色もしくは記号等によって区別してもよい。本例では、被写体210が一人の人間の上半身である場合について説明したが、被写体が景色のような2以上の物体で構成される場合も同様である。
図4は、本実施形態にかかる撮像装置100の撮像部10により、屋外の様子を撮像した撮像画像の一例である。本例の撮像画像は、中央の海に浮かんだ人間、その後方の海面、水平線、海に浮かんだヨット、上空の雲などの複数の被写体に対応する画像を含む。本例の撮像画像は、撮像部10の絞りを絞って撮像したパンフォーカス画像である。
図5は、図4に示す撮像画像を本実施形態にかかる画像処理方法により処理した擬似合焦像である。本例の擬似合焦像は、中央の人間に擬似合焦した画像を示している。複数の被写体の中で、中央の人間にのみピントが合っており、それ以外の被写体は強くぼけて見える。このように本実施形態にかかる撮像装置100によれば、被写界深度の深い画像を被写界深度の浅い画像に見せることができる。つまり、本実施形態にかかる撮像装置100によれば、ユーザが選択した選択被写体に対応する希望焦点距離に応じて、当該希望焦点距離の位置にあたかもピントがあっているような画像を得ることができる。
図6は、図1に示す距離測定部12のひとつの実施形態を示す。本実施形態にかかる距離測定部12は、同一の被写体33からの光を異なる光路44及び光路46を介して受光する像面位相差センサ50を含む。ここで、像面位相差センサ50は、撮像素子30と、2つの開口部38、40を含む開口保持部42を含む。撮像素子30は、フォトダイオード32、瞳分割部34、マイクロレンズ48を含む。瞳分割部34には、スリット36が設けられており、光路44または光路46のいずれかを通過した光をフォトダイオード32に入射させる。開口保持部42において、開口部38及び開口部40は、それぞれマイクロレンズ48の光軸線37から等距離に配置される。
像面位相差センサ50は、各々の光が受光された位置に基づいて、撮像部10から2以上の被写体の各々までの距離を測定する。像面位相差センサ50は、瞳分割を施した2種類の撮像素子30を、チップ上に混在させて配置することにより、得られた視差情報に基づいて、撮像部10から2以上の被写体の各々までの距離を測定する。なお、像面位相差センサ50は、通常の画像も同時に取得することができる。
瞳分割部34は、液晶によって構成されてよい。瞳分割部34は、液晶に印加する電圧の変化に応じて、スリット36の位置を位置A及び位置Bの間で交替させる。位置Aにスリット36がある場合、マイクロレンズ48を通過した光路46の光がスリット36を通過して位置Aに対応するフォトダイオード32に入射する。位置Bにスリット36がある場合、マイクロレンズ48を通過した光路44の光がスリット36を通過して位置Bに対応するフォトダイオード32に入射する。
図7は、撮像素子30をマトリクス状に並べた撮像チップ52の一例を示す。本例において、撮像素子30は、ある時間において位置Bにスリット36を有する撮像素子30−1と位置Aにスリットを有する撮像素子30−2がx方向に交互に配置されている。また、y方向には隣接する撮像素子と同一の位置にスリット36を有する複数の撮像素子30が配置されている。スリット36の位置は時間の経過とともに位置Aと位置Bとの間を交替してよい。撮像素子30−1、30−2の撮像チップ52における配置は、これに限定されない。撮像チップ52の全面に撮像素子30―1、30−2を敷き詰めてもよいが、所定の間隔で撮像素子30―1、30−2を配置してもよい。その場合、撮像素子30―1、30−2の配置密度は、被写体33までの距離を予測可能な程度であればよい。
図8は、図7に示す像面位相差センサ50の撮像チップ52の位置A及び位置Bにおける、撮像素子30のx方向の位置と撮像素子30―1、30−2で受光した光の信号量との関係を示すグラフである。線Aは、位置Aにスリット36を有する撮像素子30−1が受光した信号量と撮像素子30−1のx方向の位置との関係を示す。線Bは、位置Bにスリット36を有する撮像素子30−2が受光した信号量と撮像素子30−2のx方向の位置との関係を示す。つまり、線Aは位置Aで瞳分割した撮像素子30−1が構成する画像を示し、線Bは位置Bで瞳分割した撮像素子30−2が構成する画像を示している。
まず、像面位相差センサ50で撮像した全体画像を一定の範囲に区分する。次に、区分した範囲の画像から像面位相差センサの出力のみを切り出し瞳分割画像を抽出する。次に瞳分割画像における位置Aの瞳分割画素と位置Bの瞳分割画素のズレ量をシフト演算により算出する。次に、ズレ量を画像の各位置について算出し、距離差の情報として保存する。データの保存は、画像と距離情報算出後の結果を分けて保存する方法、画像の中に距離情報算出後の結果も混ぜて一つのファイルで保存する方法、一つの画像として、距離情報算出前の瞳分割画像と通常画像を保存する方法などがある。
図9は、図1に示す距離測定部12の他の実施形態を示す。本実施形態にかかる距離測定部12は、光の飛翔時間を測定するTOFイメージセンサ60を含む。TOFイメージセンサ60は、撮像部10から被写体65までの光の往復時間に基づいて、撮像部10から被写体65までの距離を測定する。TOFイメージセンサ60は、発光素子64と、受光素子62と、飛翔時間測定部63を有する。発光素子64は、被写体65に向けて光66を照射する。発光素子64は、例えば、赤外線LEDである。赤外線LEDは、散乱されにくい波長の長い赤外線を放出するので好ましい。受光素子62は、被写体65から反射された光68を受光する。受光素子62はフォトダイオードであってよい。受光素子62は、光電変換の速度が速いフォトダイオードを有するデバイスが好ましい。飛翔時間測定部63は、発光素子64及び受光素子62に接続されて、光66及び光68の飛翔時間を測定する。
図10は、TOFイメージセンサ60の動作のタイミングチャートを示す。波形72は発光素子64が発光する光66のパルス波形を示す。波形74は受光素子62が受光する光68のパルス波形を示す。時刻t1は光66の発光パルスの立ち上がりの時刻を示し、時刻t2は光68の受光パルスの立ち上がりの時刻を示す。飛翔時間測定部63は、t2−t1を正確に測定することができる。t2−t1は光の遅延時間76を指す。被写体までの距離をDとすると、D=(t2−t1)×c/2の関係が成り立つ。ここで、cは光速を表す。
図11は、図1に示す距離測定部12の他の実施形態を示す。本実施形態にかかる距離測定部12は、異なる光学位置から被写体85を撮像する光学系80を含む。光学系80において、異なる光学位置から撮像した撮像画像間の視差に基づいて、撮像部10から被写体85までの距離を測定する。光学系80は、一対のレンズ86及びレンズ88と、それぞれのレンズ86、88に対応する撮像素子82、84を有する。被写体85から光路81を進む光はレンズ88を通過し、撮像素子84の位置mのフォトダイオードに入射する。一方、光路83を進む光は、レンズ86を通過し、撮像素子82の位置nのフォトダイオードに入射する。撮像素子84のフォトダイオードの位置mと撮像素子82のフォトダイオードの位置nは、異なる光学位置を構成している。つまり、光学系80は、異なる光学位置n、mから同一の被写体85を撮像する。光学位置nと光学位置mとの視点間距離87は視差を表す。光学系80は、例えば、2眼カメラ、立体画像のキャプチャーデバイスである。
図12は、被写体85と撮像部10との距離が図11よりも短い場合の光学系80を示す。光学系80の構成及び動作は図11に示す光学系80と同じなので説明を省略する。図12に示す光学系80は、異なる光学位置p、qから同一の被写体85を撮像する。光学位置pと光学位置qとの視点間距離89は視差を表す。ここで、図11と図12を比較すると、被写体85がより遠くにある場合の視点間距離87よりも、被写体85がより近くにある場合の視点間距離89の方が長い。光学系80は、撮像部10から被写体85までの距離の変化から生じる視差の相違に基づいて、撮像部10から被写体85までの距離を測定する。
図13は、本実施形態に係るコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェース2030、ハードディスクドライブ2040、及びCD−ROMドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部とを備える。
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェース2030、ハードディスクドライブ2040、CD−ROMドライブ2060を接続する。通信インターフェース2030は、ネットワークを介して他の装置と通信する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。CD−ROMドライブ2060は、CD−ROM2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、CD−ROM2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
コンピュータ1900にインストールされ、コンピュータ1900を画像処理装置11として機能させるプログラムは、距離情報画像生成モジュールと、距離指定モジュールと、計算モジュールと、平滑処理モジュールを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、距離情報画像生成部16、距離指定部20、計算部22、及び平滑処理部24としてそれぞれ機能させる。
これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である距離情報画像生成部16、距離指定部20、計算部22、及び平滑処理部24として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置11が構築される。
一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェース2030に対して通信処理を指示する。通信インターフェース2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フレキシブルディスク2090、又はCD−ROM2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェース2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェース2030からデータを読み出し、転送先の通信インターフェース2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
また、CPU2000は、ハードディスクドライブ2040、CD−ROMドライブ2060(CD−ROM2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。
また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク2090、CD−ROM2095の他に、DVD又はCD等の光学記録媒体、MO等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1900に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 撮像部、11 画像処理装置、12 距離測定部、14 メモリ、16 距離情報画像生成部、18 表示部、20 距離指定部、22 計算部、24 平滑処理部、26 メインメモリ、28 出力インターフェース、30 撮像素子、32 フォトダイオード、33 被写体、34 瞳分割部、36 スリット、37 光軸線、38 開口部、40 開口部、42 開口保持部、44 光路、46 光路、48 マイクロレンズ、50 像面位相差センサ、52 撮像チップ、60 TOFイメージセンサ、62 受光素子、63 飛翔時間測定部、64 発光素子、65 被写体、66 光、68 光、72 波形、74 波形、76 遅延時間、80 光学系、81 光路、82 撮像素子、83 光路、84 撮像素子、85 被写体、86 レンズ、87 視点間距離、88 レンズ、89 視点間距離、100 撮像装置、200 距離情報画像、210 被写体、220 模様チャート、1900 コンピュータ、2000 CPU、2010 ROM、2020 RAM、2030 通信インターフェース、2040 ハードディスクドライブ、2050 フレキシブルディスク・ドライブ、2060 CD−ROMドライブ、2070 入出力チップ、2075 グラフィック・コントローラ、2080 表示装置、2082 ホスト・コントローラ、2084 入出力コントローラ、2090 フレキシブルディスク、2095 CD−ROM
Claims (13)
- 被写体の撮像画像を撮像する撮像部と、
前記撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、
前記希望焦点距離に応じた希望焦点位置と前記撮像画像に含まれる2以上の前記被写体の各々の位置との相対距離を計算する計算部と、
それぞれの前記被写体に対して計算した前記相対距離に基づいて、前記撮像画像を平滑化する平滑処理部と、
を備える撮像装置。 - 前記撮像部から2以上の前記被写体の各々までの距離を測定する距離測定部を更に備え、前記計算部は、前記希望焦点距離と、前記撮像部及び2以上の前記被写体の距離との差分をそれぞれの前記被写体に対して計算する請求項1に記載の撮像装置。
- 前記距離測定部は、同一の前記被写体からの光を異なる光路を介して受光する像面位相差センサを含み、前記像面位相差センサにおいて、各々の光が受光された位置に基づいて、前記撮像部から2以上の前記被写体の各々までの距離を測定する請求項2に記載の撮像装置。
- 前記距離測定部は、光の飛翔時間を測定するTOFイメージセンサを含み、前記撮像部から2以上の前記被写体の各々までの光の往復時間に基づいて、前記撮像部から2以上の前記被写体の各々までの距離を測定する請求項2に記載の撮像装置。
- 前記距離測定部は、異なる光学位置から前記被写体を撮像する光学系を含み、前記光学系において、異なる光学位置から撮像した撮像画像間の視差に基づいて、前記撮像部から2以上の前記被写体の各々までの距離を測定する請求項2に記載の撮像装置。
- 前記距離測定部によって測定した、前記撮像部から2以上の前記被写体の各々までの距離に基づいて、2以上の前記被写体の各々と前記撮像部との間の距離を表す距離情報画像を生成する距離情報画像生成部をさらに備える請求項2から5のいずれか一項に記載の撮像装置。
- 前記距離指定部は、前記距離情報画像において、ユーザによりいずれかの距離が選択された場合に、選択された距離を前記希望焦点距離とする請求項6に記載の撮像装置。
- 前記距離情報画像は、前記撮像部から2以上の前記被写体の各々までの距離の範囲毎に区別されている請求項6に記載の撮像装置。
- 前記撮像画像は、パンフォーカス画像である請求項1から8のいずれか一項に記載の撮像装置。
- 前記平滑処理部は、前記相対距離がより大きい前記被写体に対応する前記撮像画像の領域に対して、ぼかしの程度をより大きくする請求項1から9のいずれか一項に記載の撮像装置。
- 撮像装置が撮像した被写体の撮像画像を擬似合焦させる希望焦点距離を指定する距離指定部と、
前記希望焦点距離に応じた希望焦点位置と前記撮像画像に含まれる2以上の前記被写体の各々の位置との相対距離を計算する計算部と、
それぞれの前記被写体に対して計算した前記相対距離に基づいて、前記画像を平滑化する平滑処理部と、
を備える画像処理装置。 - 撮像装置が被写体を撮像した撮像画像を取得する段階と、
前記画像を擬似合焦させる希望焦点距離を指定する段階と、
前記希望焦点距離に応じた希望焦点位置と前記撮像画像に含まれる2以上の前記被写体の各々の位置との相対距離を計算する段階と、
それぞれの前記被写体に対して計算した前記相対距離に基づいて、前記画像を平滑化処理する段階と、
を備える画像処理方法。 - コンピュータを請求項11に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012103158A JP2013232757A (ja) | 2012-04-27 | 2012-04-27 | 撮像装置、画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012103158A JP2013232757A (ja) | 2012-04-27 | 2012-04-27 | 撮像装置、画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013232757A true JP2013232757A (ja) | 2013-11-14 |
Family
ID=49678849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012103158A Pending JP2013232757A (ja) | 2012-04-27 | 2012-04-27 | 撮像装置、画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013232757A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015104113A (ja) * | 2013-11-28 | 2015-06-04 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理方法 |
KR20190096835A (ko) * | 2018-02-09 | 2019-08-20 | 식아게 | 카메라 및 초점 조정을 위한 방법 |
CN115499639A (zh) * | 2021-06-17 | 2022-12-20 | 深圳市光鉴科技有限公司 | 具有3d摄像模组的显示装置和电子设备 |
-
2012
- 2012-04-27 JP JP2012103158A patent/JP2013232757A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015104113A (ja) * | 2013-11-28 | 2015-06-04 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理方法 |
KR20190096835A (ko) * | 2018-02-09 | 2019-08-20 | 식아게 | 카메라 및 초점 조정을 위한 방법 |
KR102127205B1 (ko) * | 2018-02-09 | 2020-06-26 | 식아게 | 카메라 및 초점 조정을 위한 방법 |
CN115499639A (zh) * | 2021-06-17 | 2022-12-20 | 深圳市光鉴科技有限公司 | 具有3d摄像模组的显示装置和电子设备 |
CN115499639B (zh) * | 2021-06-17 | 2024-05-07 | 深圳市光鉴科技有限公司 | 具有3d摄像模组的显示装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102278776B1 (ko) | 이미지 처리 방법, 기기, 및 장치 | |
CN109565551B (zh) | 对齐于参考帧合成图像 | |
JP5871862B2 (ja) | 3d深度情報に基づいたイメージぼかし | |
US10257502B2 (en) | Methods and apparatus for controlling light field capture | |
US20170076430A1 (en) | Image Processing Method and Image Processing Apparatus | |
CN105391932B (zh) | 图像处理装置及其控制方法、以及摄像装置及其控制方法 | |
US10397498B2 (en) | Compressive sensing capturing device and method | |
JP5246078B2 (ja) | 被写体位置特定用プログラム、およびカメラ | |
US9955111B2 (en) | Electronic apparatus and display control method | |
US9332195B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
US9100563B2 (en) | Apparatus, method and computer-readable medium imaging through at least one aperture of each pixel of display panel | |
TWI835907B (zh) | 電子設備及其操作方法以及影像處理方法 | |
CN110213491B (zh) | 一种对焦方法、装置及存储介质 | |
JP2013061850A (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
CN104915948B (zh) | 用于使用范围传感器选择二维兴趣区域的系统和方法 | |
JP2015005221A (ja) | 情報処理装置、情報処理方法、及び、コンピュータプログラム | |
JP2013232757A (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5919998B2 (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
CN106101542B (zh) | 一种图像处理方法及终端 | |
JP2016206228A (ja) | 合焦位置検出装置、合焦位置検出方法、撮像装置、撮像システム | |
US20230131704A1 (en) | Information processing apparatus, learning device, imaging apparatus, control method of information processing apparatus, and program | |
JP2019159503A (ja) | 情報処理装置及びプログラム | |
JP2018005337A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム |