JP2017188839A - 画像処理装置およびその制御方法、撮像装置、プログラム - Google Patents

Abstract

【課題】画像データおよび距離情報に画像処理を施す画像処理装置において、画像データと位置の整合がとれた距離情報を生成すること。【解決手段】画像処理装置は、画像データと、該画像データに関連する奥行き方向の距離を示す距離マップのデータを取得する。幾何学補正部１０４は、画像データに係るデータ形式の信号に対して、射影変換、円筒変換、歪曲収差補正の変換等の幾何学変換を施す。距離マップ現像部１０８は、取得した距離マップを、画像データの画像記録フォーマットに対応するデータ形式に変換する。ＣＰＵ１１１は幾何学補正部１０４を制御して、データ形式が変更された距離マップに対し、画像データに施した幾何学変換と等価な幾何学変換を施す制御を行う。【選択図】図１

Description

本発明は、画像データと共に被写体の距離情報を取得して画像処理を行う技術に関する。

撮影画像における被写体の距離情報を用いる技術として、特許文献１には、距離情報を利用して画像に処理を施す技術が開示されている。特許文献１に開示の撮像装置は、レリーズボタンが半押しされると、レンズを駆動して複数の焦点位置の画像を取得することにより被写体までの距離マップを作成する。作成された距離マップに基づいて被写体までの距離に応じてぼかし処理が施される。撮像装置は手ブレにより生じる像ブレ量を評価して、作成された距離マップに対して像ブレ量の大きさに応じてノイズ除去フィルタを適用することで、距離マップの精度を向上させている。

特開２０１３−４２３７１号公報

手ブレによる像ブレ量を検出して距離マップのノイズ除去に利用する技術とは別に、手ブレによる画像の変形量を検出し、検出した変形量に基づいて画像を幾何学補正することで、防振処理（画像防振または像ブレ補正）を行うことが可能である。この場合、幾何学補正した画像と同様に距離マップデータを補正する必要がある。例えば、ぼかし等の画像処理を施す際に画像と距離マップとの画素位置にずれが生じた場合、処理後の画像の品質が低下する可能性がある。よって、距離マップの補正精度が重要となる。
本発明の目的は、画像データおよび距離情報に画像処理を施す画像処理装置において、画像データと位置の整合がとれた距離情報を生成することである。

本発明の一実施形態に係る画像処理装置は、第１のデータ形式の画像データと、前記画像データに関連する、第２のデータ形式の距離情報とを取得する取得手段と、前記距離情報を、前記第１のデータ形式の情報に変換する変換手段と、前記画像データおよび前記変換手段により変換された距離情報に対して画像処理を施す画像処理手段と、前記画像処理手段を制御する制御手段と、を有する。

本発明によれば、画像データおよび距離情報に画像処理を施す画像処理装置において、画像データと位置の整合がとれた距離情報を生成することができる。

本発明の第１実施形態に係る撮像装置のブロック図である。 本発明の第１実施形態に係る動作のフローチャートである。 本発明の第１実施形態に係る画像の現像処理の概略図である。 本発明の第１実施形態に係る距離マップ生成の概略図である。 本発明の第１実施形態に係る距離マップ現像の概略図である。 本発明の第１実施形態に係る幾何学補正処理を説明する図である。 本発明の第１実施形態に係る幾何学補正処理の概略図である。 本発明の第１実施形態に係る記録ファイルの概略図である。 本発明の第２実施形態に係る動作例のタイミングチャート図である。 本発明の第２実施形態に係る動作例のタイミングチャート図である。 本発明の第２実施形態に係る撮像装置のブロック図である。 本発明の第２実施形態に係る記録ファイルの概略図である。 本発明の第２実施形態に係る距離データの解像度変換を説明する図である。 本発明の第２実施形態に係る画像効果処理を説明する図である。

以下、図面を参照しながら本発明の好適な各実施形態を説明する。各実施形態では、画像データと該画像データに関連する距離情報を処理する画像処理装置として、撮像装置への適用例を説明する。

［第１実施形態］
図１は、本発明の実施形態に係る撮像装置１００の構成例を示すブロック図である。レンズユニット１０１は、被写体を撮影するためのレンズや絞り等を含み、光学ズーム機能を有する。撮像部１０２は、被写体からの光がレンズユニット１０１を通過して結像された光像を、電気的な信号へ光電変換する撮像素子を有する。撮像素子により生成された画素信号に基づく撮像データはＤＲＡＭ（Dynamic Random Access Memory）１１０へ一時保持される。撮像素子は位相差検出用の画素部が埋め込まれており、後述の距離マップ生成部１０７は位相差検出用の画素信号に基づいて被写体の距離情報を取得することができる。尚、位相差検出用の画素データは撮像データの中に含まれているので、ＤＲＡＭ１１０に保持されている。

画像現像部１０３は、撮像部１０２により生成された撮像データから所定のフォーマットの画像データを生成する。幾何学補正部１０４は、画像データに対して射影変換、円筒変換、および歪曲修正等を行う。幾何学補正部１０４は、姿勢検知部１０９が検知した撮像装置１００の姿勢情報に基づいて画像変換処理を行う。画像符号化部１０５は、撮像部１０２によって取得された画像信号、または幾何学補正部１０４により幾何学補正された画像信号を符号化し、画像ストリームを生成する。生成された画像ストリームはＤＲＡＭ１１０へ一時保持される。

撮像装置１００に対して、メモリカード等の記録媒体３００を着脱可能である。Media I/F部１０６は、撮像装置１００に装着されている記録媒体３００とのインターフェース部である。ＤＲＡＭ１１０から読み出されたデータは、Media I/F部１０６を介して記録媒体３００へ記録される。

距離マップ生成部１０７は、撮像部１０２により取得されてＤＲＡＭ１１０に保持されているデジタルデータから被写体像の位相差情報を検出し、位相差情報に基づいて被写体の距離情報を生成する。距離マップは画像内の距離分布を表す距離情報を含み、少なくとも画素や特定領域の相対的な距離関係を表わすものとする。特定領域とは、被写体や背景等に対応する画像領域である。尚、被写体像の位相差情報および距離情報の生成については、公知の技術を用いるものとする。

距離マップ現像部１０８は、距離マップ生成部１０７が生成した距離マップデータから所定のフォーマットの画像データを生成する。距離マップ現像部１０８は、画像現像部１０３が生成するデータと同様の形式の画像データを生成することができる。この画像データは画素値として距離値（絶対値または相対値）を表わした距離画像データである。姿勢検知部１０９は、撮像装置１００の各軸（X,Y,Z軸）回りの回転量および水平方向、垂直方向の並進量を検知する。姿勢検知については、ジャイロセンサ等の公知のセンサおよび検知方法を用いるものとして、その詳細な説明は省略する。

ＤＲＡＭ１１０は、撮像装置１００におけるメインメモリであり、撮像データ等を一時的に保持することが可能である。ＣＰＵ（中央演算処理装置）１１１は、撮像装置１００の制御中枢部であり、プログラムを実行して各部の動作を制御する。フラッシュメモリ（Flash Memory、不揮発性半導体メモリ）１１２には、ＣＰＵ１１１が実行可能なアプリケーションプログラムが格納されている。

データバス１１３には、各部（レンズユニット１０１からフラッシュメモリ１１２）が接続されており、各部は相互にデータを送受可能である。不図示の指示部材からの制御指示やＤＲＡＭ１１０へのアクセスは、データバス１１３を経由して行われる。

次に図２のフローチャートを参照して、撮像装置１００の動作を説明する。以下の処理は、ＣＰＵ１１１がメモリから読み出して実行するプログラムにしたがって実現される。Ｓ４００で撮影が開始すると、Ｓ４０１でＣＰＵ１１１は画像記録フォーマットを取得する。画像記録フォーマットとは、解像度、フレームレート等の情報のことである。例えば、動画の場合に解像度1920x1080、フレームレート60fps（frames per second）、MPEG4（ISO/IEC 14496）形式等が画像記録フォーマットである。静止画の場合に解像度3000x2000、JPEG（Joint Photographic Experts Group）形式等が画像記録フォーマットである。尚、画像記録フォーマットは、不図示の操作部により変更が可能である。ユーザ操作による設定値は、ＣＰＵ１１１内の不図示のＲＡＭ（ランダムアクセスメモリ）に一時的に記憶され、所定のタイミングでフラッシュメモリ１１２に書き出される。

Ｓ４０２でＣＰＵ１１１は、距離マップ現像部１０８での距離マップの現像モードを設定する。距離マップの現像モードは、画像記録フォーマットに基づいて設定され、解像度、フレームレート、データ形式等の設定が行われる。例えば、解像度1920x1080、フレームレート60fpsの画像記録フォーマットの場合、ＣＰＵ１１１はＲＡＭまたはフラッシュメモリ１１２に保持されている画像記録フォーマットを取得する。ＣＰＵ１１１は距離マップの現像モードとして解像度1920x1080、フレームレート60fps、データ形式YUV422等を距離マップ現像部１０８に設定する。さらに、画像記録フォーマットが解像度1920x1080、フレームレート120fpsの場合には、１フレーム期間の長さが60fpsの２分の１に対応する時間に短縮される。そこでＣＰＵ１１１は、解像度を1920x540に設定し、またデータ形式をYUV420として垂直方向のデータ量を削減する等、各ブロックの性能等を考慮して現像モードの判断を行い、距離マップ現像部１０８に設定する。

Ｓ４０３でＣＰＵ１１１は、撮影開始ボタンの押下の有無を検知して、撮影の開始が指示されたか否かを判定する。撮影開始ボタンは操作部に含まれ、その操作状態が検出される。ＣＰＵ１１１が撮影開始の操作指示を検知した場合、Ｓ４０４に移行する。撮影開始の操作指示が未検知の場合には、引き続きＣＰＵ１１１が所定間隔で操作指示の有無を監視する。

Ｓ４０４にて撮像部１０２は、レンズユニット１０１を介して入力された被写体像をデジタルデータ化して、デジタルデータをＤＲＡＭ１１０に撮像データとして保持する。Ｓ４０５で画像現像部１０３は、ＤＲＡＭ１１０に保持されている撮像データを読み出して現像処理を行う。図３に撮像データの現像処理の概略図を示す。図３（Ａ）はベイヤー配列の撮像素子から取得した撮像データの一部を切り出して示す模式図であり、RG,GB配列のデータを示している。図３（Ｂ）は画像現像部１０３によりYUV422形式に現像された画像データの一部を切り出して示す模式図である。尚、現像処理およびYUV422形式のデータフォーマットについては公知の技術を用いるものとし、その詳細な説明を省略する。画像現像部１０３による現像後の画像データは、ＤＲＡＭ１１０に一時保持される。

Ｓ４０６にてＣＰＵ１１１は、画像現像部１０３において１フレーム分の現像処理が完了したか否かを判断する。ＣＰＵ１１１は現像処理の完了を所定周期で監視し、画像現像部１０３による現像処理が完了した場合、Ｓ４０７に移行する。現像処理が未完了である場合には、Ｓ４０６の処理が繰り返される。

Ｓ４０７で幾何学補正部１０４は、ＤＲＡＭ１１０に保持されている画像データの幾何学補正処理を行う。図６を参照して幾何学変換処理の概要を説明する。図６（Ａ）は撮像装置１００の姿勢と幾何学変換との関係を説明する模式図である。撮像装置１００において撮像光学系の光軸をZ軸とし、正位置での鉛直方向をY軸方向とし、Y軸およびZ軸に直交する方向をX軸方向と定義する。したがって、Ｐｉｔｃｈ方向はX軸回り方向（チルティング方向）であり、Ｙａｗ方向はY軸回り方向（パンニング方向）であり、Ｒｏｌｌ方向はZ軸回り方向（撮像面が光軸に垂直な面で回転する方向）である。姿勢検知部１０９は撮像装置１００に設定したX,Y,Z軸を中心軸とする回転、およびXY面の並進の各成分を検知可能である。XY面の並進成分は、X軸方向、Y軸方向にそれぞれ平行な移動成分である。

図６（Ａ−１）は、水平方向および垂直方向の移動による撮影画像の変化を示し、図６（Ａ−２）は、Z軸を中心軸とする回転による撮影画像の変化を示す。図６（Ａ−３）は、Y 軸を中心軸とする回転による撮影画像の変化を示し、図６（Ａ−４）は、X軸を中心軸とする回転による撮影画像の変化を示す。各図は撮像装置１００の姿勢に対応して撮像される被写体像の変化をそれぞれ示している。２点鎖線の矩形は、任意の時点で撮像された姿勢変化前の矩形被写体の画像を示し、実線の枠は姿勢変化により画像が変形する様子を模式的に示したものである。撮像装置１００の姿勢変化によって、取得される被写体像は変形するため、このままでは視認性が低下する。姿勢変化の要因としては、撮像装置を把持したユーザの手ブレ等がある。姿勢変化の影響を受けた画像データに対して幾何学補正によって電子式の像ブレ補正処理が行われる。

図６（Ｂ）は円筒変換を説明する模式図である。パノラマ合成に際しては、取得された画像データ（２点鎖線の矩形枠参照）を円筒状に変形する円筒変換を施すことにより滑らかな合成画像を生成することができる。また図６（Ｃ）は歪曲収差補正を説明する模式図である。レンズの歪曲収差（２点鎖線枠参照）により糸巻き状に変形した画像データを補正する収差補正において幾何学変換を用いることが可能である。尚、これらの変換や補正は例示であり、上記以外にも、撮影された画像データを２次元的に変形する各種の幾何学変換を適用可能である。

姿勢検知部１０９が検知した信号は、データバス１１３を介してＣＰＵ１１１が取得する。ＣＰＵ１１１は取得した信号に基づき、設定されたX,Y,Z軸を中心軸とする回転角度およびXY面内の並進量を算出する。ＣＰＵ１１１は、姿勢変化による画像データの変形を打ち消すための画像変換パラメータを幾何学補正部１０４に設定する。画像変換パラメータの生成および設定については、公知の技術を用いるものとする。また画像変換パラメータおよび変換種別については、後述の距離データの幾何学補正における変換パラメータとして利用される。このため、ＣＰＵ１１１は変換パラメータおよび変換種別の情報を不図示のＲＡＭまたはＤＲＡＭ１１０に一時保持する。尚、変換種別の情報とは、各軸を中心軸とする回転等による射影変換、パノラマ合成で用いる円筒変換、歪曲収差補正の歪曲変換等を示す情報である。

幾何学補正部１０４は、設定された変換パラメータに基づいて画像データを変換する。図７を参照して、幾何学補正の概要を示す。図７（Ａ）は、手ブレ等により図６（Ａ）のZ軸回りの回転が発生した場合に取得される画像データを例示する。横軸をX軸とし、縦軸をY軸として、現像後の画像例を示している。図７（Ｂ）は、幾何学補正部１０４により変換した後の画像データを例示する。図７（Ａ）および（Ｂ）に太線でそれぞれ示す矢印は画像データの読出し方向を表わしている。図７（Ａ）にて傾いた状態の各矢印は図７（Ｂ）では幾何学補正によってX軸方向に沿う矢印となる。

図７（Ａ）に示す画像データのサイズについては、回転および並進成分を補正するために、最終的に記録される図７（Ｂ）の画像データに対して、所定の余裕領域を見込んだサイズとなっている。つまり画像データとしては、記録時の画像データよりも大きな画像データが生成される。また幾何学補正部１０４は、現像された画像データの色差信号の形式YUV444、YUV422およびYUV420に対応して各画素のデータの入力、変換、出力処理を行うものとする。

幾何学補正部１０４は、ＣＰＵ１１１により設定された変換パラメータにしたがって、ＤＲＡＭ１１０に保持されている現像後の画像データの読み出し領域および読み出しアドレスを算出する。幾何学補正部１０４は図７（Ａ）の矢印に沿って読み出した画素値を用いて、図７（Ｂ）に示す変換後の画像を生成する。尚、読み出し位置については変換パラメータに基づいて幾何学補正部１０４が演算処理により算出する。この読み出し位置は図７（Ａ）のXY座標に対して小数値を含む座標になる場合がある。その際には隣接する複数の画素値から補間処理を行うことで、幾何学変換後の画像を生成する処理が行われる。幾何学変換後の画像データはＤＲＡＭ１１０に保持される。そして図２のＳ４１１へ移行する。

図２のＳ４０３で撮影が開始されると、Ｓ４０４での撮像データ取得と同期して、Ｓ４０８からＳ４１０の処理が並行して実行され、距離マップの生成処理が行われる。撮像部１０２は、撮像面の各画素部の信号を分割してそれぞれ取り込むことにより画素単位で位相差情報を生成する。距離マップ生成部１０７は、ＤＲＡＭ１１０に保持されている撮像データを取得して位相差検出を行う。レンズユニット１０１および撮像部１０２のパラメータを用いて被写体までの距離情報が所定の分解能で生成される。撮像面の信号から位相差を検出して距離情報を生成する公知の方法については詳細な説明は省略する。図４を参照して距離マップ生成の概要を説明する。

図４（Ａ）は撮影された被写体像を例示する。図４（Ｂ）は距離マップ生成部１０７が生成した距離マップデータの概略図である。距離マップデータについては、距離を示す数値を画像の濃淡で表している。つまり、画像の濃度が高いほど奥行き方向にて奥（カメラから遠い距離）にあることを示している。図４（Ｂ−１）は濃度レベルを示し、距離マップの濃度と撮像装置から被写体までの距離との関係を示すグレースケールである。距離マップデータについては撮像部１０２の各画素単位で検出することが可能である。但し、装置の処理性能を鑑みて解像度が設定される。本実施形態の撮像装置１００は、初期状態で撮像部１０２のN×N画素ごとに１つの距離データを割り当てる距離マップデータを生成する。従って、撮像部１０２の画素数がH×Vである場合、初期状態の距離マップデータの分解能は（H／N）×（V／N）である。分解能の変更についてはＣＰＵ１１１が距離マップ生成部１０７に設定することで行う。尚、距離マップデータの形式は上記に限られるものではなく、カメラからの距離を示す任意の形式のデータが使用可能である。

図４（Ｃ）は、図４（Ｂ）の距離マップの各画素が示す距離データの信頼度を濃淡値で表した図である。信頼度は０〜１００％の範囲で検出された値である。図４（Ｃ−１）は濃度レベルを示し、信頼度マップの濃度と百分率との関係を示すグレースケールである。距離マップ生成部１０７は、距離マップと同時に信頼度情報を生成する。尚、信頼度マップの生成は、距離マップの生成と併せて公知の技術を用いるので、その詳細な説明は省略する。また距離情報は、特に明示しない場合、距離データの信頼度情報を含むものとする。

距離マップ生成部１０７が生成した距離マップおよび信頼度マップのデータは、ＤＲＡＭ１１０に記憶される。距離マップ生成部１０７は、１画面、つまり１フレーム分の距離マップおよび信頼度マップのデータをＤＲＡＭ１１０に転送する。転送が完了すると、距離マップ生成部１０７は距離マップおよび信頼度マップの生成が完了したことを通知するために割込み信号をＣＰＵ１１１に発行する。

図２のＳ４０９でＣＰＵ１１１は、距離マップおよび信頼度マップの生成が完了したか否かを判定する。距離マップおよび信頼度マップの生成が完了した場合、Ｓ４１０に移行する。距離マップおよび信頼度マップの生成が未完了である場合には、完了するまでＳ４０９の判定処理を繰り返す。

Ｓ４１０で距離マップ現像部１０８は、距離マップ生成部１０７により生成された距離マップおよび信頼度マップの現像処理を行う。図５を参照して、距離マップおよび信頼度マップの現像処理について説明する。図５は、Ｓ４０８で生成された距離マップおよび信頼度マップを用いた現像処理の概略図である。図５（Ａ−１）は、図４（Ｂ）の距離マップの一部を拡大した模式図である。図５（A−２）は、図４（Ｃ）の信頼度マップの一部を拡大した模式図である。

距離マップ現像部１０８は、ＣＰＵ１１１の指示にしたがってＤＲＡＭ１１０の所定領域に保持されている距離マップおよび信頼度マップのデータを読み出して現像処理を行う。図５（Ｂ）は、距離マップ現像部１０８による現像処理後の距離データを説明する模式図である。距離マップ現像部１０８は、図２のＳ４０２で設定された距離マップ現像モードの値に応じたデータ形式への変換処理を行う。図５の例ではYUV422の色差信号データ形式と合致するように、入力した距離マップおよび信頼度マップのデータ変換処理が行われる。図５（Ｂ）では、距離マップデータをYUV422データ形式の輝度信号（Y）に割り当て、信頼度マップデータを色差信号（U、V）に割り当てるように、距離マップ現像部１０８が処理している。尚、変換後のデータ形式については、幾何学補正部１０４にて変換可能なデータ形式のいずれかを設定することが可能である。現像処理された距離マップおよび信頼度マップのデータはＤＲＡＭ１１０に保持される。また、変換された１画面（１フレーム）分の距離マップおよび信頼度データをＤＲＡＭ１１０へ書き込む処理が完了すると、ＣＰＵ１１１への割込み信号が発行される。

図２のＳ４１１でＣＰＵ１１１は、画像データの幾何学変換の完了と距離マップの現像処理の完了について判定を行う。即ち、Ｓ４０４からＳ４０７の処理とＳ４０８からＳ４１０の処理は並列に実行され、Ｓ４１１では各々の処理の完了を待ち合わせている。ＣＰＵ１１１は、Ｓ４０７の画像データ幾何学変換の完了割込み、およびＳ４１０の距離マップ現像の完了割込みの有無を検出する。両者の割込みが検出された場合、Ｓ４１２に処理を進める。

Ｓ４１２で幾何学補正部１０４は、Ｓ４１０で生成された距離データ（および信頼度データ）の幾何学補正を行う。幾何学補正の種別は図６に示す例と同様である。Ｓ４０７で画像データの幾何学補正で施した変換種別の情報および変換パラメータは不図示のＲＡＭ等に保持されている。ＣＰＵ１１１はこれらの情報に基づいて、距離データの解像度に応じた倍率補正を変換パラメータに施した後、幾何学補正部１０４に設定する。

幾何学補正部１０４は、設定された変換種別の情報および変換パラメータを用いてＳ４０７の場合と同様に、現像された距離データを幾何学補正する。尚、図７の画像データの幾何学補正の際には、読み出し座標が小数値を含む場合に隣接する画素から補間する旨を説明した。距離データの幾何学補正の場合には、隣接する距離データの補間処理を行うと、距離データに基づいて領域判定を行う際の誤差要因になる可能性がある。そこで、本実施形態では基本的に補間処理は行わず、算出した座標位置に最も近い距離データを採用することで補正を行うものとする。幾何学補正後の距離データはＤＲＡＭ１１０に保持される。Ｓ４１３は、距離データの幾何学補正の完了割込みについての判定処理であり、完了割込みが検出された場合、Ｓ４１４に移行する。完了割込みが検出されるまでＳ４１３の判定処理が繰り返されて待ち処理となる。

Ｓ４１４で画像符号化部１０５は、ＤＲＡＭ１１０に保持されている幾何学補正後の画像データおよび距離データを圧縮符号化する。ＣＰＵ１１１は画像符号化部１０５に指示を出し、画像データおよび距離データが個別にＤＲＡＭ１１０から読み出されて符号化処理が実行される。符号化処理後のデータはＤＲＡＭ１１０に書き戻される。尚、圧縮および符号化の方法については公知の技術を用いるので、それらの詳細な説明は省略する。

Ｓ４１５では、符号化された画像データおよび距離データを１つのファイルとして結合する処理が実行される。図８は記録ファイルの概要を示す説明図である。図８（Ａ）は記録ファイルのヘッダ部の一部を抜粋した概略図である。図８（Ｂ）は記録ファイル全体の構成を示す概略図である。Ｓ４１５でＣＰＵ１１１は、不図示のＲＡＭまたはＤＲＡＭ１１０に保持されている画像データおよび距離データのフォーマット等の情報を用いて、図８（Ａ）に示す記録ファイルのヘッダ情報を作成する。作成されたヘッダ情報はＤＲＡＭ１１０の所定領域に転送され、図８（Ｂ）のヘッダ部が生成される。次にＣＰＵ１１１はＳ４１４で生成された符号化後の画像データおよび距離データを、図８（Ｂ）のようにＤＲＡＭ１１０上に連続する１つの領域として結合する処理を行う。ヘッダ部に続いて画像データと、距離データ（および信頼度データ）が配置される。ＣＰＵ１１１は結合後のデータ領域を有するファイルの生成をMedia I/F部１０６に指示し、記録媒体３００にデータを記録する処理を行う。Ｓ４１６で一連の処理を終了する。

本実施形態では、画像データと距離マップデータおよび信頼度マップデータとの位置関係を一致させることにより、画像の幾何学補正と同等の補正処理を距離マップおよび信頼度マップに施すことができる。距離マップおよび信頼度マップを幾何学補正後の画像と同様に変形する際に、画像の幾何学補正と同一の補正を行えるので、回路規模の増加を抑制できる。本実施形態によれば、幾何学補正等の画像処理を行う場合に、画像に対して位置の整合がとれた距離マップおよび信頼度マップを生成することができる。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態の特長は、画像データの解像度、フレームレート、ビット深度を取得して距離マップの解像度を適応的に変更する処理である。以下では、画像記録時のフレームレート等に応じた距離マップの解像度の変更について説明する。

図１１は本実施形態に係る撮像装置１５０のブロック図である。撮像装置１５０には、距離データ分離部１１４と画像効果部１１５が追加されている。本実施形態において第１実施形態の場合と同様の構成については既に使用した符号を用いることで、それらの詳細な説明を省略する。

距離データ分離部１１４は、現像後の距離マップデータを、もとの距離マップおよび信頼度マップ形式のデータに逆変換する。画像効果部１１５は、現像処理後にＤＲＡＭ１１０に保持されている画像データおよび距離データを用いて、画像にぼかし等の効果を施す。

図９は、撮像装置１５０による動画撮影時のタイミングチャートである。横軸は時間軸である。撮影動作にて撮影フレーム単位で処理する必要があり、図９は６０フレーム/秒（単位：fps）で動作する例を示している。以下、第ｋフレームでの動作について説明する。尚、記録画像データおよび距離データの解像度は、幅および高さを1920x1080とする。

図９（Ａ）では、図２のＳ４０４で説明した通り、撮像データの取得処理が行われる。撮像データのＤＲＡＭ１１０への転送が完了すると、割込み信号が撮像部１０２からＣＰＵ１１１に通知される。ＣＰＵ１１１は画像現像部１０３に指示し、図９（Ｂ）で撮像データの現像処理が行われる。Ｓ４０６で１フレーム分の画像の現像処理が完了し、完了割込み信号をＣＰＵ１１１が検知すると、Ｓ４０７で説明した幾何学補正処理が図９（Ｃ）のタイミングで実行される。時刻t1は幾何学補正処理が完了する時刻である。

一方、距離データについては図２のＳ４０８からＳ４１０で処理される。図９（Ａ）での撮像データの取得が完了すると、Ｓ４０８で距離マップの生成処理が行われる。図９（Ｄ）に示すように、撮像データの取得が完了したタイミングでＣＰＵ１１１は距離マップ生成部１０７に指示し、距離マップの生成処理を開始する。その後、図２のＳ４０９にて、１フレーム分の距離マップが生成されてＤＲＡＭ１１０への転送が完了したことが検出されると、図９（Ｅ）に示す距離マップの現像処理が開始する。Ｓ４１０に示す距離マップの現像処理が完了する時刻をt2とする。

図２のＳ４１１にて画像の幾何学補正および距離マップ現像の完了をＣＰＵ１１１が検出すると、Ｓ４１２で距離データの幾何学補正が行われる。図９（Ｆ）に示すように時刻t2で距離データの幾何学補正が開始する。図９（Ｃ）に示す画像データの幾何学補正の完了時刻t1と、図９（Ｅ）に示す距離マップ現像の完了時刻t2に対して、「t1＜t2」であるため、時刻t2でＣＰＵ１１１は幾何学補正部１０４に指示を出す。

以降の第（ｋ＋１）フレーム、第（ｋ＋２）フレーム、第（ｋ＋３）フレームにおいても同様の処理が繰り返される。これにより、60fpsのフレームレートで画像データおよび距離データの記録を行うことができる。

次に、フレームレートを120fpsに変更した場合について説明する。図１０は120fpsでの動作タイミングチャートを示す。図１０（Ａ）から（Ｆ）については図９（Ａ）から（Ｆ）と同様であるが、フレームレートが120fpsに変更されると、１フレーム期間の時間間隔が60fpsに対応する時間の２分の１になる。このため、図９の場合と同様のパラメータを用いたのでは、１フレーム期間内で一連の処理が完了しない。そこで本実施形態では、ＣＰＵ１１１が距離データの解像度を、画像データの解像度およびフレームレートに応じて適応的に設定する。ＣＰＵ１１１が距離データの解像度を設定するに当たり、指標とする値として帯域データ、即ち１秒間に処理すべきデータ量（単位：bps）を用いるものとする。

ＣＰＵ１１１は帯域（Dと記す）を、下記式により算出する。
D = （幅） × （高さ） × （フレームレート） × （１画素当たりのbit数） −（式１）
例えば、画像データの解像度を1920（幅）x1080（高さ）、フレームレートを60fps、画像のデータ形式をYUV422として8bitのデータを隣り合う画素で共有する場合を想定する。この場合の帯域は下記式により算出される。
D=1920（幅）× 1080（高さ）× 60（フレームレート）× 16（１画素当たりのbit数）
= 約2×10⁹(bps) = 2G(bps)

図１３（Ａ）は、画像データの帯域（横軸）と距離データの縮小率（縦軸）との関係をグラフで例示した図である。帯域の増加につれて縮小率が低下する（縮小率が小さいほど解像度は低い）。ＣＰＵ１１１は、帯域2G(bps)を基準として、距離マップの縮小率（Rと記す）を設定する。つまり、ＣＰＵ１１１は（式１）により画像データの帯域Dを算出し、その値を用いて、下記（式２）により縮小率Rを設定する。
R = D/2G −（式２）

算出された縮小率Rを用いて距離マップ生成部１０７が生成する距離マップの解像度を変更することにより、高フレームレートでの動作に対応することが可能となる。この例では、（式２）を用いて縮小率の値が連続的に設定されるが、距離マップを縮小する場合の解像度を決定する別の方法として、図１３（Ｂ）を例示する。図１３（Ｂ）は、縮小率Rの範囲と解像度との関係を設定する際に使用する表である。この表に示すように、（式２）で算出される縮小率Rの値が複数の範囲に区分けされており、それぞれの範囲に対応する、予め設定された解像度への縮小処理が行われる。具体的には、図１０は120fpsでの動作タイミングチャートを示しているので、（式２）により縮小率の値が約0.5と算出される。よって図１３（Ｂ）の表から、ＣＰＵ１１１は生成する距離マップの解像度を960x540に設定する。その結果、図１０（Ｄ）の距離マップ生成に要する時間が、図９の場合に比べて短縮される。それに伴い、図１０（Ｅ）の距離マップ現像に要する時間、さらに図１０（Ｆ）の距離データの幾何学補正に要する時間が短縮される。よって、120fpsのフレーム期間内で画像および距離データの記録を完了することが可能となる。この場合、「t2＜t1」であるため、画像データの幾何学補正が終了した時点で距離データの幾何学補正が開始する。

図１１の距離データ分離部１１４はＣＰＵ１１１の指示により、図５（Ｂ）で説明したように幾何学補正された現像後の距離データを、図５の（Ａ−１）および（Ａ−２）のように元の距離マップおよび信頼度マップのデータ形式に逆変換する。図１２は距離データ分離部１１４により逆変換された記録ファイルを示す概略図である。図１２（Ａ）は記録ファイルのヘッダ情報を例示し、距離データ形式の欄が「オリジナル、８bit」となっている。ＣＰＵ１１１は、距離データ分離部１１４を介して逆変換した場合には、データ形式を「オリジナル」としてヘッダ情報を生成する。また図１２（Ｂ）は、逆変換後のファイル構成を示す。ヘッダ部、画像データに続いて逆変換された距離マップと信頼度マップが図５のデータ形式によってＣＰＵ１１１の制御によりファイル化される。

図１１の画像効果部１１５は、距離データを参照して画像に各種効果を施す。図２のＳ４０７およびＳ４１２で幾何学補正部１０４により幾何学補正されてＤＲＡＭ１１０に保持されている画像データおよび距離データが使用される。図１４を参照して、具体例を説明する。図１４（Ａ）は、ＤＲＡＭ１１０に保持されている幾何学補正後の画像データの概略図である。図１４（Ａ）は、背景の壁１４０１の手前に被写体１４００が配置されている様子を模式的に示している。また図１４（Ｂ）は、幾何学補正後の距離データの概略図である。この距離データは、ＤＲＡＭ１１０に保持されている、図１４（Ａ）の画像データに対応する。右側に距離を濃度により表示するためのグレースケールを示す。撮像装置から背景の壁１４０１までの距離は略6mであり、撮像装置から被写体１４００までの距離は略1mである。

画像効果部１１５は、例えばＣＰＵ１１１からの指示により、背景領域の画像をぼかす処理を行う。この場合、画像効果部１１５はＤＲＡＭ１１０に保持されている距離データを参照し、背景の壁１４０１の距離6mに対して、±0.5mの範囲の距離に対応する画素を抽出する処理を行う。画像効果部１１５は抽出した画素と同じ位置にある画素に対してぼかし処理を施す。これにより、背景の壁１４０１の画素のみにぼかし処理が施され、背景画像のぼかし効果が得られる。背景の壁１４０１の画像をぼかす処理は例示であり、その他には、色変換処理がある。この場合、画像効果部１１５は距離データを用いて背景領域と被写体領域を分離して、被写体領域の画像のみに色変換を行う。このように、距離データを利用した各種の画像効果を得ることができる。

本実施形態によれば、画像データの解像度、フレームレート、ビット深度等が高い場合に距離情報の解像度を相対的に低く設定することにより、距離情報の生成、現像、幾何学補正に要する時間を短縮できる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０３ 画像現像部
１０４ 幾何学補正部
１０７ 距離マップ生成部
１０８ 距離マップ現像部
１１１ ＣＰＵ
１１４ 距離データ分離部
１１５ 画像効果部

Claims (15)

1. 第１のデータ形式の画像データと、前記画像データに関連する、第２のデータ形式の距離情報とを取得する取得手段と、
   前記距離情報を、前記第１のデータ形式の情報に変換する変換手段と、
   前記画像データおよび前記変換手段により変換された距離情報に対して画像処理を施す画像処理手段と、
   前記画像処理手段を制御する制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記距離情報は、画像内における奥行き方向の距離分布を示す情報を含み、
   前記制御手段は、前記第１のデータ形式の前記画像データおよび距離情報に対して前記画像処理手段によって画像処理を施す制御を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記画像データに施した画像処理を、前記第１のデータ形式に変換された前記距離情報に施すことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理手段は、前記画像データおよび距離情報に対して幾何学補正を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記幾何学補正は、射影変換または円筒変換または歪曲収差補正の変換により行われることを特徴とする請求項４に記載の画像処理装置。
6. 前記第１のデータ形式は、輝度信号と色差信号からなるフォーマットであることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像処理手段が画像処理を施した距離情報を、前記第２のデータ形式の距離情報に逆変換する逆変換手段を備えることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、前記画像データの帯域データを取得して前記距離情報の解像度を設定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記制御手段は、前記画像データの解像度、フレームレート、ビット深度から前記帯域データを算出し、前記距離情報の解像度に対する縮小率を設定することを特徴とする請求項８に記載の画像処理装置。
10. 前記距離情報は、画像内における奥行き方向の距離分布を示す距離データおよび該距離データの信頼度を示す信頼度データであることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記第１のデータ形式は、輝度信号と色差信号からなるフォーマットであり、
    前記変換手段は、前記距離データを輝度信号に割り当て、前記信頼度データを色差信号に割り当てたデータ形式に変換することを特徴とする請求項１０に記載の画像処理装置。
12. 請求項１から１１のいずれか１項に記載の画像処理装置を備える撮像装置。
13. 前記撮像装置の姿勢を検知する検知手段を備え、
    前記制御手段は、前記検知手段により検知された前記撮像装置の姿勢の情報を取得して前記画像処理手段を制御することを特徴とする請求項１２に記載の撮像装置。
14. 画像データと、前記画像データに関連する距離情報を処理する画像処理装置にて実行される制御方法であって、
    第１のデータ形式の前記画像データと、第２のデータ形式の前記距離情報とを取得するステップと、
    前記距離情報を、前記第１のデータ形式の情報に変換するステップと、
    前記画像データおよび変換された距離情報に対して画像処理を施すステップと、を有することを特徴とする画像処理装置の制御方法。
15. 請求項１４に記載の各ステップを画像処理装置のコンピュータに実行させるプログラム。
    
    

Images