JP2018206269A - 画像処理装置 - Google Patents

Abstract

【課題】距離情報を用いて、補正要素判定を行うことで、誤補正を低減できる画像処理装置を提供すること。【解決手段】二次元画像と奥行き距離を含む三次元情報を記録可能な撮像装置において、前記二次元画像から指定幾何学要素を抽出するとともに、前記三次元情報から前記指定幾何学要素の奥行き方向距離を取得する手段と、前記奥行き方向距離が最も少ない前記指定幾何学要素を補正基準要素とする決定手段と、を備える。【選択図】図１１

Description

本発明は、画像処理装置に関する。

平面計測手段で計測した被写体面の向きに基づいて、撮像手段が撮像した画像の斜め撮影による歪みを補正する技術が提案されている（特許文献１）。

ＷＯ２０１１／１５５１６１号公報

しかしながら、従来技術では、水平基準線を表示する撮像装置・情報端末において、自動補正対象基準線に遠近直線が誤検出されて、誤補正されてしまうことがあった。

本発明の目的は、距離情報を用いて、補正要素判定を行うことで、誤補正を低減できる画像処理装置を提供することにある。

上記の目的を達成するために、本発明に係る画像処理装置は、
二次元画像と奥行き距離を含む三次元情報を記録可能な撮像装置において、前記二次元画像から指定幾何学要素を抽出するとともに、前記三次元情報から前記指定幾何学要素の奥行き方向距離を取得する手段と、前記奥行き方向距離が最も少ない前記指定幾何学要素を補正基準要素とする決定手段と、を備えたことを特徴とする。

本発明に係る画像処理装置によれば、距離情報を用いて、補正要素判定を行うことで、誤補正を低減できる。

本発明の第１実施形態に係る画像処理装置の構成を示す概略図である。 本発明の第１実施形態に係る端末装置の構成の示すブロック図である。 本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。 本発明の第１実施形態に係る撮像装置で撮影された画像情報の構成を示す概略図である。 本発明の第１実施形態に係る図４における画像空間情報の構成を示す概略図である。 本発明の第１実施形態に係る撮像装置で撮影された二次元画像を示す概略図である。 本発明の第１実施形態に係る図６の二次元画像から直線要素を抽出した状態を示す概略図である。 本発明の第１実施形態に係る図６の二次元画像に対応した奥行きを含めた三次元情報を示す概略図である。 本発明の第１実施形態に係る従被写体を除去する領域を決定する処理を例示したフローチャートである。 本発明の第１実施形態に係る図９の直線要素の距離方向位置を管理するために、端末装置または撮像装置に保持される直線管理情報の構成を示す概略図である。 本発明の第１実施形態に係る直線要素から回転補正の基準線を決定する処理を例示したフローチャートである。 本発明の第１実施形態に係る回転補正の基準線に基づいて、画像を回転補正する処理を例示したフローチャートである。 本発明の第２実施形態に係る撮像装置のモニタに基準線を表示した状況を示すＵＩ概略図である。 本発明の第２実施形態に係る回転補正処理を例示したフローチャートである。 本発明の第３実施形態に係る直線要素から回転補正の基準線を決定する処理を例示したフローチャート図である。 本発明の第３実施形態に係る深度確認処理の詳細処理を例示したフローチャートである。 本発明の第４実施形態に係る深度確認処理の詳細処理を例示したフローチャートである。

以下に、図面を参照して、本発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

＜第１の実施形態＞
図１は、本実施形態に係る画像処理装置の構成を示す概略図である。

図１において画像処理装置は、画像を撮影する撮像装置１０２、撮像装置１０２から映像を受信する端末装置１０１で構成される。撮像装置１０２と端末装置１０１の接続方式は有線、無線のいずれであっても構わない。

図２は、端末装置１０１の構成を示すブロック図である。

図２において、端末装置１０１モニタ２０１、ＶＲＡＭ２０２、ＢＭＵ２０３、キーボード２０４、ＰＤ２０５、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、外部記憶装置２０９、ＦＤＤ２１０、ネットワークＩ／Ｆ２１１を有する。モニタ２０１には、例えば撮像装置１０２から受信した画像が表示される。ＶＲＡＭ２０２には、モニタ２０１に表示するための画像が描画される。このＶＲＡＭ２０２に生成された画像データは、所定の規定に従ってモニタ２０１に転送され、これによりモニタ２０１に画像が表示される。

ＢＭＵ（ビットムーブユニット）２０３は、例えば、メモリ間（例えば、ＶＲＡＭ２０２と他のメモリとの間）のデータ転送や、メモリと各Ｉ／Ｏデバイス（例えば、ネットワークＩ／Ｆ２１１）との間のデータ転送を制御する。キーボード２０４は、文字等を入力するための各種キーを有する。ＰＤ（ポインティングデバイス）２０５は、例えば、モニタ２０１に表示されたアイコン、メニューその他のコンテンツを指示するために使用される。ＣＰＵ２０６は、ＲＯＭ２０７、外部記憶装置２０９又はフレキシブルディスクに格納された制御プログラムに基づいて、各デバイスを制御する。

ＲＯＭ２０７は、各種制御プログラムやデータを保存する。ＲＡＭ２０８は、ＣＰＵ２０６のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。外部記憶装置２０９は、情報処理装置内で実行される各制御プログラムやデータを格納する。ＦＤＤ２１０は、フロッピー（登録商標）等に代表されるフレキシブルディスクに対するアクセスを制御する。ネットワークＩ／Ｆ２１１は、インターネット等のネットワーク回線２１３に接続するためのインターフェースである。ＣＰＵバス２１２は、アドレスバス、データバス及びコントロールバスを含む。

ＣＰＵ２０６に対する制御プログラムの提供は、ＲＯＭ２０７、外部記憶装置２０９、ＦＤＤ２１０から行うこともできるし、ネットワークＩ／Ｆ２１１を介してネットワーク経由で他の情報処理装置等から行うこともできる。

図３は、撮像装置１０２の構成を示すブロック図である。

図３において、撮像装置部３０１は、被写体の光学像を電気信号に変換する。Ａ／Ｄ変換器３０２は、アナログ信号を入力してデジタル信号に変換する。エンコーダ３０３は、デジタル画像データを圧縮符号化する（例えば、静止画データの場合はＪＰＥＧ形式等）。画像データ記録部３０４は、画像データのファイル（画像ファイル）を作成して記憶媒体３０５に格納する。記憶媒体３０５は、ランダムアクセス可能な記憶媒体である。ネットワーク接続部３０６は、撮像装置１０２に情報を送信する。

システム制御部３０７は、この撮像装置の全般的な動作を制御する制御部で、マイクロコンピュータを有する。ＲＯＭ３０８は、制御プログラムや撮像設定値ファイル、各種データを保存する。ＲＡＭ３０９は、制御プログラムのロード領域等を有する。操作部３１０は、操作パネルやリモコン等を含み、操作者により操作されて各種データやコマンドを入力する。位置情報取得部３１１は、例えばＧＰＳレシーバであり、ＧＰＳ衛星から受信した情報に基づいて撮像装置１０２の現在位置を算出し、現在位置を表す位置情報を生成する。なお、位置情報取得部３１１は、撮像装置１０２の外部に接続されていてもよい。

図５は、図４における画像空間情報４０６の構成を示す概略図である。

図５において、画像空間情報４０６は画像中の被写体を特定する被写体ＩＤ５０１と前記被写体の画像内における三次元位置を示す被写体座標５０２で構成される。画像空間情報は画像５０３内における被写体、例えば被写体５０４、５０５それぞれに対して保持する。

図６は、撮像装置１０２で撮影された二次元画像を示す概略図である。

図６の二次元画像は奥行き情報を持たず、図中直線要素６０１、６０２、６０３のエッジ検出に用いられる。エッジ検出とは境界等、輝度・明度・色相等が際立って変化している部分を線状に検出することである。

図７は、図６の二次元画像から直線要素を抽出した状態を示す概略図である。

図７において、図６の直線要素６０１、６０２、６０３に対応して検出されたエッジが、それぞれ７０１、７０２、７０３であり、この中から回転補正のための基準線が決定される。

図８は、図６の二次元画像に対応した奥行きを含めた三次元情報を示す概略図である。

図８において、色の濃淡で奥行き方向の距離を表しており、手前は明るく、奥は暗くなる。例えば、直線要素が濃淡が変化する領域にわたって存在していれば、該当する直線要素は奥行きを持って配置されていることになる。

図９は、図７のエッジ検出された直線要素を図８の三次元情報を基に奥行き距離を付加した座標図である。

図９において、直線要素６０１、６０２、６０３は図中位置のように配置され、直線要素６０２、６０３が奥行き方向要素を持つ。一方、直線要素６０１は奥行き方向要素が微小である。なお、奥行き方向要素を持つ６０１、６０２は遠近線のように奥に行くほど中心へ向かっているが、本実施形態で注目するのは、直線要素の奥行き方向始端、終端位置なので、特に補正は行わない。

図１０は図９の直線要素の距離方向位置を管理するために、端末装置１０１または撮像装置１０２に保持される直線管理情報の構成を示す概略図である。

図１０において、直線管理情報は直線要素を一意に特定する直線ＩＤ、直線の画像中位置を示す始端座標６０４、終端座標６０５、該直線要素が回転補正基準線であるかを示す、基準線フラグ６０６で構成される。基準線フラグ６０６が０以外の場合は、直線ＩＤ６０５に対応する直線要素が回転補正の基準となる。

図１１は直線要素から回転補正の基準線を決定する処理を例示したフローチャートである。

図１１において、ステップ１１０１で、撮像装置１０２で撮影した画像から時次元画像を抽出し、端末装置１０１または撮像装置１０２が保持する領域ＩＭＧ＿２Ｄに格納し、ステップ１１０２で撮影時画像から三次元情報を抽出して、領域ＩＮＦ＿３Ｄへ格納する。ＩＭＧ＿２Ｄから直線要素のエッジ検出を行い、図７の直線要素を得て、ステップ１１０４で直線ＩＤを発行して、ステップ１１０５で直線の始端、終端座標とともに直線管理情報１００１へ格納する。

ステップ１１０６で全直線要素の検出が完了したと判定したならば、ステップ１１０８へ進み、未だ直線要素が残っていれば、ステップ１１０７で次の直線要素へ進み、ステップ１１０３からの処理を繰り返す。ステップ１１０８では予め定義した奥行き方向の想定最大値Ｚ＿ＭＡＸで領域Ｚ＿ＤＥＰＴＨを初期化し、ステップ１１０９で検索対象始点となる直線ＩＤで領域Ｌ＿ＩＤを初期化する。ステップ１１１０で、直線管理情報１００１から直線始端座標１００３、直線終端座標１００４を、それぞれ領域Ｔ＿ＳＴ，Ｔ＿ＥＤへ格納し、ステップ１１１２でＴ＿ＳＤとＴ＿ＥＤの差を領域Ｔ＿ＤＥＰＴＨへ格納する。

ステップ１１１３でＴ＿ＤＥＰＴＨがＺ＿ＤＥＰＴＨ以下と判定したならば、ステップ１１１４でＴ＿ＤＥＰＴＨでＺ＿ＤＥＰＴＨで更新し、ステップ１１１５で直線ＩＤを領域Ｌ＿ＩＤへ格納する。この処理により、最も奥行き長が小さい直線要素が選択される。ステップ１１１６で全直線の検出を終えたと判定したならば、ステップ１１１８でＬ＿ＩＤが示す直線管理情報１００１の基準線管理フラグ１００５に１を格納する。ステップ１１１６で未だ検出すべき直線要素があると判定したならば、ステップ１１１７で次の直線要素へ進み、ステップ１１１０からの処理を繰り返す。

図１２は、回転補正の基準線に基づいて、画像を回転補正する処理を例示したフローチャート図である。

図１２において、ステップ１２０１で、基準線フラグ１００５が０以外の値を持つ直線管理情報１００１を検索し、端末装置１０１または撮像装置１０２に保持された領域Ｌ＿ＩＮＦへ格納し、ステップ１２０２で構図の水平線に対する基準線の角度を構図の水平線と基準線のＡｒｃ Ｔａｎｇｅｎｔで求め、領域Ａに格納する。ステップ１２０３で角度−Ａで画像を回転補正する。補正アルゴリズムはアファイン変換であっても、その他のアルゴリズムを適用しても構わない。

基準線の角度が９０度を超えている場合は、垂直方向の直線要素を検出している可能性があるので、加速度検出器３１７を併用して、垂直方向要素でないことを判定する処理がある構成であっても構わない。

＜第２の実施形態＞
第２の実施形態では、第１の実施形態で検出した回転補正のための基準線を撮像装置１０２のモニタ３１４に表示する処理を示す。

図１３は、第２の実施形態おいて、撮像装置１０２のモニタ３１４に基準線を表示した状況を示すＵＩ概略図である。

図１３において、直線１３０１は構図における水平線であり、直線１３０２は第１の実施形態で検出した水平基準線である。

図１４は、本実施形態おける回転補正処理を例示したフローチャートである。

図１４において、第１の実施形態との差分はステップ１４０３、１４０４であり、ステップ１４０３で直線ＩＤ１００２の直線上に角度Ａで直線１３０２を、ステップ１４０４で、角度−Ａで直線１３０１をモニタ３１４に表示する処理を追加する。

＜第３の実施形態＞
第３の実施形態では、遠方にある直線を基準線候補から除去する処理を示す。本実施形態によって、極端に離れた直線を基準線として誤検出することを防止する。

図１５は、本実施形態において、直線要素から回転補正の基準線を決定する処理を例示したフローチャートである。

図１５において、第１の実施形態との差分は深度確認処理１５１３である。

図１６は、本実施形態において、深度確認処理１５１３の詳細処理を例示したフローチャートである。

図１６において、ステップ１６０１でＴ＿ＳＴの奥行き要素が予め定義した深度閾値ＤＥＰＴＨ＿ＴＯＯ＿ＦＡＲよりも遠方と判定するか、ステップ１６０２でＴ＿ＳＴの奥行き要素が予め定義した深度閾値ＤＥＰＴＨ＿ＴＯＯ＿ＦＡＲよりも遠方と判定したならば、ステップ１６０３でＺ＿ＭＡＸをＴ＿ＤＥＰＴＨへ格納して、処理を終える。この処理によって、処理中の直線要素は基準線候補から外される。

＜第４の実施形態＞
第４の実施形態では、第３の実施形態で基準線候補から除去された直線であっても、地平線、水平線等の遠方にありながら、基準線となり得る直線を基準線候補とする処理を示す。

図１７は、本実施形態において、深度確認処理１５１３の詳細処理を例示したフローチャートである。

図１７において、第３の実施形態との差分は１７０３〜１７０７の処理であり、ステップ１７０１，１７０２で遠方と判定された直線要素について、ステップ１７０３〜１７０６の処理で予め定義した地平線、海面線パターンとの一致性を判定する。ステップ１７０３で定義色範囲に収まる色を検出したならば、ステップ１７０４で該色領域の境界が処理中の直線要素近傍にあるかを判定する。例えば、海の青が検出されたら、その境界は検出中の直線であるかを判定する。ステップ１７０５で構図に対する色領域面積比率が予め定義した閾値以上であるかの判定をする。例えば、海や、空であれば、構図において、人物よりも広い領域を占めていると仮定できる。

ステップ１７０６で領域内の色のばらつきが予め定義した閾値以下であると判定したならば、処理中の直線要素を基準線候補から外さずに処理を終了する。ステップ１７０３〜１７０６のいずれかの条件を満たさない場合は、ステップ１７０７で基準線候補から外す設定をして、処理を終了する。

１０１ 端末装置、１０２ 撮像装置

Claims (5)

1. 二次元画像と奥行き距離を含む三次元情報を記録可能な撮像装置において、
   前記二次元画像から指定幾何学要素を抽出するとともに、前記三次元情報から前記指定幾何学要素の奥行き方向距離を取得する手段と、
   前記奥行き方向距離が最も少ない前記指定幾何学要素を補正基準要素とする決定手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記補正基準要素を水平線として、画像の傾き角度補正を行う手段を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正基準要素を水平線として画像上に表示し、使用者に報知する手段を備えたことを特徴とする請求項１に記載の画像処理装置。
4. 水平線であって前記奥行き方向距が他の被写体に比較して遠い場合は、前記補正基準要素としない手段を備えたことを特徴する請求項１に記載の画像処理装置。
5. 前記補正基準要素としない候補とされた前記水平線について、地平線、海面線であると判定した場合は、前記補正基準要素とする手段を備えたことを特徴とする請求項４に記載の画像処理装置。