JP2018173746A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】適切な動き情報を用いた画像処理を実現可能にすることを課題とする。【解決手段】動き情報算出部（２０１）は、対象画像間の動き情報を取得する。オクルージョン情報算出部（２０２）は、対象画像間のオクルージョン情報を生成する。画像補間処理部（２０４）は、動き情報とオクルージョン情報とに基づいて動き情報の優先度を決定し、優先度に基づいて重み付けした動き情報を用いて対象画像に所定の画像処理を行う。【選択図】図１

Description

本発明は、動きのある被写体領域を含む画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。

従来、時間的に連続する画像間の動き情報を検出し、その動き情報を用いて画像の生成、補正等の画像処理を行う画像処理装置が知られている。ここで、画像内に動体等の被写体領域があると、時間的に連続する画像間で例えば動体の被写体領域と他の被写体領域とが交差することがある。このように動体等の被写体領域が交差する場合、画像処理の対象となっている座標位置において複数の動き情報が検出されることがある。そして、対象座標位置において複数の動き情報が検出された場合、画像処理の際には、それら複数の動き情報の中で何れの動き情報を用いるかの判断が必要になる。なお、例えば特許文献１には、画像内の各被写体領域の奥行き情報を用いることにより、複数の動き情報の中で何れの動き情報を用いるかを判別可能にする技術が開示されている。

特開２０１１−１５５４３１号公報

ここで、例えば動体の被写体領域が交差等することで、画像処理の対象座標位置で複数の動き情報が検出された場合において、例えば不適切な動き情報が用いられてしまうと、誤った画像処理が行われてしまうことになる。なお、特許文献１の技術では、奥行き情報に基づいて画像処理に用いる動き情報を選択するが、例えば装置の能力不足などの様々な理由により奥行き情報を取得できなかった場合には、適切な動き情報を判別できなくなる。

そこで、本発明は、適切な動き情報を用いた画像処理を実現可能にすることを目的とする。

本発明は、対象画像間の動き情報を取得する取得手段と、前記対象画像間のオクルージョン情報を生成する生成手段と、前記動き情報と前記オクルージョン情報とに基づいて前記動き情報の優先度を決定する決定手段と、前記優先度に基づいて重み付けした動き情報を用いて対象画像に所定の画像処理を行う処理手段と、を有することを特徴とする。

本発明によれば、適切な動き情報を用いた画像処理が実現可能となる。

本実施形態の画像処理装置（撮像装置）の概略構成を示す図である。 補間画像生成部の概略構成を示す図である。 補間画像生成処理の全体の流れを示すフローチャートである。 動き情報算出処理のフローチャートである。 動き情報算出処理の説明図である。 オクルージョン情報算出処理のフローチャートである。 基準画像及び参照画像と順方向及び逆方向の動き情報の説明図である。 オクルージョン領域の動き情報推定処理の説明図である。 画像補間処理のフローチャートである。 動き情報の補正処理の説明図である。 対象座標を終点とする動き情報検出処理の説明図である。 動き情報の優先度算出処理のフローチャートである。 動き情報の移動元座標と移動先座標の算出処理の説明図である。 移動元座標及び移動先座標と優先度の対応テーブル例を示す図である。 対象座標の画素補間処理の説明図である。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
本実施形態では、画像処理の一例として、時間軸上で連続（例えば隣接）した画像間で動き情報を検出し、その動き情報を用いて補間画像を生成する例を挙げる。また、本実施形態では、画像内に動体等の被写体領域があり、時間軸上で連続した画像間で例えば被写体領域同士が交差するような場合を例に挙げて説明する。

図１は、本実施形態の画像処理装置の一適用例である撮像装置１００の概略構成例を示す図である。なお、本実施形態における撮像装置１００は、例えば、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等の何れにも適用可能である。

制御部１０１は例えばＣＰＵであり、撮像装置１００の動作を制御する動作プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行して、撮像装置１００が備える各部の動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、前述の動作プログラムに加え、各部の動作に必要なパラメータ等をも記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各部の動作において各部から出力されたデータを一時的に記憶する記憶領域として用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズ等を含むレンズ群で構成され、被写体等の光学像を後述する撮像部１０５の撮像面上に結像させる。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。

画像処理部１０７は、ＲＡＭ１０３に記憶された画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を施す。また、本実施形態の場合、画像処理部１０７は図２に示す補間画像生成部２００を有しており、補間画像生成部２００はＲＡＭ１０３に記憶されている画像データを基に補間画像を生成する。補間画像生成部２００の構成及び動作の詳細は後述する。

記録部１０８は着脱可能なメモリカード等を有し、画像処理部１０７で処理された画像データがＲＡＭ１０３を介して供給され、その画像データを記録画像データとして記録する。また、記録部１０８は、記録している画像データを読み出して、ＲＡＭ１０３を介して、画像処理部１０７に出力することもできる。表示部１０９は、ＬＣＤ（液晶ディスプレイ）等の表示デバイスである。表示部１０９は、ＲＡＭ１０３又は記録部１０８に記録した画像データに基づく画像や、ユーザからの指示を受け付けるための操作ユーザーインターフェイス画像等を表示する。

図２は、画像処理部１０７が有する補間画像生成部２００の構成例を示す図である。補間画像生成部２００は、例えば記録部１０８に記録された画像データを用いて補間画像を生成する。本実施形態の場合、補間画像生成部２００は、時間軸上で連続した各画像を処理の対象画像とし、対象画像間の動き情報を検出し、さらに動き情報の優先度を算出し、その優先度を基に重み付けした動き情報を用いて補間画像を生成する。補間画像生成部２００は、図２に示すように、動き情報算出部２０１、オクルージョン情報算出部２０２、動き情報推定部２０３、画像補間処理部２０４を有して構成されている。

図３は、補間画像生成部２００において行われる補間画像生成処理のフローチャートである。以下、図３のフローチャートを参照しながら、図２に示した補間画像生成部２００の各部の動作を説明する。なお、図３のフローチャートでは、処理ステップＳ３０１〜Ｓ３０４をそれぞれＳ３０１〜Ｓ３０４と略記する。また図３のフローチャートの処理は、ハードウェア構成により行われてもよいし、本実施形態の補間画像生成処理に係るプログラムをＣＰＵが実行することにより実現されてもよい。なお、補間画像生成処理のプログラムは各種記録メディアやネットワークを介して供給され、ＲＡＭに展開されることによりＣＰＵにより実行可能となされる。また、補間画像生成処理は、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。これらのことは後述する他のフローチャートにおいても同様とする。本実施形態における補間画像生成処理には、Ｓ３０１の動き情報算出処理、Ｓ３０２のオクルージョン情報算出処理、Ｓ３０３の動き情報推定処理、Ｓ３０４の画像補間処理が含まれる。

＜動き情報算出処理＞
図３のＳ３０１の処理は、動き情報算出部２０１で行われる。Ｓ３０１において、動き情報算出部２０１は、記録部１０８に記録されている例えば動画の各フレーム画像のうち、時間軸上で連続（隣接）した画像が処理の対象画像として入力され、それら対象画像間で動き情報を算出する。詳細は後述するが、動き情報算出部２０１は、時間軸上で前の対象画像を基準画像とし、後の対象画像を参照画像として第１の動き情報を算出し、また、時間軸上で後の対象画像を基準画像とし、前の対象画像を参照画像として第２の動き情報を算出する。以下、本実施形態では、時間軸上で前の対象画像を基準画像とし、後の対象画像を参照画像として算出した第１の動き情報を、順方向の動き情報と呼ぶ。一方、時間軸上で後の対象画像を基準画像とし、前の対象画像を参照画像として算出した第２の動き情報を、逆方向の動き情報と呼ぶ。そして、動き情報算出部２０１は、それら算出した順方向の動き情報及び逆方向の動き情報を、オクルージョン情報算出部２０２と動き情報推定部２０３に出力する。

以下、図３のＳ３０１において動き情報算出部２０１が行う動き情報算出処理の詳細について図４及び図５を用いて説明する。図４は図３のＳ３０１において動き情報算出部２０１が行う動き情報算出処理の詳細なフローチャートであり、図５は例えばブロックマッチング法による動き情報算出処理を説明する図である。なお、本実施形態では、動き情報算出処理の例としてブロックマッチング法を挙げて説明するが、動き情報算出処理はこの例に限ったものではなく、例えばいわゆるオプティカルフロー法等により動き情報が算出されてもよい。

図４のＳ４０１の処理として、動き情報算出部２０１は、記録部１０８に記録されている画像データのうち、時間軸上で連続（隣接）した２枚の対象画像のデータを取得する。そして、動き情報算出部２０１は、順方向の動き情報を算出する際には、それら２枚の対象画像のうち、時間軸上で前の対象画像を基準画像に設定し、時間軸上で後の対象画像を参照画像に設定する。また、動き情報算出部２０１は、逆方向の動き情報を算出する際には、時間的に後の画像を基準画像に設定し、時間的に前の画像を参照画像に設定する。

次にＳ４０２の処理として、動き情報算出部２０１は、図５に示すように、基準画像５０１に対して基準ブロック５０２を設定する。基準ブロック５０２は、縦×横が共に画素数ＢＳのブロックである。さらに、Ｓ４０３の処理として、動き情報算出部２０１は、参照画像５０３に対して探索範囲５０５を設定する。探索範囲５０５は、参照画像５０３内で、基準画像５０１の基準ブロック５０２と同座標位置５０４を中心とした、縦×横が共に画素数（ＳＲ＋ＢＳ）の範囲である。なお、順方向の動き情報を算出する場合、基準画像５０１は時間的に前の画像、参照画像５０３は時間的に後の画像であり、一方、逆方向の動き情報を算出する場合、基準画像５０１は時間的に後の画像、参照画像５０３は時間的に前の画像となる。

次にＳ４０４の処理として、動き情報算出部２０１は、参照画像５０３の探索範囲５０５内で所定のスキャン順に参照ブロック５０６を順次設定し、それらスキャン順の参照ブロック５０６毎に、基準画像５０１の基準ブロック５０２との間の相関演算を行う。参照ブロック５０６は、基準ブロック５０２と同様の縦×横が共に画素数ＢＳのブロックである。相関演算は、基準ブロック５０２内の各画素値と、参照ブロック５０６内の各画素値との差分絶対値和を求める演算となされる。そして、動き情報算出部２０１は、Ｓ４０４において、探索範囲５０５内で差分絶対値和の値が最も小さい参照ブロック５０６の座標位置を、最も相関値が高い座標位置として取得する。図５の例では、参照画像５０３に設定された探索範囲５０５内の図中の参照ブロック５０６の座標位置で最も相関値が高くなっている例を示している。なお、相関値の算出方法は、差分絶対値和を求める例に限定されず、例えば差分二乗和や正規相互相関値に基づいて相関値が算出されてもよい。

次にＳ４０５の処理として、動き情報算出部２０１は、基準ブロック５０２の座標位置と、最も高い相関値を示した参照ブロック５０６の座標位置とに基づき動き情報５０７を算出する。なお、基準ブロック５０２の座標位置、参照ブロック５０６の座標位置は、それぞれのブロックの中心座標位置とする。図５の例では、参照画像５０３内において、基準画像５０１の基準ブロック５０２の中心座標位置と同座標位置５０４から、Ｓ４０４で最も高い相関値が得られた参照ブロック５０６の中心座標位置までを表す動きベクトルが、動き情報５０７として算出される。

次にＳ４０６の処理として、動き情報算出部２０１は、図５の基準画像５０１内の全画素について動き情報（動きベクトル）の算出処理が完了したか否か判定し、全画素の動き情報算出が完了していないと判定（Ｎｏ）した場合には、Ｓ４０２に処理を戻す。Ｓ４０２に処理を戻した場合、動き情報算出部２０１は、図５の基準ブロック５０２の座標位置を所定のスキャン順の方向に１画素分移動させた座標位置において基準ブロック５０２を再設定し、以降、Ｓ４０３からＳ４０６までの処理を行う。このように動き情報算出部２０１は、基準画像５０１内の全画素に対応した動き情報（動きベクトル）の算出処理が完了するまで、基準ブロック５０２の位置を順次移動させながら、Ｓ４０２からＳ４０６の処理を繰り返す。そして、Ｓ４０６において、全画素の動き情報算出が完了したと判定（Ｙｅｓ）した場合、動き情報算出部２０１は、Ｓ４０７に処理を進める。なお、動き情報算出部２０１は、全画素の動き情報を算出するのではなく、所定画素毎に動き情報を算出してもよい。

次にＳ４０７において、動き情報算出部２０１は、順方向の動き情報及び逆方向の動き情報の両方の算出処理が完了したか否か判定し、順方向及び逆方向の動き情報の算出処理が完了していないと判定（Ｎｏ）した場合には、Ｓ４０１に処理を戻す。以下、Ｓ４０７において、順方向の動き情報及び逆方向の動き情報の両方の算出処理が完了したと判定されるまでＳ４０１からＳ４０７の処理を繰り返す。そして、Ｓ４０７において順方向及び逆方向の動き情報の算出処理が完了したと判定（Ｙｅｓ）した場合、動き情報算出部２０１は、図４のフローチャートの処理を終了する。以上説明した図４のフローチャートの処理により、図５の基準画像５０１と参照画像５０３の画像間における順方向及び逆方向の画素毎の動き情報が算出される。これら順方向及び逆方向の画素毎の動き情報は、ＲＡＭ１０３に送られて一時的に記憶される。

＜オクルージョン情報算出処理＞
図３のフローチャートに説明を戻す。
図３のＳ３０２の処理は、オクルージョン情報算出部２０２において行われる。Ｓ３０２において、オクルージョン情報算出部２０２は、ＲＡＭ１０３に記憶されている順方向の動き情報及び逆方向の動き情報を用いて、対象画像間（基準画像５０１と参照画像５０３との間）における画素毎のオクルージョン情報を生成する。本実施形態の場合、オクルージョンとは、動体等の被写体と他の被写体とが交差等することで、前面側の被写体により後方側の被写体が隠されるようになる状態をいう。このため、本実施形態におけるオクルージョン情報は、対象画像の各画素にオクルージョンが生ずるかどうか、つまりオクルージョンの有無を表す情報となされる。

以下、図３のＳ３０２においてオクルージョン情報算出部２０２が行うオクルージョン情報算出処理の詳細について、図６及び図７（ａ）〜図７（ｆ）を用いて説明する。図６は図３のＳ３０２においてオクルージョン情報算出部２０２が行うオクルージョン情報算出処理の詳細なフローチャートであり、図７（ａ）〜図７（ｆ）は図６のＳ６０１及びＳ６０２の処理の説明に用いる図である。

図７（ａ）は、例えば動画の時間軸上で連続する複数のフレーム画像のうち、オクルージョン情報算出処理の対象となっている例えばＮ番目の対象画像（以下、Ｎ画像とする。）の一部を示した図である。図７（ｂ）は、Ｎ画像の次のＮ＋１番目の対象画像（以下、Ｎ＋１画像とする。）の一部を示した図である。また、図７（ａ）に示したＮ画像の中で、オクルージョン情報算出処理の対象となっている画素（以下、対象画素７０１とする。）は例えば座標（Ｘ，Ｙ）＝（１，２）の画素であるとする。そして、図７（ａ）のＮ画像の中の対象画素７０１は、次のＮ＋１画像の中では例えば座標（Ｘ，Ｙ）＝（３，２）の位置に移動したとする。

図７（ｃ）は、図７（ａ）に示したＮ画像を基準画像とし、図７（ｂ）に示したＮ＋１画像を参照画像として、図７（ａ）の対象画素７０１について算出した順方向の動き情報７１０の一例を示した図である。また、図７（ｄ）は、図７（ｃ）の例で算出された順方向の動き情報７１０を表す始点座標と終点座標（以下、第１の終点座標とする。）を示した図である。図７（ｃ）に示すように、図７（ａ）の対象画素７０１における順方向の動き情報７１０は、始点座標（１，２）から右方向に２画素分の移動を表すＸ：＋２，Ｙ：０になっている。すなわち、図７（ｃ）に示したように図７（ａ）の対象画素７０１における順方向の動き情報７１０はＸ：＋２，Ｙ：０であるため、図７（ｄ）に示すように順方向の動き情報７１０の第１の終点座標としては（Ｘ，Ｙ）＝（３，２）が算出される。

一方、図７（ｅ）は、図７（ｂ）に示したＮ＋１画素を基準画像とし、図７（ａ）に示したＮ画像を参照画像として、図７（ｂ）の対象画素７０１について算出した逆方向の動き情報７１１の一例を示した図である。また、図７（ｆ）は、図７（ｅ）の例で算出された逆方向の動き情報７１１を表す始点座標（つまり第１の終点座標）と終点座標（以下、第２の終点座標とする。）を示した図である。図７（ｅ）に示すように、図７（ｂ）の対象画素７０１における逆方向の動き情報７１１は、第１の終点座標（３，２）である始点座標から左方向に２画素分の移動を表すＸ：−２，Ｙ：０になっている。すなわち、図７（ｅ）に示したように図７（ｂ）の対象画素７０１における逆方向の動き情報７１１はＸ：−２，Ｙ：０であるため、図７（ｆ）に示すように逆方向の動き情報７１１の第２の終点座標としては（Ｘ，Ｙ）＝（１，２）が算出される。

前述した図７（ａ）〜図７（ｆ）の例を用いて図６のＳ６０１及びＳ６０２の処理を説明する。
図６のＳ６０１において、オクルージョン情報算出部２０２は、ＲＡＭ１０３に記憶されている順方向の動き情報を用いて、図７（ａ）の対象画素７０１における順方向の動き情報７１０が示す終点座標を第１の終点座標として算出する。前述の図７（ｃ）及び図７（ｄ）の例の場合、図７（ａ）の対象画素７０１の始点座標（１，２）に対応する動き情報７１０のＸ：＋２，Ｙ：０を基に、座標（３，２）が第１の終点座標として算出される。

次のＳ６０２において、オクルージョン情報算出部２０２は、ＲＡＭ１０３に記憶されている逆方向の動き情報７１１を用いて、図７（ｂ）の対象画素７０１における逆方向の動き情報７１１が示す終点座標を第２の終点座標として算出する。前述の図７（ｅ）及び図７（ｆ）の例の場合、図７（ｂ）の対象画素７０１の始点座標つまり第１の終点座標（３，２）に対応する逆方向の動き情報７１１のＸ：−２，Ｙ：０を基に、座標（１，２）が第２の終点座標として算出される。

次に、Ｓ６０３の処理として、オクルージョン情報算出部２０２は、順方向の動き情報７１０における始点座標位置（つまり図７（ａ）の対象画素７０１に対応した座標位置）と、逆方向の動き情報７１１における第２の終点座標位置との間の距離を算出する。具体的には、オクルージョン情報算出部２０２は、順方向の動き情報７１０における始点座標位置と逆方向の動き情報７１１における第２の終点座標位置との間のユークリッド距離を算出する。

次に、Ｓ６０４において、オクルージョン情報算出部２０２は、Ｓ６０３で算出した座標位置間の距離と所定の閾値とを比較し、それら座標位置間の距離が所定の閾値以上である場合、図７（ａ）の対象画素７０１はオクルージョン有の画素であると判定する。すなわち、オクルージョンが発生していない場合、順方向の動き情報は高い精度で検出でき、且つ逆方向の動き情報も高精度で検出可能であるため、逆方向の動き情報の第２の終点座標位置は、順方向の動き情報の始点座標位置と一致又は近傍になるはずである。これに対し、オクルージョンが発生している場合には、順方向の動き情報が正しく検出されないため第１の終点座標位置は正しく算出されず、これにより逆方向の動き情報の始点座標位置も正しくない位置となる。このため、オクルージョンが発生している場合には、逆方向の動き情報の終点座標位置である第２の終点座標位置は、順方向の動き情報の始点座標位置とは大きく異なる位置になり、それら座標位置間の距離が大きくなる。したがって、オクルージョン情報算出部２０２は、Ｓ６０３で算出した座標位置間の距離が所定の閾値以上である場合、図７（ａ）の対象画素７０１がオクルージョン有の画素であると判定する。一方、座標位置間の距離が所定の閾値未満である場合、オクルージョン情報算出部２０２は、図７（ａ）の対象画素７０１がオクルージョン無の画素であると判定する。このように、オクルージョン情報算出部２０２は、Ｓ６０４において、対象画素７０１についてオクルージョンが生ずる画素（オクルージョン有）、オクルージョンが生じない画素（オクルージョン無）であるかどうかを判定する。そして、オクルージョン情報算出部２０２は、対象画素７０１についてのオクルージョン有、オクルージョン無、を表すオクルージョン情報を生成する。

次のＳ６０５の処理として、オクルージョン情報算出部２０２は、対象画像の中の全画素についてオクルージョン情報を算出したか否かを判定する。オクルージョン情報算出部２０２は、Ｓ６０５において全ての画素のオクルージョン情報を算出していないと判定（Ｎｏ）した場合にはＳ６０１に処理を戻し、オクルージョン情報が算出されていない画素についてＳ６０１からＳ６０４の処理を行う。そして、オクルージョン情報算出部２０２は、Ｓ６０５において全ての画素のオクルージョン情報を算出したと判定（Ｙｅｓ）した場合には図６のフローチャートの処理を終了する。なお、オクルージョン情報算出部２０２は、全ての画素のオクルージョン情報を算出するのではなく、所定画素毎にオクルージョン情報を算出してもよい。前述のようにして全画素について算出されたオクルージョン情報は、ＲＡＭ１０３に送られて一時的に記憶される。

＜オクルージョン領域の動き情報推定処理＞
図３のフローチャートに説明を戻す。
図３のＳ３０３の処理は、動き情報推定部２０３により行われる。Ｓ３０３において、動き情報推定部２０３は、ＲＡＭ１０３に記憶されている順方向の動き情報及び逆方向の動き情報とオクルージョン情報とを用いて、オクルージョン領域の動き情報を推定する。オクルージョン領域とは、オクルージョン有となっている画素の領域である。そして、動き情報推定部２０３は、推定したオクルージョン領域の動き情報を画像補間処理部２０４に出力する。

以下、図３のＳ３０３において動き情報推定部２０３が行うオクルージョン領域の動き情報推定処理の詳細について、図８（ａ）〜図８（ｇ）を用いて説明する。
動画の時間軸上で連続する複数のフレーム画像のうち、図８（ｂ）はＮ番目の画像（Ｎ画像）の一部を、図８（ｃ）はＮ＋１番目の画像（Ｎ＋１画像）の一部を示し、図８（ａ）はＮ画像より時間的に前のＮ−１番目の画像（以下、Ｎ−１画像とする。）の一部を示している。また、図８（ａ）と図８（ｂ）の対象画素８０１は移動している被写体領域の画素を表し、一方、図８（ａ）〜図８（ｃ）の被写体領域８００は移動せず、且つ対象画素８０１の被写体領域よりも手前側に存在している被写体の画像領域を表しているとする。また、図８（ａ）と図８（ｂ）の対象画素８０１は時間の経過に伴い右側方向に移動しているため、図８（ｃ）のＮ＋１画像では、対象画素（８０１）が被写体領域８００の陰に隠れてしまい見えない状態（オクルージョン有）となっている。

図８（ｄ）は、ＲＡＭ１０３に記憶されている逆方向の動き情報のうち、Ｎ画像を基準画像とし、Ｎ−１画像を参照画像として、図８（ｂ）の対象画素８０１について算出された逆方向の動き情報８１０を表した図であるとする。図８（ａ）と図８（ｂ）に示したように、Ｎ−１画像とＮ画像では対象画素８０１が被写体領域８００に隠されていないため、図８（ｄ）に示すように逆方向の動き情報８１０は高い精度で算出できている。図８（ｄ）の場合、逆方向の動き情報８１０は、Ｘ：−１，Ｙ：０として算出されている。なお、図８（ｄ）では図示していないが、図８（ａ）と図８（ｂ）のＮ−１画像とＮ画像との間では順方向の動き情報についても算出可能である。

一方、図８（ｅ）は、ＲＡＭ１０３に記憶されている順方向の動き情報のうち、Ｎ画像を基準画像とし、Ｎ＋１画像を参照画像として、図８（ｂ）の対象画素８０１の動き情報を算出する場合の説明図である。ただし図８（ｃ）に示したように、Ｎ＋１画像では対象画素（８０１）が被写体領域８００の陰に隠れてしまっているため、図８（ｅ）に示すように順方向の動き情報は算出できないか、又は算出されたとしてもその動き情報は正しい情報ではない可能性が高い。すなわちこの場合、オクルージョン領域の動き情報は算出できないことになる。なお、図８（ｅ）では図示していないが、図８（ｂ）と図８（ｃ）のＮ画像とＮ＋１画像との間では逆方向の動き情報についても算出できないか、又は算出されたとしてもその動き情報は正しい情報ではない可能性が高い。

このため、動き情報推定部２０３は、対象画素（８０１）が被写体領域８００の陰に隠れてしまうオクルージョンが生じている場合、図８（ｆ）と図８（ｇ）に示すようにしてオクルージョン領域の動き情報を推定する。すなわち、動き情報推定部２０３は、対象画素（８０１）が被写体領域８００の陰に隠れてしまうオクルージョン領域であるため算出できない順方向の動き情報を、図８（ｄ）のように高い精度で算出されている逆方向の動き情報を基に推定する。具体的には、動き情報推定部２０３は、図８（ｂ）に示したＮ画像の対象画素８０１について正しく算出できている逆方向の動き情報を用い、その動き情報における方向（つまり符号）を反転させた動き情報を、オクルージョン領域の動き領域として推定する。図８（ｆ）は、図８（ａ）と図８（ｂ）の例ようにオクルージョンが生じていないために、図８（ｄ）のような正しい逆方向の動き情報８１０が算出されている対象画素８２０を表している。動き情報推定部２０３は、対象画素８２０において算出されている逆方向の動き情報８１０のＸ：−１，Ｙ：０の正負を反転させた情報、つまりＸ：−１の正負が反転されたＸ：＋１，Ｙ：０を、この対象画素８２０について推定した順方向の動き情報とする。これにより、図８（ｂ）のＮ画像の対象画素８０１について、図８（ｇ）に示すように、推定された順方向の動き情報８１１が得られることになる。このようにして、本実施形態の場合、動き情報推定部２０３は、被写体領域８００の陰に隠れてしまうオクルージョン領域の動き情報８１１を推定している。そして、オクルージョン領域の推定された順方向の動き情報は、ＲＡＭ１０３に送られて一時的に記憶される。

＜画像補間＞
図３のフローチャートに説明を戻す。
図３のＳ３０４の処理は、画像補間処理部２０４により行われる。Ｓ３０４において、画像補間処理部２０４は、記録部１０８から読み出した対象画像のデータと、ＲＡＭ１０３に記憶されている順方向の動き情報（Ｓ３０２で算出できた動き情報とＳ３０３で推定した動き情報）を用いて、対象画像間の補間画像を生成する。そして、画像補間処理部２０４は、画像補間処理後の画像データを出力する。

以下、図３のＳ３０４において画像補間処理部２０４が行う画像補間処理の詳細について、図９以降の各図を用いて説明する。
図９は、図３のＳ３０４において画像補間処理部２０４が行う画像補間処理の詳細なフローチャートである。図１０（ａ）〜図１０（ｅ）は図９のフローチャートの処理の説明に用いる図である。

図１０（ａ）は、例えば動画の時間軸上で連続する複数のフレーム画像のうち、画像補間処理の対象となっているＮ番目の画像（Ｎ画像）の一部を、図１０（ｂ）は、Ｎ画像の次のＮ＋１番目の画像（Ｎ＋１画像）の一部を示した図である。また、図１０（ａ）に示したＮ画像の中で画像補間処理の対象画素１００１は座標（１，２）の画素であり、その対象画素１００１は次のＮ＋１画像の中では図１０（ｂ）に示すように座標（３，２）の位置に移動したとする。

図１０（ｃ）は、前述したように手前側の被写体領域の陰に隠れて算出できなかった動き情報があった場合に、動き情報推定部２０３の推定処理が行われたことで算出された動き情報１０１０の一例を示した図である。図１０（ｃ）の場合、図１０（ａ）のＮ画像と図１０（ｂ）のＮ＋１画像を基に、座標（１，２）についてＸ：＋２，Ｙ：０の動き情報１０１０が推定（算出）されているとする。図１０（ｅ）は、図１０（ｃ）の推定された動き情報１０１０に対して後述するゲイン処理を施した補正後の動き情報１０３０を示した図である。図１０（ｅ）に示した補正後の動き情報１０３０は、図１０（ｄ）の補間画像内の対象画素１０２１を生成する際に用いられる動き情報となされる。図１０（ｄ）は、図１０（ａ）のＮ画像と図１０（ｂ）のＮ＋１画像を基に生成される補間画像の一部を表した図である。図１０（ｄ）の中の対象画素１０２１は、図１０（ｅ）に示した補正後の動き情報１０３０を用いて、図１０（ａ）と図１０（ｂ）の対象画素１００１の間を補間した画素として生成される補間画素を表している。

画像補間処理部２０４は、図９のＳ９０１において、画像補間処理の対象画像間を補間する補間画像の時間軸上の位置を決定する。図１０（ａ）と図１０（ｂ）の例において、Ｎ画像とＮ＋１画像の両対象画像間の時間間隔を「１」として表した場合、画像補間処理部２０４は、Ｎ画像から時間軸上で「１／２」時間間隔分だけ後の位置を、補間画像の時間位置として決定する。なお、図１０（ｄ）に示した補間画像は、Ｎ画像から時間軸上で「１／２」時間間隔分だけ後の位置の補間画像を表している。

次に、Ｓ９０２において、画像補間処理部２０４は、図３のＳ３０３で推定された動き情報に対して、Ｓ９０１で決定した補間画像の時間軸上の位置に対応したゲイン処理を行う。本実施形態の場合、Ｎ画像から時間軸上で「１／２」時間間隔分だけ後の位置が補間画像の時間位置とされており、補間画像の時間軸上の位置に対応したゲイン処理は、Ｓ３０３で推定された動き情報を１／２倍にするゲイン処理とする。推定された動き情報が図１０（ｃ）に示した始点座標（１，２）でＸ：＋２，Ｙ：０の動き情報１０１０である場合、ゲイン処理による補正後の動き情報は、図１０（ｅ）に示すように、始点座標（１，２）でＸ：＋１，Ｙ：０の動き情報１０３０となる。

次にＳ９０３において、画像補間処理部２０４は、図１１に示すように、対象画像１１１０の中の対象画素の座標（対象座標１１０１とする。）に対し、その座標の周辺で縦×横が共に画素数ＳＸの範囲を、探索範囲１１０２として設定する。そして、画像補間処理部２０４は、その探索範囲１１０２に含まれる複数の動き情報の中で、対象座標１１０１を終点座標とする動き情報を検出する。対象座標１１０１を終点座標とする動き情報は一つに限らず複数（つまり一つ以上）検出されることがある。なおここでは、画像補間処理部２０４は、探索範囲１１０２の中で、終点座標が対象座標１１０１と一致する動き情報を検出する例を挙げたが、これには限定されない。例えば画像補間処理部２０４は、終点座標が対象座標１１０１を中心とする所定座標範囲内に入っている動き情報を検出するようにしてもよい。この場合も、対象座標１１０１を中心とする所定座標範囲内に終点座標が入っている動き情報は一つ以上検出されることがある。

＜動き情報の優先度算出処理＞
次に、Ｓ９０４において、画像補間処理部２０４は、Ｓ９０３で検出した各動き情報について優先度を算出する。
以下、図９のＳ９０４において画像補間処理部２０４が行う動き情報の優先度算出処理の詳細について、図１２〜図１４の各図を用いて説明する。図１２は、図９のＳ９０４において画像補間処理部２０４が行う動き情報の優先度算出処理の詳細なフローチャートである。図１３（ａ）〜図１３（ｄ）は図１２のＳ１２０２において行われる動き情報の移動元座標と移動先座標の算出処理の説明図である。図１４は図１２の後述するＳ１２０４において行われる動き情報の優先度判定処理に用いられるテーブルの一例を示す図である。

図１３（ａ）は画像補間処理の対象となっている前述したＮ画像の一部、図１３（ｂ）はＮ画像の次のＮ＋１画像の一部を示した図である。また、図１３（ａ）に示したＮ画像の中で画像補間処理の対象画素１３０１は座標（１，２）の画素であり、その対象画素１３０１は次のＮ＋１画像の中では図１３（ｂ）に示すように座標（３，２）の位置に移動したとする。なお、図１３（ａ）、図１３（ｂ）、図１３（ｄ）の例では、撮影時に撮像装置１００がパンニング等されたことで、Ｎ画像とＮ＋１画像の間で画像全体の位置が１画素分だけ左方向に移動しているとする。

図１３（ｃ）は、Ｎ画像において、前述の図３のＳ３０３で推定され、さらに図９のＳ９０２で補正され、その後図９のＳ９０３で検出された、対象座標を終点座標とする動き情報を表した図である。ここで、図１３（ａ）と図１３（ｂ）に示したように、対象画素１３０１はＮ画像では座標（１，２）、Ｎ＋１画像では座標（３，２）の位置に移動している。一方、図１３（ｃ）に示すように、撮像装置１００のパンニング等により、Ｎ画像とＮ＋１画像の間では画像全体が１画素分だけ左側に移動しているため、対象画素１３０１以外の各座標における動き情報はＸ：−１，Ｙ：０となっている。すなわち、図１３（ｃ）に示した動き情報は、図１３（ａ）の対象画素１３０１に対応した座標（１，２）の動き情報がＸ：＋２，Ｙ：０となり、対象画素１３０１以外の各座標における動き情報がＸ：−１，Ｙ：０となっている。図１３（ｄ）は、図１３（ｃ）に示した動き情報を用いて後述するように算出された、対象画素の移動元座標１３２１と移動先座標１３２２を示した図である。

図１２のＳ１２０１において、画像補間処理部２０４は、図９のＳ９０３で検出された対象座標を終点とする、複数（一つ以上）の動き情報を取得する。
次に画像補間処理部２０４は、Ｓ１２０２において、Ｓ１２０１で取得した動き情報の移動元座標１３２１及び移動先座標１３２２を算出する。ここで、動き情報の移動元座標１３２１は、図１３（ａ）のＮ画像の中の対象画素１３０１の画素座標となされる。図１３（ａ）の例の場合、Ｎ画像中の対象画素１３０１の座標は（１，２）であるため、図１３（ｄ）に示すように移動元座標１３２１は、座標（１，２）となる。移動先座標１３２２は、図１３（ｂ）のＮ＋１画像の中の対象画素１３０１と同座標の、図１３（ａ）のＮ画像中の座標である。画像補間処理部２０４は、図１３（ｃ）に示すように移動元座標（１，２）における動き情報のＸ：＋２を基に終点座標（３，２）を算出する。このとき終点座標（３，２）で算出されている動き情報はＸ：−１，Ｙ：０となっているが、この動き情報のＸ：−１，Ｙ：０は、撮像装置１００がパンニング等されて画像全体が左側方向に移動したことにより算出された動き情報である。このため、画像補間処理部２０４は、終点座標（３，２）の動き情報Ｘ：−１，Ｙ：０については、パンニング等による画像全体の動き分を相殺するように例えば符号を反転させたＸ：＋１，Ｙ：０を基に、移動先座標として座標（４，２）を算出する。

次に、Ｓ１２０３において、画像補間処理部２０４は、Ｓ１２０２で算出した移動元座標１３２１及び移動先座標１３２２に対応するオクルージョンの有無を、図３のＳ３０２で算出したオクルージョン情報を用いて取得する。オクルージョン情報は、前述したようにオクルージョン有、オクルージョン無が画素毎に設定された情報であり、図１４に示すように、移動元座標１３２１及び移動先座標１３２２についてもそれぞれオクルージョンの有無が設定されている。

さらに、Ｓ１２０４において、画像補間処理部２０４は、Ｓ１２０３で算出した移動元座標１３２１及び移動先座標１３２２に対応するオクルージョンの有無を基に、図１４に示したテーブルを用いて動き情報の優先度を判定する。図１４のテーブルは、移動元座標及び移動先座標に対応するオクルージョンの有無と、優先度の高低を表す優先度１〜優先度４との対応関係を示している。例えば、移動元座標と移動先座標が共にオクルージョン無の場合は最も高い優先度１となされ、移動元座標がオクルージョン無で移動先座標がオクルージョン有の場合は優先度２となされている。また例えば、移動元座標がオクルージョン有で移動先座標がオクルージョン無の場合は優先度３となされ、移動元座標と移動先座標が共にオクルージョン有の場合は最も低い優先度４となされている。

Ｓ１２０４の後、画像補間処理部２０４は、Ｓ１２０５において、図９のＳ９０３で検出された全ての動き情報の優先度判定が完了したか否かを判定する。画像補間処理部２０４は、Ｓ１２０５において全ての動き情報の優先度判定が完了していないと判定（Ｎｏ）した場合にはＳ１２０２に処理を戻し、未判定の動き情報についてＳ１２０２からＳ１２０４の処理を行う。そして、画像補間処理部２０４は、Ｓ１２０５において全ての動き情報の優先度判定が完了したと判定（Ｙｅｓ）した場合には図１２のフローチャートの処理を終了する。画像補間処理部２０４は、以上説明したようにして優先度判定を行う。

図９のフローチャートに説明を戻す。
図９のＳ９０５において、画像補間処理部２０４は、Ｓ９０４で算出した、各動き情報の優先度に基づいて、各動き情報に重み付けを行う。例えば、画像補間処理部２０４は、優先度が最も高い優先度１の動き情報に対しては重みを１に設定し、それ以外の優先度２〜優先度４の動き情報に対しては重みを"０"に設定するような重み付けを行う。また、画像補間処理部２０４は、最も高い優先度１の動き情報が複数ある場合には、それら優先度１の複数の動き情報の重みの合計が"１"になるように、任意の数値の重みを設定してもよい。また、画像補間処理部２０４は、前述した動き情報の優先度に基づいて、１以上の動き情報を画像補間処理に用いるように、各動き情報に対する重み付けを行ってもよい。

次に、Ｓ９０６において、画像補間処理部２０４は、Ｓ９０５で重み付けした動き情報を用いて画素補間処理を行う。図１５（ａ）、図１５（ｂ）はそれぞれ画素補間処理の例を示す図である。図１５（ａ）は画素値Ｍ１の画素１５０４に対して重み"１"の動き情報１５０２を用い、画素値Ｍ２の画素１５０５に対して重み"０"の動き情報１５０３を用いて、画素補間処理１５０１による補間画素１５０６が生成される例を示している。図１５（ａ）は、例えば優先度が最も高い優先度１の動き情報に対して重みを１に設定し、それ以外の優先度２〜優先度４の動き情報に対して重みを"０"に設定した場合の一例である。図１５（ａ）の例の場合、補間画素１５０６は画素値Ｍ１の画素１５０４となり、この画素値Ｍ１の補間画素１５０６によって対象座標の画素補間が行われる。図１５（ｂ）は画素値Ｍ１の画素１５１０には重み"０．５"の動き情報１５０８を用い、画素値Ｍ２の画素１５１１には重み"０．５"の動き情報１５０９を用いて、画素補間処理１５０７により補間画素１５１２が生成される例を示している。図１５（ｂ）は、１以上の動き情報を画像補間処理に用いるように、各動き情報に対して重み付けを行う場合の一例である。図１５（ｂ）の例の場合、補間画素１５１２は画素値が（Ｍ１×０．５）＋（Ｍ２×０．５）の画素となり、この補間画素１５１２によって対象座標の画素補間が行われる。

次に、Ｓ９０７において、画像補間処理部２０４は、全ての対象座標の画素補間が完了したか否かを判定する。画像補間処理部２０４は、Ｓ９０７において全ての対象座標の画素補間が完了していないと判定（Ｎｏ）した場合にはＳ９０３に処理を戻し、画素補間が完了していない対象座標についてＳ９０３からＳ９０６の処理を行う。そして、画像補間処理部２０４は、Ｓ９０７において全ての対象座標の画素補間が完了したと判定（Ｙｅｓ）した場合には図９のフローチャートの処理を終了する。画像補間処理部２０４は、以上説明したようにして補間画像を生成する。

以上説明したように、本実施形態の撮像装置１００においては、動き情報とオクルージョン情報を基に動き情報に対する優先度を算出し、その優先度を基に重み付けした適切な動き情報を用いた画像補間処理を行う。これにより、本実施形態の撮像装置１００によれば、良好な画質の補間画像を生成することができる画像処理を実現可能となる。

なお、前述した実施形態では、画像処理の例として重み付けした動き情報を用いた画像補間処理を挙げたが、動き情報を用いる他の各種画像処理にも本発明は適用可能である。他の画像処理としては、例えばフィルター処理、位置合わせ処理、モーションブラー付与処理等を挙げることができる。

＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０７：画像処理部、１０８：記録部、２００：補間画像生成部、２０１：動き情報算出部、２０２：オクルージョン情報算出部、２０３：動き情報推定部、２０４：画像補間処理部

Claims (17)

1. 対象画像間の動き情報を取得する取得手段と、
   前記対象画像間のオクルージョン情報を生成する生成手段と、
   前記動き情報と前記オクルージョン情報とに基づいて前記動き情報の優先度を決定する決定手段と、
   前記優先度に基づいて重み付けした動き情報を用いて対象画像に所定の画像処理を行う処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記取得手段は、時間軸上で連続した二つの前記対象画像間の動き情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記対象画像間の相関値に基づき前記動き情報を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、
   第１の対象画像を基準画像とし、前記第１の対象画像に対して時間軸上で後の第２の対象画像を参照画像として、前記基準画像と参照画像を用いて前記対象画像間の第１の動き情報を算出し、
   第１の対象画像を参照画像とし、前記第１の対象画像に対して時間軸上で前の第２の対象画像を基準画像として、前記基準画像と参照画像を用いて前記対象画像間の第２の動き情報を算出し、
   前記第１の動き情報と前記第２の動き情報とに基づいて前記オクルージョン情報を生成することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記生成手段は、前記第１の動き情報に基づく始点座標と、前記第２の動き情報に基づく終点座標との間の距離が所定の閾値以上である場合にオクルージョンが生ずることを表すオクルージョン情報を生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記対象画像間でオクルージョンが生じている領域の動き情報を、前記オクルージョンが生じている前記対象画像間とは異なった対象画像間で取得された動き情報を用いて推定する推定手段を有することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記推定手段は、参照画像となされた対象画像に対して時間軸上で後の対象画像が基準画像となされて算出された動き情報の正負を反転させた情報を、前記オクルージョンが生じている領域の動き情報として算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記処理手段は、前記推定手段により推定されて前記優先度に基づく重み付けがなされた動き情報を用いて、前記対象画像に所定の画像処理を行うことを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記決定手段は、対象画像間の前記動き情報から算出した移動元座標と移動先座標に対応した前記オクルージョン情報に基づいて、前記動き情報の優先度を決定することを特徴とする請求項１から８の何れか１項に記載の画像処理装置。
10. 前記オクルージョン情報はオクルージョンが生ずるオクルージョン有とオクルージョンが生じないオクルージョン無とを表す情報であり、
    前記決定手段は、前記移動元座標と移動先座標とに対応した二つのオクルージョン情報が共にオクルージョン無である場合に最も高い優先度を決定することを特徴とする請求項９に記載の画像処理装置。
11. 前記決定手段は、前記移動元座標に対応したオクルージョン情報がオクルージョン無で前記移動先座標に対応したオクルージョン情報がオクルージョン有の場合、前記移動元座標に対応したオクルージョン情報がオクルージョン有で前記移動先座標に対応したオクルージョン情報がオクルージョン無の場合、前記移動元座標と移動先座標とに対応した二つのオクルージョン情報が共にオクルージョン有である場合の順に、低くなるように優先度を決定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記処理手段は、前記優先度が最も高い動き情報が複数ある場合には、前記複数の動き情報の重みの合計が所定の値になるように、前記複数の各動き情報に対する重みの値を設定することを特徴とする請求項１から１１の何れか１項に記載の画像処理装置。
13. 前記処理手段は、前記動き情報の優先度に基づいて１以上の動き情報を前記所定の画像処理に用いるように前記重み付けを行うことを特徴とする請求項１から１１の何れか１項に記載の画像処理装置。
14. 前記決定手段は、対象画像の中の対象座標を含む探索範囲の内で、前記対象座標を終点座標とする一つ以上の動き情報を検出し、前記検出した一つ以上の各動き情報に対して前記優先度を決定することを特徴とする請求項１から１３の何れか１項に記載の画像処理装置。
15. 前記処理手段は、前記所定の画像処理として前記対象画像間の補間画像を生成することを特徴とする請求項１から１４の何れか１項に記載の画像処理装置。
16. 対象画像間の動き情報を取得する取得工程と、
    前記対象画像間のオクルージョン情報を生成する生成工程と、
    前記動き情報と前記オクルージョン情報とに基づいて前記動き情報の優先度を決定する決定工程と、
    前記優先度に基づいて重み付けした動き情報を用いて対象画像に所定の画像処理を行う処理工程と、
    を有することを特徴とする画像処理装置の画像処理方法。
17. コンピュータを、請求項１から１５の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images