JP2020134399A - 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】撮像画像内の被写体像に対応する被写体の速度を高精度に取得できる画像処理装置を提供する。【解決手段】画像処理装置１３において、追跡部１３２が、基準フレーム内の被写体像に対応する被写体像を含む対応フレームを撮像画像から選択する。距離取得部１３３が、基準フレームおよび対応フレームの各々について、撮像装置１と被写体との距離に関する距離情報を取得する。位置取得部１３４が、基準フレームおよび対応フレームの各々について被写体の位置に関する位置情報を取得し、距離情報と位置情報とを用いて基準フレームを基準とした被写体の３次元位置情報を取得する。速度取得部１３５が、対応フレームの各々に関する信頼度に基づいて選択された対応画像における３次元位置情報を用いて被写体の速度を取得する。【選択図】図１

Description

本発明は、被写体の速度を取得する画像処理装置、画像処理装置を備える撮像装置、画像処理方法、プログラム、および記憶媒体に関する。

撮影した被写体までの距離を検出し、撮影画像中の被写体像に対応する被写体の実際の移動速度を計測する電子カメラが提案されている（特許文献１）。また、距離センサで検出した被写体までの距離とジャイロセンサで検出したパンニング角度とに基づいて被写体の移動速度を求める撮像装置が提案されている（特許文献２）。

特開２００５−１５９６７４号公報 特開２００７−２２５５５０号公報

様々な物体が被写体となり得る上に、被写体を撮像する環境も多岐に亘る。そのため、被写体の運動の様子によっては、被写体の速度を精度良く取得することが困難である場合がある。例えば、被写体が低い速度でカメラに向かって移動しているような場合には、フレーム間における被写体の移動距離が短いので、取得した被写体速度の精度が低いことがある。

以上の事情に鑑み、本発明の目的は、撮像画像内の被写体像に対応する被写体の速度を高精度に取得できる画像処理装置、画像処理装置を備える撮像装置、画像処理方法、プログラム、および記憶媒体を提供することにある。

上記目的を達成するために、本発明の画像処理装置は、複数の撮像画像に含まれる基準画像内の被写体像に対応する被写体像を含む複数の対応画像を複数の前記撮像画像から選択する追跡部と、前記基準画像および前記対応画像の各々について、当該基準画像または当該対応画像を取得した取得装置と当該被写体像に対応する被写体との距離に関する距離情報を取得する距離取得部と、前記基準画像および前記対応画像の各々について前記被写体の位置に関する位置情報を取得し、前記距離情報と前記位置情報とを用いて前記基準画像を基準とした前記被写体の３次元位置情報を取得する位置取得部と、前記対応画像の各々に関する信頼度に基づいて選択された複数の前記対応画像における前記３次元位置情報を用いて前記被写体像に対応する被写体の速度を取得する速度取得部と、を備える。

本発明によれば、撮像画像内の被写体像に対応する被写体の速度を高精度に取得できる。

本発明の実施形態に係る画像処理装置を含む撮像装置のブロック図である。 本発明の実施形態に係る撮像素子の説明図である。 本発明の実施形態に係る速度取得処理を示すフローチャートである。 本発明の実施形態に係る表示部に表示される映像に関する説明図である。 本発明の実施形態に係る３次元位置再構成の説明図である。

以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される実施形態は本発明を実現可能な構成の一例に過ぎない。以下の実施形態は、本発明が適用される装置の構成や各種条件に応じて適宜修正または変更することが可能である。したがって、本発明の範囲は以下の実施形態に記載される構成によって限定されるものではない。

本実施形態の撮像装置１は、本発明に係る画像処理装置を含む。本実施形態の撮像装置１は、デジタルスチルカメラ、デジタルビデオカメラ、監視カメラ、工業用カメラ、医療用カメラ等の種々の電子カメラ装置に適用することが可能である。また、本実施形態の撮像装置１を、スマートフォン、タブレット端末等の撮像機能を有する種々の情報処理装置に適用することも可能である。

＜撮像装置の構成＞
図１は、本発明の実施形態に係る撮像装置１の構成を模式的に示すブロック図である。撮像装置１は、結像光学系１０、撮像素子１１、制御部１２、画像処理装置１３、記憶部１４、入力部１５、表示部１６、および通信部１７を有する。

結像光学系１０は、複数のレンズ群（不図示）を有する撮影レンズであって、被写体の像を撮像素子１１上に結像させる。結像光学系１０は、撮像装置１に対して着脱可能であってもよいし、撮像装置１と一体であってもよい。着脱可能である場合、結像光学系１０は撮像装置１が有する構成要素ではないと理解し得る。撮像素子１１から所定距離だけ離れた位置に結像光学系１０の射出瞳１０１が存在する。本明細書において、ｚ軸は、結像光学系１０の光軸１０２と平行の関係にある。また、ｘ軸およびｙ軸は、互いに直交すると共に、それぞれｚ軸および光軸に直交する。

撮像素子１１は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）等を含むイメージセンサであって、撮像面位相差測距方式（像面位相差方式）による測距機能を有する。撮像素子１１は、結像光学系１０を介して撮像素子１１上に結像した被写体像を光電変換することによって、被写体像に対応する画像信号を生成し出力する。

制御部１２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の素子を含む制御装置であって、撮像装置１の各部を制御する。制御部１２は、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、および画像の取込みに関する制御、並びに記憶部１４、入力部１５、表示部１６、および通信部１７に対する制御を行う。

画像処理装置１３は、画像処理に関する種々の処理を実行する論理回路である。画像処理装置１３は、画像生成部１３０、メモリ１３１、追跡部１３２、距離取得部１３３、位置取得部１３４、および速度取得部１３５を有する。画像生成部１３０は、撮像素子１１が出力する画像信号に対して、ノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの信号処理を実行して撮像画像（映像データ）を生成する。メモリ１３１は、画像生成部１３０が出力した撮像画像を蓄積する。追跡部１３２は、速度取得の対象である被写体像を含む複数の撮像画像を選択し、被写体像の画像上の位置を追跡する。距離取得部１３３は、測距機能を有する撮像装置１によって得られた撮像画像に写っている被写体像に対応する被写体と撮像装置１との距離に関する距離情報を、後述する視差量に基づいて取得（算出）する。位置取得部１３４は、撮像画像に写っている被写体像の位置に関する位置情報および撮像画像を取得したときの撮像装置１の位置および姿勢を示す運動情報を取得（算出）する。以上の運動情報は、撮像装置１が備える不図示のジャイロセンサおよび加速度センサから位置取得部１３４に供給されると好適である。以上の距離情報と位置情報と運動情報とは、対応する撮像画像と関連付けられてメモリ１３１に記憶されると好適である。また、位置取得部１３４は、以上の距離情報と位置情報と運動情報とに基づいて、各時刻における被写体像の３次元位置情報を取得（算出）する。速度取得部１３５は、後述する信頼度に基づいて選択された撮像画像の３次元位置情報を用いて被写体像に対応する被写体の速度を取得（算出）する。なお、画像処理装置１３は、上記した処理を実現するプログラムを格納したメモリと以上のプログラムを実行するＣＰＵとで構成されていてもよい。

記憶部１４は、フラッシュメモリ等の不揮発性の記憶媒体であって、撮像装置１にて取得された撮像画像（映像データ）、撮像情報、センサデータ、中間データ、撮像装置１で使用されるパラメータ等を記憶する。撮像情報は、撮像画像に関連付けられその撮像画像の撮像条件を示す情報である。記憶部１４は、高速に読取り／書込みが可能であると共に容量の大きい記憶媒体であることが好ましい。

入力部１５は、例えばダイヤル、ボタン、スイッチ等によって構成される操作インターフェイスであって、ユーザによる情報入力や設定変更に用いられる。表示部１６は、液晶ディスプレイや有機ＥＬディスプレイ等の表示手段であって、ユーザに対する情報、例えば、メモリ１３１に蓄積されている撮像画像、撮影時の構図、各種の設定画面、およびメッセージ情報等を表示する。なお、入力部１５と表示部１６とを兼ねるタッチパネルが採用されてもよい。

通信部１７は、有線または無線によって撮像装置１と他の装置とを接続する通信インターフェイスであって、撮像画像、被写体位置、被写体速度等の情報を他の装置と送受信することが可能である。

＜撮像素子の構成＞
図２は、本発明の実施形態に係る撮像面位相差測距方式に対応した撮像素子１１の説明図である。撮像素子１１は、ｘ軸方向およびｙ軸方向に亘って（すなわち、ｘｙ平面上に）配置された複数の画素を有する。図２（ａ）の画素断面図に示すように、各画素は、マイクロレンズ２０１、カラーフィルタ２０２、および１対の光電変換部２０３Ａ、２０３Ｂを有する。各画素には、カラーフィルタ２０２の波長帯域に応じたＲＧＢ（Red, Green, Blue）の分光特性が付与される。複数のカラーフィルタ２０２は、例えば、ベイヤー配列等の配色パターン（不図示）に従って配置されている。基板２０４内に形成される光電変換部２０３Ａ、２０３Ｂは、検出対象の波長帯域についての感度を有している。各画素には、不図示の配線が接続されている。各画素から出力された画素信号は、不図示の画素信号処理部に供給されて処理され、画像信号として撮像素子１１から出力される。なお、上記した複数の画素は、ｘｙ平面に配置されていなくてもよい。

図２（ｂ）は、光軸１０２と撮像素子１１との交点（中心像高）から見た結像光学系１０の射出瞳１０１を示す図である。射出瞳１０１は、相異なる瞳領域である第１瞳領域２１０と第２瞳領域２２０とに分割される。射出瞳１０１と各光電変換部２０３とは各マイクロレンズ２０１によって共役の関係にある。第１瞳領域２１０を主として通過した第１光束が光電変換部２０３Ａに入射し、第２瞳領域２２０を主として通過した第２光束が光電変換部２０３Ｂに入射する。光電変換部２０３Ａ，２０３Ｂは、それぞれ、入射した光束を光電変換してＡ画像（Ａ画像信号）およびＢ画像（Ｂ画像信号）を取得し、画像処理装置１３へと出力する。画像処理装置１３は、入力されたＡ画像およびＢ画像に対して種々の画像処理（画像生成、測距演算等）を実行し、実行結果を必要に応じて記憶部１４に記憶させる。画像処理装置１３は、Ａ画像とＢ画像とを加算して加算後の画像情報（撮像信号）を取得することができる。また、画像処理装置１３の距離取得部１３３は、以下のようにＡ画像とＢ画像との相関演算を実行してデフォーカス量ひいては被写体までの距離を取得（算出）することができる。

図２（ｂ）は、第１瞳領域２１０の重心位置（第１重心位置２１１）と第２瞳領域２２０の重心位置（第２重心位置２２１）とを示す。本実施形態において、第１重心位置２１１は、射出瞳１０１の中心から第１軸２００（ｘ軸）に沿って偏心（移動）している。一方、第２重心位置２２１は、射出瞳１０１の中心から第１軸２００に沿って第１重心位置２１１とは逆方向に偏心（移動）している。図２（ｂ）において、第１重心位置２１１と第２重心位置２２１とを結ぶ方向が瞳分割方向に相当し、第１重心位置２１１と第２重心位置２２１との距離（重心間距離）が基線長２２２に相当する。

Ａ画像およびＢ画像の位置は、デフォーカスによって瞳分割方向（本例ではｘ軸方向）に対してそれぞれ変化する。これらの画像間の相対的な位置変化量、すなわち、Ａ画像とＢ画像との視差（位相差）量は、デフォーカス量（ピントのズレ量）に応じた値を示す。以上の視差量は、Ａ画像およびＢ画像の局所領域同士の相関演算を所定領域内にて実行し、最も類似度の高い位置の差分に応じて算出される。相関値の算出方式としては、例えば、一般的に用いられるＳＡＤ（Sum of Absolute Difference）法やＳＳＤ（Sum of Squared Difference）法を採用し得る。以上のように算出された視差量は、基線長を用いた幾何学的関係（例えば、三角測量の原理）に基づいてデフォーカス量に換算できる。デフォーカス量は、結像光学系１０の結像関係に基づいて被写体距離に変換できる。なお、以上の視差量に対して、所定の変換係数を乗算することによってデフォーカス量または被写体距離を取得する構成が採用されてもよい。以上のように、撮像面位相差測距機能を有する撮像素子１１を用いて撮像装置１（注目画素）から被写体までの距離を取得することができる。

＜速度取得処理フロー＞
図３は、本実施形態における速度取得処理のフローチャートである。本実施形態の画像処理装置１３は、撮像装置１が撮影し記録した映像中の被写体の速度を以下のように取得（算出）する。

ステップＳ３０１において、撮像装置１のユーザが、入力部１５を操作して速度取得の対象である映像４０１を選択する。図４（ａ）に示すように、記憶部１４に記憶されている選択可能な映像４０１が、表示部１６の表示領域に３行３列に亘って表示されている。映像４０１は、例えば、撮像面測距機能を有する撮像装置１の撮像素子１１を用いて取得された動画ファイル（映像データ）であって、測距に用いられる撮像情報が関連付けられた複数の撮像画像（複数のフレーム）を含んでいる。なお、映像４０１は、動画に限定されず、例えば、時系列的に取得され相対取得時刻が明らかな複数の静止画像であってもよい。

ステップＳ３０２において、ステップＳ３０１にて選択された映像４０１から速度算出の対象（追跡対象）である被写体像が含まれる基準フレーム（基準画像）Ｆｂが選択される。より具体的には、ユーザが、図４（ｂ）に示すように表示部１６に表示された映像４０１を参照しながら入力部１５を操作して基準フレームＦｂを選択する。ユーザは、スクロールバー４０２を操作することで任意の時刻に対応するフレームＦを表示部１６に表示させることができる。被写体が撮像装置１に向かって移動している場合、撮像装置１のより近くに被写体が位置するフレームＦを基準フレームＦｂとして選択すると好適である。被写体が撮像画像において相対的に大きく表示されるからであり、また、測距精度が被写体までの距離に影響されるからである。測距精度は測距方式に応じて変化するものの、一般的に、測距された距離には被写体距離に対して数％程度の誤差が含まれる。

なお、ステップＳ３０２において、ユーザの選択によらずに、追跡部１３２が、撮像画像に関連付けられた撮像情報が示す撮像条件によって定まる測距精度に基づいて基準フレームＦｂを選択してもよい。測距精度に影響する撮像条件として、結像光学系１０の焦点距離、絞り値（Ｆ値）、被写体までの距離が例示される。以上の構成によれば、客観的なパラメータである撮像条件に基づいて、速度取得のために適切な基準フレームＦｂが選択され得る。

次いで、ユーザが、入力部１５を操作して速度取得の対象である基準フレームＦｂ内（基準画像内）の被写体像を特定する。ユーザは、例えば、被写体像を囲む矩形領域４０３を直接特定することで被写体像（被写体領域）を指定したり、被写体像上または近傍の一点を特定することで自動的に設定される矩形領域４０３によって被写体像（被写体領域）を指定したりできる。また、ユーザの選択によらずに、追跡部１３２が一般物体認識処理によって被写体像（被写体領域）を指定する構成も採用可能である。

ステップＳ３０３において、追跡部１３２が、ステップＳ３０２にて指定された被写体像を基準フレームＦｂの前後の時刻に亘る複数のフレームＦにおいて追跡する。具体的には、図４（ｃ）に示すように、追跡部１３２は、基準フレームＦｂ内の被写体像（被写体領域）をテンプレートとして用いたテンプレートマッチングによって、テンプレートとの類似度が所定閾値より高い領域を有するフレーム（撮像画像）Ｆを選択する。すなわち、追跡部１３２は、被写体像の類似度に基づいてフレームＦを選択する。以上の構成によれば、指定された被写体像に類似する画像領域を有するフレームＦが適切に選択される。以上のように選択されたフレームＦは、基準フレームＦｂ内の指定された被写体像に対応する被写体像を含むので、以後、「対応フレーム（対応画像）Ｆ」と称する場合がある。また、以降、基準フレームＦｂに対応する時刻よりも前の時刻の対応フレームＦを「対応フレームＦｓ」と称し、基準フレームＦｂに対応する時刻よりも後の時刻の対応フレームＦを「対応フレームＦｅ」と称する場合がある。追跡部１３２は、基準フレームＦｂの前後に対応フレームＦが検出されなくなると追跡処理を終了する。

ステップＳ３０４において、位置取得部１３４が、基準フレームＦｂにおける撮像装置１の撮像位置（基準撮像位置）を基準として、対応フレームＦｓから対応フレームＦｅに亘る被写体の３次元位置を再構成する。より具体的には以下の通りである。

距離取得部１３３が、基準フレームＦｂおよび対応フレームＦｓ〜Ｆｅの各々について、指定された被写体像に対応する被写体と撮像装置１との距離（被写体距離）に関する距離情報を取得（算出）する。距離取得部１３３は、被写体領域（図４（ｂ）の矩形領域４０３）に相当する各画素について、図２を参照して前述した手法に基づいて距離を算出し、算出された複数の距離に関する統計値（中央値、平均値等）を被写体の代表距離として取得すると好適である。

位置取得部１３４が、基準フレームＦｂおよび対応フレームＦｓ〜Ｆｅの各々について、被写体領域である矩形領域４０３の中心を指定された被写体の位置に関する位置情報である代表位置として取得（算出）する。そして、以上の各フレームＦｓ〜Ｆｅについて被写体の代表３次元位置（Ｘｉ，Ｙｉ，Ｚｉ）（ｉ＝Ｆｓ〜Ｆｅ）を求める。

次いで、位置取得部１３４が、基準フレームＦｂを撮像した際の撮像装置１の撮像位置（基準撮像位置）に対する各フレームＦｓ〜Ｆｅの運動情報を取得する。運動情報は、基準撮像位置に対する撮像装置１の撮像位置の位置および姿勢の変化を示す情報である。位置取得部１３４は、メモリ１３１に記憶されている、各フレームＦｓ〜Ｆｅに関連付けられたジャイロセンサおよび加速度センサからの出力情報に基づいて、運動情報を示す回転Ｒ（例えば、回転行列）および並進Ｔ（例えば、並進ベクトル）を求める。そして、位置取得部１３４が、各フレームＦｓ〜Ｆｅの被写体の代表３次元位置を、基準フレームＦｂからの撮像装置１の位置および姿勢の変化の逆演算であるＲ^−１とＴ^−１とを適用して、基準フレームＦｂを基準とする３次元座標系に変換する。

図５は、ステップＳ３０４の３次元位置再構成の説明図である。図５（ａ）の左列は、時刻ｔ１〜ｔ４において撮像装置１が被写体を撮像している様子を示し、右列は、時刻ｔ１〜ｔ４において撮像された撮像画像を示す。本例では、撮像装置１と被写体との距離が最も近い時刻ｔ３のフレームＦが基準フレームＦｂとして選択されている。対応フレームＦｓ〜Ｆｅ（時刻ｔ１，ｔ２，ｔ４に相当）は追跡部１３２が被写体を追跡し得たフレームＦである。図５（ｂ）は、位置取得部１３４が、対応フレームＦｓ〜Ｆｅについて取得された代表距離と変換後の代表３次元位置とに基づいて、基準フレームＦｂを基準として再構成した被写体の３次元位置を示す。図５（ｂ）は、再構成された被写体の３次元位置を上方から俯瞰した図である。また、図５（ｂ）は、基準フレームＦｂおよび対応フレームＦｓ〜Ｆｅ（すなわち、時刻ｔ１〜ｔ４）における被写体の３次元位置と、他の時刻の対応フレームＦにおける被写体の３次元位置とで示される移動軌跡を示している。

ステップＳ３０５，Ｓ３０６において、速度取得部１３５が、被写体の速度の取得に用いる対応フレームＦを信頼度Ｃに基づいて選択し、選択した対応フレームＦにおける被写体の３次元位置情報に基づいて被写体の速度を取得（算出）する。被写体距離や撮像条件に関するパラメータである信頼度Ｃの例を以下に説明する。

信頼度Ｃの第１の例は、判断対象である対応フレームＦ（以下、対象フレームＦａと称する）における被写体距離（すなわち、撮像装置１と被写体との距離）Ｄａと基準フレームＦｂにおける被写体距離Ｄｂとの差分値Ｄｆ（Ｄｆ＝｜Ｄａ−Ｄｂ｜）である。速度取得部１３５は、閾値δ１（第１閾値）を上回る差分値Ｄｆ（Ｄｆ＞δ１）を示す対象フレームＦａ、を被写体の速度の取得に用いるべき対応フレームＦとして選択する。閾値δ１は距離分解能であって、撮像条件および被写体距離によって定まる値である。以上の構成によれば、基準フレームＦｂに対して距離分解能以下の位置にある被写体像を含む対応フレームＦに基づいて精度の低い被写体速度が取得されることが抑制される。なお、本例の差分値Ｄｆは、特定の方向（例えば、Ｘ方向、Ｙ方向、Ｚ方向のいずれか）における被写体距離Ｄの差分値であってもよいし、３次元的に算出された被写体距離Ｄの差分値であってもよい。

信頼度Ｃの第２の例は、対象フレームＦａの運動情報によって示される変化量Ｖである。撮像装置１の位置および姿勢の変化が大きいほど、変化量Ｖも増大する。変化量Ｖは、回転Ｒによって示されてもよく、並進Ｔによって示されてもよく、回転Ｒと並進Ｔとに基づいて得られる総合的な変化値によって示されてもよい。速度取得部１３５は、閾値δ２（第２閾値）を下回る変化量Ｖ（Ｖ＜δ２）を示す対象フレームＦａを、被写体の速度の取得に用いるべき対応フレームＦとして選択する。以上の構成によれば、撮像装置１が不連続的または急激に動いた時点（すなわち、被写体が相対的に速く動いた時点）の対応フレームＦに基づいて精度の低い被写体速度が取得されることが抑制される。

速度取得部１３５は、ステップＳ３０５，Ｓ３０６のループを繰り返すことによって、各対応フレームＦｓ〜Ｆｅに対しての選択処理および速度取得処理を実行する。すなわち、未処理の対応フレームＦｓ〜Ｆｅが存在している場合（ステップＳ３０６：Ｎｏ）、ステップＳ３０５の処理が繰り返し実行されて各対応フレームＦｓ〜Ｆｅについての速度取得が実行される。全ての対応フレームＦｓ〜ＦｅについてステップＳ３０５の処理が終了すると（ステップＳ３０６：Ｙｅｓ）、ステップＳ３０７が実行される。

ステップＳ３０７において、速度取得部１３５は、ステップＳ３０５，Ｓ３０６において速度取得の対象として選択されなかった対応フレームＦにおける被写体速度を、被写体の速度が取得された対応フレームＦに基づく補完処理によって取得する。

なお、ステップＳ３０５〜Ｓ３０７によって取得された各対応フレームＦにおける被写体速度は、速度取得部１３５がメタデータとして映像データ内に記録すると好適である。また、表示部１６が映像４０１を表示する際に、各対応フレームＦにおける被写体速度がその対応フレームＦ内の被写体像の近傍に表示されると好適である。

以上に説明したように、測距機能を有する撮像装置１が取得した被写体像を含む映像データ（複数のフレームＦ）から取得した被写体距離と被写体の３次元位置とに基づいて、被写体速度を精度よく取得（算出）することが可能である。また、以上の実施形態では、信頼度Ｃが低いフレーム（撮像画像）を被写体速度の取得に用いないので、取得される被写体速度がより高精度となる。

さらに、以上の構成においては、撮像装置１の位置および姿勢を示す運動情報に基づいて被写体の３次元位置を取得（算出）する。したがって、撮像装置１を移動させながら取得した映像データ（例えば、被写体像が画面の略中央に位置し続けるような観賞用の映像データ）からも、被写体速度を精度よく取得（算出）することが可能である。

＜変形例＞
以上の各実施形態は多様に変形される。具体的な変形の態様を以下に例示する。以上の実施形態および以下の例示から任意に選択された２以上の態様は、相互に矛盾しない限り適宜に併合され得る。

上記した実施形態は、撮像装置１を移動させながら取得した観賞用の映像データに対しても被写体速度を精度よく取得するという課題を、撮像装置１の位置および姿勢を示す運動情報に基づいて被写体の３次元位置を取得するという構成によって解決している。しかしながら、位置および姿勢の変化が少ない撮像装置１（例えば、監視カメラ）においては、以上の課題は存在しないので、運動情報を用いずに被写体の３次元情報（ひいては被写体速度）が取得されてもよい。本変形例の構成によれば、位置取得部１３４が運動情報を取得しなくてよいので、画像処理装置１３の構成をより簡素にすることができる。

上記した実施形態においては、撮像装置１によって取得された映像（撮像画像）を撮像装置１に含まれる画像処理装置１３が処理することによって被写体速度が取得される。しかしながら、画像処理装置１３が撮像装置１から独立した別個の装置であってもよい。すなわち、独立した画像処理装置１３が、他の取得装置によって取得された映像（撮像画像）を上記のように処理して被写体速度を取得してもよい。

画像処理装置１３は、任意の映像（撮像画像）に対して上記した速度取得処理を実行することができる。例えば、撮像装置１に記憶された映像に対して上記処理を実行してもよいし、撮像装置１に記憶される前の映像に対して上記処理を実行することもできる。

画像処理装置１３の各機能ブロックは、算術的な演算によって各値（距離、位置、運動情報、３次元位置、速度等）を算出してもよいし、入力と出力とを予め関連付けて記憶したテーブル等のデータセットを参照することによって各値を取得してもよい。

上記した実施形態においては、位置取得部１３４が各対応フレームＦについて取得した被写体の３次元位置に基づいて、速度取得部１３５が被写体速度を取得している。本変形例の速度取得部１３５は、図５（ｃ）に示すように、被写体の３次元位置によって示される被写体の移動軌跡を平滑化し、平滑化後の移動軌跡を用いて被写体の速度を取得することができる。以上の平滑化処理は、例えば、移動平均処理やスプライン処理によって実現される。本変形例の構成によれば、被写体の３次元位置の誤差や変動を低減できるので、被写体速度をより精度よく取得することが可能である。

上記した実施形態においては、被写体の３次元位置に基づいて被写体速度が算定されている。しかしながら、図５（ａ）のように被写体が撮像装置１に対して平面的に移動する映像については、図５（ｂ），（ｃ）のような上から俯瞰したような座標系、すなわち、地上からの高さを省略した座標系で速度を算出してもよい。換言すると、速度取得部１３５は、被写体の３次元位置情報が示す３次元位置を２次元平面上にマッピングし、マッピング後の２次元位置に基づいて被写体の速度を取得してもよい。上記のマッピングは、省略したい次元のデータを用いないことによって実現されてもよいし、被写体の３次元位置をマッピングすべき２次元平面を求め、その２次元平面に対する被写体の３次元位置の投影によって実現されてもよい。以上の構成によれば、主たる移動方向でない次元が省略された座標系にて被写体速度を取得するので、被写体位置の誤差を抑制でき、ひいては速度取得の精度を向上させることが可能である。また、３次元演算の処理量が低減されるので、画像処理装置１３における処理負荷の低減も図られる。

以上の２次元平面へのマッピングは、ユーザからの指定に基づいて実行されてもよいし、速度取得部１３５による判定に基づいて実行されてもよい。例えば、速度取得部１３５が、対応フレームＦｓ〜Ｆｅにおける３次元位置のうち１つの次元（例えば、鉛直方向の次元）における変動量Ｆｌが閾値δ３（第３閾値）を下回る（Ｆｌ＜δ３）か否かを判定する。そして、変動量Ｆｌが閾値δ３を下回る場合、速度取得部１３５が、その１つの次元以外の２つの次元に相当する２次元平面（例えば、前後左右平面）上にマッピングを実行すると好適である。以上の構成によれば、２次元平面へのマッピングの要否が自動的に判定されるので、ユーザの利便性が向上する。

他に、速度取得部１３５が、基準フレームＦｂ内の被写体像にパターン認識を実行してもよい。速度取得部１３５は、パターン認識によって被写体像が分類された物体種別（カテゴリ）が平面上を移動する可能性の高い物体（例えば、「人間」「自動車」）を示す特定カテゴリに相当する場合に、上記したマッピングを実行すると好適である。種々の手法を、以上のパターン認識に適用可能である。例えば、速度取得部１３５は、上記した特定カテゴリに属する学習データ（特定カテゴリがラベル付けされた学習データ）をニューラルネットワークに入力して学習させた学習済みモデルを用いて、被写体像に対するパターン認識を実行しても良い。以上の構成によれば、３次元位置とは異なる被写体自体の性質に基づいてマッピングの要否を判定することが可能である。

被写体像は、複数のフレームＦにおいて写り方が変化し得る。したがって、ステップＳ３０３において、テンプレートマッチングの最中に類似度が相対的に低下した場合に、追跡部１３２が、マッチングされた被写体像を新たなテンプレートとして用いて（すなわち、テンプレートを更新して）更新処理を継続してもよい。他に、追跡部１３２が、一般物体認識処理または深層学習によるパターン認識処理によって検出したフレームＦ内の検出物体像と基準フレームＦｂのテンプレートとの類似性に基づいて追跡処理を実行してもよい。

上記した実施形態のステップＳ３０４で、距離取得部１３３が、矩形領域４０３の一部、例えば、中心点を含む一部領域、所定間隔をおいて連続する複数領域、端部に位置するエッジ領域を選択し、選択した領域に相当する画素から代表距離を求めてもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。以上の記憶媒体は、コンピュータ読み取り可能な記憶媒体である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮像装置（取得装置）
１０ 結像光学系
１１ 撮像素子
１２ 制御部
１３ 画像処理装置
１３０ 画像生成部
１３２ 追跡部
１３３ 距離取得部
１３４ 位置取得部
１３５ 速度取得部

Claims (14)

1. 複数の撮像画像に含まれる基準画像内の被写体像に対応する被写体像を含む複数の対応画像を複数の前記撮像画像から選択する追跡部と、
   前記基準画像および前記対応画像の各々について、当該基準画像または当該対応画像を取得した取得装置と当該被写体像に対応する被写体との距離に関する距離情報を取得する距離取得部と、
   前記基準画像および前記対応画像の各々について前記被写体の位置に関する位置情報を取得し、前記距離情報と前記位置情報とを用いて前記基準画像を基準とした前記被写体の３次元位置情報を取得する位置取得部と、
   前記対応画像の各々に関する信頼度に基づいて選択された複数の前記対応画像における前記３次元位置情報を用いて前記被写体像に対応する被写体の速度を取得する速度取得部と、を備えることを特徴とする画像処理装置。
2. 前記信頼度は、複数の前記対応画像の各々における前記取得装置と前記被写体との距離と、前記基準画像における前記取得装置と前記被写体との距離との差分値であり、
   前記速度取得部は、前記差分値が第１閾値を上回る前記対応画像を選択する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記位置取得部は、複数の前記対応画像の各々について前記取得装置の位置および姿勢を示す運動情報を取得し、前記距離情報と前記位置情報と前記運動情報とを用いて前記基準画像を基準とした前記被写体の３次元位置情報を取得する、ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記信頼度は、前記運動情報によって示される変化量であり、
   前記速度取得部は、前記変化量が第２閾値を下回る前記対応画像を選択する、ことを特徴とする請求項３に記載の画像処理装置。
5. 前記速度取得部は、前記被写体の３次元位置情報によって示される前記被写体の移動軌跡を平滑化し、平滑化後の前記移動軌跡を用いて前記被写体の速度を取得する、ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記速度取得部は、前記被写体の３次元位置情報が示す３次元位置を２次元平面上にマッピングし、マッピング後の２次元位置に基づいて前記被写体の速度を取得する、ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記速度取得部は、複数の前記対応画像における前記３次元位置のうち１つの次元における変動量が第３閾値を下回る場合、当該１つの次元以外の２つの次元に相当する前記２次元平面上に前記マッピングを実行する、ことを特徴とする請求項６に記載の画像処理装置。
8. 前記速度取得部は、前記基準画像内の前記被写体像に対するパターン認識によって分類された物体種別が特定のカテゴリに相当する場合に、前記２次元平面に対する前記マッピングを実行する、ことを特徴とする請求項６に記載の画像処理装置。
9. 前記追跡部は、前記撮像画像に付与された撮像情報が示す焦点距離、絞り値、および前記被写体までの距離の少なくともいずれかに基づいて前記基準画像を選択する、ことを特徴とする請求項１から請求項８のいずれか１項に記載の画像処理装置。
10. 前記追跡部は、複数の前記撮像画像に含まれる前記被写体像の類似度に基づいて複数の前記撮像画像から前記対応画像を選択する、ことを特徴とする請求項１から請求項９のいずれか１項に記載の画像処理装置。
11. 請求項１から請求項１０のいずれか１項に記載の画像処理装置を備える撮像装置であって、
    前記被写体像に対応する画像信号を出力する撮像素子を備え、
    前記画像処理装置は、前記画像信号に対して信号処理を実行して前記撮像画像を取得する、ことを特徴とする撮像装置。
12. 複数の撮像画像に含まれる基準画像内の被写体像に対応する被写体像を含む複数の対応画像を複数の前記撮像画像から選択する工程と、
    前記基準画像および前記対応画像の各々について、当該基準画像または当該対応画像を取得した取得装置と当該被写体像に対応する被写体との距離に関する距離情報を取得する工程と、
    前記基準画像および前記対応画像の各々について前記被写体の位置に関する位置情報を取得し、前記距離情報と前記位置情報とを用いて前記基準画像を基準とした前記被写体の３次元位置情報を取得する工程と、
    前記対応画像の各々に関する信頼度に基づいて選択された複数の前記対応画像における前記３次元位置情報を用いて前記被写体像に対応する被写体の速度を取得する工程と、を備えることを特徴とする画像処理方法。
13. 複数の撮像画像に含まれる基準画像内の被写体像に対応する被写体像を含む複数の対応画像を複数の前記撮像画像から選択する工程と、
    前記基準画像および前記対応画像の各々について、当該基準画像または当該対応画像を取得した取得装置と当該被写体像に対応する被写体との距離に関する距離情報を取得する工程と、
    前記基準画像および前記対応画像の各々について前記被写体の位置に関する位置情報を取得し、前記距離情報と前記位置情報とを用いて前記基準画像を基準とした前記被写体の３次元位置情報を取得する工程と、
    前記対応画像の各々に関する信頼度に基づいて選択された複数の前記対応画像における前記３次元位置情報を用いて前記被写体像に対応する被写体の速度を取得する工程と、を備える画像処理方法をコンピュータに実行させる、ことを特徴とするプログラム。
14. 複数の撮像画像に含まれる基準画像内の被写体像に対応する被写体像を含む複数の対応画像を複数の前記撮像画像から選択する工程と、
    前記基準画像および前記対応画像の各々について、当該基準画像または当該対応画像を取得した取得装置と当該被写体像に対応する被写体との距離に関する距離情報を取得する工程と、
    前記基準画像および前記対応画像の各々について前記被写体の位置に関する位置情報を取得し、前記距離情報と前記位置情報とを用いて前記基準画像を基準とした前記被写体の３次元位置情報を取得する工程と、
    前記対応画像の各々に関する信頼度に基づいて選択された複数の前記対応画像における前記３次元位置情報を用いて前記被写体像に対応する被写体の速度を取得する工程と、を備える画像処理方法をコンピュータに実行させるプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images