JP2021108035A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2021108035A JP2021108035A JP2019239379A JP2019239379A JP2021108035A JP 2021108035 A JP2021108035 A JP 2021108035A JP 2019239379 A JP2019239379 A JP 2019239379A JP 2019239379 A JP2019239379 A JP 2019239379A JP 2021108035 A JP2021108035 A JP 2021108035A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature points
- feature point
- feature
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims 3
- 239000013598 vector Substances 0.000 claims abstract description 119
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims description 87
- 230000007423 decrease Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 11
- 238000012546 transfer Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- MHABMANUFPZXEB-UHFFFAOYSA-N O-demethyl-aloesaponarin I Natural products O=C1C2=CC=CC(O)=C2C(=O)C2=C1C=C(O)C(C(O)=O)=C2C MHABMANUFPZXEB-UHFFFAOYSA-N 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
<第1の実施形態>
図1は、本発明の第1の実施形態に係る画像処理装置の一適用例としてのデジタルカメラの概略的な機能ブロック構成を示した図である。本実施形態のデジタルカメラは、左右の眼に対応した例えば広画角な2つの光学系によって撮像された、左右の眼に対応した視差を有する2つの視差画像のデータを取得可能な撮像装置(以下、ステレオカメラとする)であるとする。なお本実施形態では、2つの光学系が並列に並んでいる構成を例に挙げるが、これには限定されず、3つ以上の複数の光学系によって構成されていてもよい。
データ転送部105は、データ転送を行う複数のDMAC(Direct Memory Access Controller)で構成されている。なお、DMAはダイレクトメモリアクセス(Direct Memory Access)の略称である。DMAとはコンピュータシステム内でのデータ転送方式の一つであり、CPUを介さずに周辺機器やメインメモリ(RAM)などの間で直接データ転送を行う方式である。またDMACはDMAコントローラの略称である。DMAコントローラとは、メモリとメモリ、メモリとハードウェア間で直接データ転送を制御するコントローラである。
操作部113は、ユーザにより操作されるスイッチやボタン等を含み、電源のON/OFF、シャッタのON/OFF等の操作に使用される。
ここで、動きベクトルを検出する技術としては、動きベクトルの検出精度を向上させるために、特徴点を抽出し、抽出した特徴点にテンプレートブロックを配置する技術が知られている。ただし、画像全体で特徴点抽出を行うと、特徴点の分布は不均一になることが多い。そして、不均一な特徴点に基づいて得られた動きベクトルを、例えば手振れ補正のために使用すると、特徴点の集中した領域が主となる手振れ補正となってしまう。そこで、特徴点を均一に分布させるために、画像をグリッド状に分割して、特徴の大きさを表す特徴値を画素ごとに計算し、各グリッド内で特徴値が最も大きい画素を特徴点として抽出する技術がある。本実施形態の動きベクトル検出部121は、このようにして抽出した特徴点を中心とし、予め設定されたサイズの矩形領域状のサーチ領域及びテンプレート領域を用いたテンプレートマッチング処理を行う。
まず図3に示した、グリッド配置と特徴点、テンプレートマッチング領域の関係について説明する。動きベクトル検出部121は、図3に示すように、フレーム画像を複数のグリッドに分割する。各グリッドは、予め設定されたサイズの特徴点配置グリッド302及び周辺グリッド301(図3中のドット模様が付されたグリッド)として、水平,垂直方向にそれぞれ設定された個数分配置される。動きベクトル検出部121は、特徴点配置グリッド302毎に、特徴点303を一つ抽出する。図3の例は、開始座標が(Xs,Ys)で終了座標が(Xe,Ye)の特徴点配置グリッド302において、座標(x,y)で示された特徴点303が抽出された例を示している。周辺グリッド301は、各特徴点配置グリッド302からなる特徴点配置グリッド群の周囲に配置される。周辺グリッド301は、特徴点抽出は実施されないが、テンプレートマッチングで使用される領域である。動きベクトル検出部121は、現フレームである原画像から抽出した特徴点303の座標(x,y)を中心とし、前フレームの参照画像で予め決めたサイズの矩形領域のサーチ領域305及びテンプレート領域304を設定してテンプレートマッチング処理を行う。
ステップS401において、データ転送部105が具備する第1のRDDMAC221は、バス115を介して、DRAM107から動きベクトル検出対象となる現フレームの入力画像データ241を読み出す。なお、RDDMACは、メモリからハードウェアに直接データ読み出す制御を行うコントローラである。このとき読み出すデータ量は、図3に示されるように設定された特徴点配置グリッド302及び周辺グリッド301のサイズに応じたデータ量となされる。なお、入力画像データ241は、画像処理部104において各種画像処理が実施された後のデータである。第1のRDDMAC221によってグリッド単位で読み出された画像データ241は、マッチング用画像生成部201及び特徴点抽出部202に出力される。また、第1のRDDMAC221は、読み出したグリッドの座標位置を示すグリッド座標情報252を、後述する追跡先特徴点決定部205に出力する。ステップS401の処理後、動きベクトル検出部121は、ステップS402およびその次のステップS403の処理と、ステップS404の処理とを並行して実施する。
ここで、特徴点抽出部202における特徴点抽出処理について説明する。図5は、特徴点抽出部202の構成例を示したブロック図である。特徴点抽出部202は、特徴フィルタ部501、特徴評価部502、および特徴点決定部503を有して構成されている。
特徴評価部502は、まず、前述した水平微分フィルタによってフィルタ処理が施されたデータと、垂直微分フィルタによってフィルタ処理が施されたデータとを用いて、下記の式(1)に示す演算式により、自己相関行列Hを作成する。なお、式中のIxは水平微分フィルタを施した結果を表し、Iyは垂直微分フィルタを施した結果を表しており、式(1)は、ガウシアンフィルタGを畳み込んで自己相関行列Hを作成する演算式である。
特徴点決定部503は、グリッド毎に、特徴評価部502にてグリッド内の各画素について算出された特徴値の中で最も大きい値を持つ画素を、そのグリッド内の特徴点として決定する。本実施形態の場合、特徴点の情報は、グリッドの左上端を座標(0,0)とした相対座標(PX,PY)が用いられる。なお、その特徴点座標は、フレーム画像における絶対座標により表現されてもよい。そして、特徴点決定部503により決定された特徴点の情報(以下、特徴点座標情報とする)は、特徴点抽出部202が具備している内部メモリに格納される。この内部メモリは、前フレームから取得された各特徴点の情報と現フレームから取得された各特徴点座標情報とを格納できるだけの容量を有している。
追跡先特徴点決定部205は、特徴点抽出部202から送られてきた特徴点座標情報251を、追跡先特徴点座標情報257として、データ転送部105が具備している第2のRDDMAC222に出力する。
ここでは、第1の結像光学部101から取り込まれた画像を第1の画像と呼び、第2の結像光学部131から取り込まれた画像を第2の画像と呼ぶ。
特徴点反映部207は、特徴点抽出部202が第1の画像から抽出した特徴点を、第2の画像の特徴点に対して視差を加味するようにして反映する。視差をu、被写体までの距離をZ、第1の結像光学部101及び第2の結像光学部131の互いの距離である基線距離をd、それら光学部の焦点距離をfとすると、視差uは下記の式(3)で求められる。
追跡先特徴点決定部205は、特徴点反映部207から送られてきた特徴点座標情報259を、第2の画像における追跡先特徴点座標情報257として、データ転送部105が具備している第2のRDDMAC222に出力する。
なお、ステレオカメラから取り込まれた画像に対して、前述の特徴点反映処理による新規特徴点を算出する具体的な説明は後述する。
前述したようにそれぞれ並行して行われるステップS404とステップS403の処理後、動きベクトル検出部121は、ステップS405に処理を進める。
ステップS405に進むと、第2のRDDMAC222は、前述のようにして前フレームにおいて算出された追跡先特徴点座標情報257を中心とし、予め設定されたサイズの矩形領域のデータを読み出す。すなわち現フレームで生成されたマッチング用画像データ242からは、図3のサーチ領域305のデータが、一方、前フレームで生成されたマッチング用画像データ243からは、テンプレート領域304のデータが読み出される。そして、それら読み出されたサーチ領域画像データ253とテンプレート領域画像データ254は、マッチング処理部203へ送られる。ただし、最初のテンプレートマッチング処理では、前フレームから追跡先特徴点座標を算出することができないため、全て現フレームで算出された新規特徴点座標を用いた処理が実施される。ステップS405の後、動きベクトル検出部121の処理は、ステップS406に進む。
図6(b)は、低コントラスト判定において低コントラストと判定される例を示している。低コントラスト判定とは、相関値算出領域内が低コントラストであるか否かを判定する処理である。本実施形態における低コントラスト判定では、相関値算出領域内の相関値の最大値と最小値との差分が、予め設定されている所定の閾値よりも小さい場合に、相関値算出領域内は低コントラストであると判定される。図6(b)の場合、図6(a)と比べて、画素値の最大値と最小値との差が少なく、相関値算出領域内の相関値の最大値と最小値の差分も所定の閾値より小さいとする。したがって、図6(b)の場合、精度判定部204は、相関値算出領域内の相関値の最大値と最小値の差分が所定の閾値よりも小さいため、相関値算出領域内は低コントラストであると判定する。
ここで、図7は、追跡先特徴点決定部205における処理の流れを示すフローチャートである。以下、図7のフローチャートを参照しながら、追跡先特徴点決定部205における追跡先特徴点決定処理の概要を説明する。
図8は、手振れなどにより生ずるカメラの動きのうち、例えば第1の結像光学部101と第2の結像光学部131との間の中間点を軸とした軸回り方向(ロール方向)にカメラが回転する手振れが生じた場合の画像における動きベクトルの分布例を示す図である。なお、カメラの手振れには、一般的にはロール方向の他にもヨー方向やピッチ方向にカメラが動く成分も含まれるが図8ではそれらヨー方向やピッチ方向による動きベクトルは省略している。以下では、2つの結像光学部間の中間点での軸回り回転方向の手振れのみを例に挙げて説明する。
先ずステップS1201において、動きベクトル検出部121は、新しく特徴点を算出する領域が左眼画像であるのか右眼画像であるのかで処理を分ける。動きベクトル検出部121は、新しく特徴点を算出する領域が左眼画像である場合には左眼画像から特徴点を抽出する処理に進み、一方、新しく特徴点を算出する領域が右眼画像である場合には左眼画像から右目画像に特徴点を反映する処理に進む。
次に本発明の第2の実施形態に係る画像処理装置について説明する。なお、第2の実施形態に係る画像処理装置の構成は前述の図1、図2と同様であるためそれらの図示及び説明は省略する。また第2の実施形態の画像処理装置での処理も図3〜図12で説明したのと概ね同様であるが、第1の実施形態では左眼画像から右目画像に反映する特徴点数を固定していたのに対し、第2の実施形態の画像処理装置は特徴点数を時間的にダイナミックに制御する。
図13は、第2の実施形態の画像処理装置における特徴点数設定処理の流れを示すフローチャートである。
図14は、前述の図10の例と同様に、ステレオカメラから取り込まれた左眼画像1402及び右眼画像1403からなる画像データ1401に対する特徴点の分布の例を示す図である。なお図14には動きベクトルを表す矢印は図示していない。また図14は、図3と同様に特徴点配置グリッドや周辺グリッド等が表されている。図14の例では、左眼画像1402には特徴点が9点、右眼画像1403には特徴点が2点の、合計で特徴点が11点配置されている。
Claims (15)
- 複数の光学系による視差を有した複数の画像を取得する取得手段と、
前記画像から特徴点を抽出する抽出手段と、
前記複数の画像のうちの、第1の画像から前記抽出された特徴点を、第2の画像から前記抽出された特徴点に対して、前記視差を加味して反映する反映手段と、
前記特徴点を基に動きベクトルを検出する検出手段と、を有し、
前記検出手段は、前記第2の画像については前記第1の画像の特徴点が前記反映された特徴点を基に、前記動きベクトルの検出を行うことを特徴とする画像処理装置。 - 前記第1の画像の前記特徴点を基に検出された動きベクトルと、前記第2の画像の特徴点に前記第1の画像の特徴点が前記反映された特徴点を基に検出された動きベクトルとを用いて、前記複数の光学系による視差を有した前記複数の画像を撮像した撮像装置の回転方向の手振れを検出する手振れ検出手段を有することを特徴とする請求項1に記載の画像処理装置。
- 前記反映手段は、前記第1の画像の特徴点を前記反映する、前記第2の画像の特徴点の数を限定することを特徴とする請求項2に記載の画像処理装置。
- 前記反映手段は、前記検出手段が前記動きベクトルを検出する処理の速度に基づいて、前記限定する特徴点の数を決定することを特徴とする請求項3に記載の画像処理装置。
- 前記反映手段は、前記回転方向の手振れ検出の精度に基づいて、前記限定する特徴点の数を決定することを特徴とする請求項3に記載の画像処理装置。
- 前記反映手段は、前記第1の画像から前記抽出された特徴点のうち、前記撮像装置の回転方向の手振れ検出に適する特徴点を、前記第2の画像の特徴点に前記反映することを特徴とする請求項3から請求項5のいずれか1項に記載の画像処理装置。
- 前記画像から被写体を検出する被写体検出手段を有し、
前記反映手段は、前記第1の画像から前記抽出された特徴点のうち前記被写体の特徴点を、前記第2の画像の前記特徴点には反映しないことを特徴とする請求項1から請求項6のいずれか1項に記載の画像処理装置。 - 前記反映手段は、複数の領域に分割された前記第2の画像の各々の領域に対して優先順位を設定し、前記第1の画像から前記抽出した特徴点を、前記設定された領域ごとの優先順位に基づいて前記第2の画像の前記領域の特徴点に反映することを特徴とする請求項1から請求項7のいずれか1項に記載の画像処理装置。
- 前記反映手段は、前記第1の画像と前記第2の画像との中間点からの距離の大きい前記領域ほど高い優先順位を設定することを特徴とする請求項8に記載の画像処理装置。
- 前記反映手段は、前記第2の画像の中心から所定範囲内の領域に対して優先的に特徴点を反映することを特徴とする請求項8に記載の画像処理装置。
- 前記反映手段は、前記第2の画像における複数の特徴点の距離が均等に配置されるように前記特徴点を反映することを特徴とする請求項1から請求項10のいずれか1項に記載の画像処理装置。
- 前記反映手段は、前記回転方向の手振れが大きくなるほど前記第1の画像の特徴点を前記反映する前記第2の画像の特徴点の数を増やし、前記回転方向の手振れが小さいほど前記第1の画像の特徴点を前記反映する前記第2の画像の特徴点の数を減らすことを特徴とする請求項3から請求項6のいずれか1項に記載の画像処理装置。
- 前記検出手段は、時間軸上で連続する2枚の画像の一方を原画像とし、もう一方を参照画像として、前記特徴点を中心とする前記参照画像の矩形領域内と前記原画像の矩形領域内の画素値で相関値演算を行って前記動きベクトルを検出することを特徴とする請求項1から請求項12のいずれか1項に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
複数の光学系による視差を有した複数の画像を取得する取得工程と、
前記画像から特徴点を抽出する抽出工程と、
前記複数の画像のうちの、第1の画像から前記抽出された特徴点を、第2の画像から前記抽出された特徴点に対して、前記視差を加味して反映する反映工程と、
前記特徴点を基に動きベクトルを検出する検出工程と、を有し、
前記検出工程では、前記第2の画像については前記第1の画像の特徴点が前記反映された特徴点を基に、前記動きベクトルの検出を行うことを特徴とする画像処理方法。 - コンピュータを、請求項1から請求項13のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239379A JP2021108035A (ja) | 2019-12-27 | 2019-12-27 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239379A JP2021108035A (ja) | 2019-12-27 | 2019-12-27 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021108035A true JP2021108035A (ja) | 2021-07-29 |
Family
ID=76967943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019239379A Pending JP2021108035A (ja) | 2019-12-27 | 2019-12-27 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021108035A (ja) |
-
2019
- 2019-12-27 JP JP2019239379A patent/JP2021108035A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101956149B1 (ko) | 이미지 사이의 광학 흐름의 효율적 결정 | |
US9262807B2 (en) | Method and system for correcting a distorted input image | |
JP6577703B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
US10839529B2 (en) | Image processing apparatus and image processing method, and storage medium | |
US8922627B2 (en) | Image processing device, image processing method and imaging device | |
US9942477B2 (en) | Image processing apparatus and method | |
US11153479B2 (en) | Image processing apparatus, capable of detecting an amount of motion between images by tracking a point across one or more images, image capturing apparatus, image processing method, and storage medium | |
JP6576179B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US9270883B2 (en) | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
US10880457B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP2019020839A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7077115B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2021108035A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10084950B2 (en) | Image capturing apparatus | |
JP2016156702A (ja) | 撮像装置および撮像方法 | |
JP6351364B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2019192048A (ja) | 撮像装置 | |
JP2021107976A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6556033B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018072895A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6579934B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
JP6344903B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
WO2021075314A1 (ja) | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 | |
JP6915016B2 (ja) | 情報処理装置及び方法、情報処理システム、ならびにプログラム | |
JP2018098612A (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240606 |