JP2015111811A - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP2015111811A JP2015111811A JP2014161862A JP2014161862A JP2015111811A JP 2015111811 A JP2015111811 A JP 2015111811A JP 2014161862 A JP2014161862 A JP 2014161862A JP 2014161862 A JP2014161862 A JP 2014161862A JP 2015111811 A JP2015111811 A JP 2015111811A
- Authority
- JP
- Japan
- Prior art keywords
- correlation
- image
- motion vector
- value
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 複数の画像間の相関値を、相対的な位置ごとに算出する。算出した相関値に基づいて、複数の画像間の動きベクトルを検出する。相関値のうち最も相関が高いことを示す値と、最も相関が高いことを示す値が得られた位置から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて、動きベクトルの信頼性を判定する。
【選択図】 図1
Description
以下、添付図面を参照して、本発明の例示的な実施形態について説明する。なお、ここでは、本発明に係る画像処理装置を撮像装置に適用した実施形態について説明する。しかし、本発明には撮影に係る構成は不要であり、動きを検出するための画像を取得可能な任意の電子機器において実施可能である。このような電子機器には、撮像装置や撮像装置を備えた機器はもちろん、コンピュータ機器、ゲーム機、携帯電話機、タブレット端末、ロボットなど、様々な機器が含まれる。
苦手領域判定部109は、近傍領域の外側に存在する複数の相関値のピークの位置が等間隔であると判定された場合には、そうでないと判定された場合に比べ、該当するテンプレートブロックから得られる動きベクトルを、より小さい重みで使用することができる。
次に、本発明の第2の実施形態について説明する。本実施形態では、動きベクトル検出のために原画像に設定された複数のテンプレートブロックに対して個別に近傍領域を設定することで、苦手領域判定の精度を向上させることを特徴とする。
図9はテンプレートブロックの配置例を模式的に示す図である。ここでは、画面中央に人物や花などの主被写体1001が存在し、光学系101は主被写体に合焦しているものとする。一方、背景1002は例えば絞りを開放にして撮影した場合にはボケる領域となる。また、テンプレートブロックが画面横方向に4箇所、縦方向に3箇所、ほぼ均等な間隔で設定されている。
なお、上述の実施形態においては、メモリ104に記憶された(過去の)画像を原画像、現像処理部103が出力する(現在の)画像を参照画像とする場合について説明したが、原画像と参照画像を逆にしてもよい。この場合、現在の画像に設定されたテンプレートブロックが、過去の画像のどこから移動してきたかが探索されることになり、動きベクトルの終点から始点を検出する処理となる。
Claims (16)
- 複数の画像を取得する取得手段と、
前記複数の画像間の相関値を、相対的な位置ごとに算出する算出手段と、
前記相関値に基づいて、前記複数の画像間の動きベクトルを検出する検出手段と、
前記動きベクトルの信頼性を判定する判定手段とを有し、
前記判定手段は、前記相関値のうち最も相関が高いことを示す値と、最も相関が高いことを示す値が得られた位置から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて前記信頼性を判定することを特徴とする画像処理装置。 - 前記判定手段は、前記相関値のうち最も相関が高いことを示す値が得られた位置から前記予め定められた距離以上離れた位置で得られた相関値のうち、前記最も相関が高いことを示す値との差が予め定められた閾値以下である相関値の数に基づいて前記信頼性を判定することを特徴とする請求項1記載の画像処理装置。
- 前記判定手段は、前記相関値のうち最も相関が高いことを示す値が得られた位置から前記予め定められた距離以上離れた位置で得られた相関値のうち、前記最も相関が高いことを示す値との差が予め定められた閾値以下である相関値が予め定められた数以上存在する場合、前記動きベクトルの信頼性が低いと判定することを特徴とする請求項1または2に記載の画像処理装置。
- 前記予め定められた距離を、前記複数の画像のいずれかの撮影パラメータおよび前記複数の画像のいずれかの解析結果の少なくとも一方に応じて決定する決定手段をさらに有することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記撮影パラメータとして、シャッタースピード、絞り値、装置の動き情報の1つ以上に基づいて前記予め定められた距離を決定することを特徴とする請求項4に記載の画像処理装置。
- 前記決定手段は、シャッタースピードが遅いほど前記予め定められた距離を長くすることを特徴とする請求項5に記載の画像処理装置。
- 前記決定手段は、絞り値が小さいほど前記予め定められた距離を長くすることを特徴とする請求項5に記載の画像処理装置。
- 前記決定手段は、前記装置の動き情報が表す動き量が大きいほど前記予め定められた距離を長くすることを特徴とする請求項5に記載の画像処理装置。
- 前記決定手段は、前記解析結果として、画像の合焦度合いまたは画像の鮮鋭度に基づいて前記予め定められた距離を決定することを特徴とする請求項4に記載の画像処理装置。
- 前記解析結果が、前記複数の画像の一方に設定されたテンプレートブロックに対する解析結果であり、
前記決定手段は、前記テンプレートブロックが合焦領域に設定されている場合、非合焦領域に設定されている場合よりも前記予め定められた距離を短くすることを特徴とする請求項9に記載の画像処理装置。 - 前記解析結果が、前記複数の画像の一方に設定されたテンプレートブロックに対する解析結果であり、
前記決定手段は、前記テンプレートブロックの鮮鋭度が高いほど、前記予め定められた距離を短くすることを特徴とする請求項9に記載の画像処理装置。 - 第1の画像と第2の画像を取得する取得手段と、
前記第1の画像に設定された基準となる領域に対する相関値を、前記第1の画像の複数の位置について算出する算出手段と、
前記第1の画像と前記第2の画像間の動きベクトルを検出する検出手段とを有し、
前記検出手段は、前記基準となる領域から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて、前記動きベクトルを検出する領域を設定することを特徴とする画像処理装置。 - 前記複数の画像を撮影する撮影手段と、
請求項1から12のいずれか1項に記載の画像処理装置と、
を有することを特徴とする撮像装置。 - 取得手段が、複数の画像を取得する取得工程と、
算出手段が、前記複数の画像間の相関値を、相対的な位置ごとに算出する算出工程と、
検出手段が、前記相関値に基づいて、前記複数の画像間の動きベクトルを検出する検出工程と、
判定手段が、前記動きベクトルの信頼性を判定する判定工程とを有し、
前記判定工程において前記判定手段は、前記相関値のうち最も相関が高いことを示す値と、最も相関が高いことを示す値が得られた位置から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて前記信頼性を判定することを特徴とする画像処理装置の制御方法。 - 取得手段が、第1の画像と第2の画像を取得する取得工程と、
算出手段が、前記第1の画像に設定された基準となる領域に対する相関値を、前記第1の画像の複数の位置について算出する算出工程と、
検出手段が、前記第1の画像と前記第2の画像間の動きベクトルを検出する検出工程とを有し、
前記検出工程において、前記基準となる領域から予め定められた距離以上離れた位置で得られた相関値との大小関係に基づいて、前記動きベクトルを検出する領域を設定することを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1から12のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014161862A JP5968379B2 (ja) | 2013-10-29 | 2014-08-07 | 画像処理装置およびその制御方法 |
US14/524,234 US9706121B2 (en) | 2013-10-29 | 2014-10-27 | Image processing apparatus and image processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013224622 | 2013-10-29 | ||
JP2013224622 | 2013-10-29 | ||
JP2014161862A JP5968379B2 (ja) | 2013-10-29 | 2014-08-07 | 画像処理装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015111811A true JP2015111811A (ja) | 2015-06-18 |
JP5968379B2 JP5968379B2 (ja) | 2016-08-10 |
Family
ID=52994962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014161862A Expired - Fee Related JP5968379B2 (ja) | 2013-10-29 | 2014-08-07 | 画像処理装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9706121B2 (ja) |
JP (1) | JP5968379B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017037363A (ja) * | 2015-08-06 | 2017-02-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017139702A (ja) * | 2016-02-05 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2019174292A (ja) * | 2018-03-28 | 2019-10-10 | 株式会社トプコン | 測量装置、測量方法 |
KR20210095918A (ko) * | 2019-01-09 | 2021-08-03 | 미쓰비시덴키 가부시키가이샤 | 제어 장치 및 제어 방법 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10284875B2 (en) * | 2016-08-08 | 2019-05-07 | Qualcomm Incorporated | Systems and methods for determining feature point motion |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000331169A (ja) * | 1999-05-20 | 2000-11-30 | Fujitsu Ltd | 画像の動きベクトル計測方法及び装置 |
JP2008242839A (ja) * | 2007-03-27 | 2008-10-09 | Toshiba Corp | 画像処理装置及びその方法 |
JP2010183291A (ja) * | 2009-02-04 | 2010-08-19 | Olympus Imaging Corp | 追尾装置および追尾方法 |
JP2011070568A (ja) * | 2009-09-28 | 2011-04-07 | Fujitsu Ltd | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4640068B2 (ja) * | 2005-09-16 | 2011-03-02 | ソニー株式会社 | 撮像方法および撮像装置 |
JP4623111B2 (ja) * | 2008-03-13 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5576812B2 (ja) * | 2011-02-16 | 2014-08-20 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 |
-
2014
- 2014-08-07 JP JP2014161862A patent/JP5968379B2/ja not_active Expired - Fee Related
- 2014-10-27 US US14/524,234 patent/US9706121B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000331169A (ja) * | 1999-05-20 | 2000-11-30 | Fujitsu Ltd | 画像の動きベクトル計測方法及び装置 |
JP2008242839A (ja) * | 2007-03-27 | 2008-10-09 | Toshiba Corp | 画像処理装置及びその方法 |
JP2010183291A (ja) * | 2009-02-04 | 2010-08-19 | Olympus Imaging Corp | 追尾装置および追尾方法 |
JP2011070568A (ja) * | 2009-09-28 | 2011-04-07 | Fujitsu Ltd | 画像処理装置、画像処理方法及びプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017037363A (ja) * | 2015-08-06 | 2017-02-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017139702A (ja) * | 2016-02-05 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2019174292A (ja) * | 2018-03-28 | 2019-10-10 | 株式会社トプコン | 測量装置、測量方法 |
JP7169757B2 (ja) | 2018-03-28 | 2022-11-11 | 株式会社トプコン | 測量装置、測量方法 |
KR20210095918A (ko) * | 2019-01-09 | 2021-08-03 | 미쓰비시덴키 가부시키가이샤 | 제어 장치 및 제어 방법 |
KR102537029B1 (ko) | 2019-01-09 | 2023-05-26 | 미쓰비시덴키 가부시키가이샤 | 제어 장치 및 제어 방법 |
Also Published As
Publication number | Publication date |
---|---|
US9706121B2 (en) | 2017-07-11 |
US20150116512A1 (en) | 2015-04-30 |
JP5968379B2 (ja) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
CN107258077B (zh) | 用于连续自动聚焦(caf)的系统和方法 | |
RU2433563C1 (ru) | Устройство и способ для оценки перемещения вследствие дрожания рук и использующее их устройство получения изображений | |
US20170134649A1 (en) | Imaging device and imaging method | |
JP5968379B2 (ja) | 画像処理装置およびその制御方法 | |
CN107787463B (zh) | 优化对焦堆栈的捕获 | |
JP5699432B2 (ja) | 画像処理装置 | |
KR20180026410A (ko) | 오토포커스 트리거를 위한 시스템들 및 방법들 | |
US20140307054A1 (en) | Auto focus method and auto focus apparatus | |
JP2018151689A (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
JP2010117593A (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
KR101830077B1 (ko) | 화상처리장치, 그 제어 방법 및 기억매체 | |
KR20170135854A (ko) | 레이저 오토포커스를 이용한 디포커스 감소를 위한 방법들 및 장치 | |
JP6316534B2 (ja) | 撮像装置および撮像装置制御方法 | |
JP2015012482A (ja) | 画像処理装置及び画像処理方法 | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
CN106454066B (zh) | 图像处理设备及其控制方法 | |
JP6016546B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
CN112740649A (zh) | 拍摄方法、拍摄设备及计算机可读存储介质 | |
JP6525710B2 (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2016072924A (ja) | 画像処理装置及び画像処理方法 | |
JP6637242B2 (ja) | 画像処理装置、撮像装置、プログラム、および画像処理方法 | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
JP2020086216A (ja) | 撮像制御装置、撮像装置及び撮像制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160705 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5968379 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |