JP2020047979A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2020047979A JP2020047979A JP2018172480A JP2018172480A JP2020047979A JP 2020047979 A JP2020047979 A JP 2020047979A JP 2018172480 A JP2018172480 A JP 2018172480A JP 2018172480 A JP2018172480 A JP 2018172480A JP 2020047979 A JP2020047979 A JP 2020047979A
- Authority
- JP
- Japan
- Prior art keywords
- motion blur
- image
- motion
- motion vector
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000013598 vector Substances 0.000 claims abstract description 229
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004091 panning Methods 0.000 abstract description 10
- 230000007423 decrease Effects 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 110
- 238000000034 method Methods 0.000 description 76
- 238000004364 calculation method Methods 0.000 description 50
- 238000007792 addition Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 26
- 230000003287 optical effect Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 101150110532 CFDP1 gene Proteins 0.000 description 3
- 239000000945 filler Substances 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010017367 Frequent bowel movements Diseases 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Abstract
Description
前記基準領域内における動きベクトルの検出結果に基づき基準動きベクトルを自動設定する基準ベクトル設定手段と、
前記基準領域内の前記基準ベクトルに基づき少なくとも前記基準領域内の動きブレが減少するように画像を調整する動きブレ調整手段と、を有する。
<実施例1>
以上、撮像装置100の構成と、基本動作について説明したが、撮像装置100の構成は必ずしも図1の構成に限定されない。また、図1の各構成は、必ずしも1つのハードウェアで実現する必要はない。例えば複数のハードウェアが処理を分担・協働して1つの手段として機能してもよいし、また1つのハードウェアがプログラム等に応じて異なる処理を行うことで、複数の手段として機能してもよい。
次に、動きブレ画像生成部200の処理について、図3のフローチャートを参照して説明する。
図5のステップS501において、制御部101が目標動きブレを算出する。目標動きブレとは、露光時間が何秒相当の動きブレを目標とするか示す情報である。この目標動きブレにより、動きブレの長さが変わる。例えば、1/60秒相当の動きブレの長さは1/120秒相当の動きブレの長さの2倍となる。本実施例においては、目標動きブレを1/60秒相当の動きブレとする。
図6のステップS602において、図7のように、基準撮像画像701において、N×N画素の基準ブロック702を配置する。
水平方向の動きブレ量 = 水平方向の移動量 ・・・式(1)
また、図9における動きブレ変換特性L902は例えば式(2)で表され、目標動きブレが1/120秒相当の場合の動きブレ変換特性である。
水平方向の動きブレ量 = 1/2 × 水平方向の移動量 ・・・式(2)
動きブレ変換特性L902は、1/60秒間における移動量の半分である1/120秒間における移動量に相当する動きブレ量を算出している。
このように動きブレ変換特性を変えることにより、動きブレ量をコントロールすることが可能となる。
動きブレ付与部204は、式(3)に示す通り、加算画像における着目画素Aの加算画素値Aaddpvに撮像画像の着目画素Aの画素値Apvを加算し、加算画素値Aaddpvを更新する。そして、式(4)に示す通り、加算回数マップにおける加算回数Acntに1を加算する。
Aaddpv=Aaddpv+Apv・・・式(3)
Acnt=Acnt+1・・・式(4)
Baddpv=Baddpv+Apv・・・式(5)
Bcnt=Bcnt+1・・・式(6)
Caddpv=Caddpv+Apv・・・式(7)
Ccnt=Ccnt+1・・・式(8)
Daddpv=Daddpv+Apv・・・式(9)
Dcnt=Dcnt+1・・・式(10)
このように、動きブレ付与情報が通過する画素A、画素B、画素C及び画素Dに対して、着目画素Aの画素値の加算及び加算回数のカウントアップを行う。
以上、図5のステップS504における動きブレの付与方法について説明した。
次に図5のステップS505において、図5のステップS504で動きブレ付与部204が生成した動きブレ画像を表示部109に表示する。
以上により、図3のステップS302における自動動きブレ画像生成の処理が終了する。
図12のステップS1201において、制御部101は、指示入力部110を介し、ユーザーによる動きブレ調整指示としての指定基準領域(すなわち画像の中の動きブレを修正すべき被写体領域)の指示を受け付ける。また、図12のステップS1202において、制御部101は、指示入力部110を介し、ユーザーによる動きブレ調整指示としての指定基準領域における指定動きブレ(すなわち指定された被写体領域に対する動きブレの修正量)の指示を受け付ける。
図13(A)は動きブレ調整(修正)前画像を示し、図13(B)は動きブレ調整(修正)後画像を示す。図13(A)動きブレ調整(修正)前画像は、図3のステップS302における自動動きブレ画像生成後に表示部109に表示した動きブレ画像である。ユーザーは表示部109に表示された動きブレ画像を確認し、動きブレ画像の調整が必要か否かを判断する(図3のステップS303の前に行われるユーザーによる判断)。ここで、図13(A)動きブレ調整前画像の例では、背景だけではなく、主被写体の走っている犬までブレてしまっている。これは、走っている犬を若干振り遅れながらフォロー撮影しているため、図4のように走っている犬が撮像画像間で移動し、この移動を動きと検出し動きベクトルに基づき自動で動きブレを付与しているためである。
尚、制御部101が受け付ける指定基準領域は、ユーザーが指定した一点の座標だけではなく、例えばユーザーが走っている犬全体を丸く囲う指定を行った場合、制御部101は、その囲われた領域を指定基準領域として受け付けても良い。
以上、図3のステップS304における動きブレ調整(修正)に関して説明した。
本変形例では、撮像装置から見て奥行き方向に長い被写体の動きブレを調整する例について説明する。
まず、本変形例における撮影処理(図3のステップS301)に関して図15を参照して説明する。
図15は、撮影者が、走っている車を追従するように撮像装置を振り、フォローしながら連写撮影をしている例を示す。図15(A)はNフレーム目の撮像画像、図15(B)はN+1フレーム目の撮像画像を示す。尚、Nは正の整数である。また、短い露光時間で撮像しているため、撮像画像に大きな動きブレは発生していない。
次に、図3のステップS302における自動動きブレ画像生成について、図15、図16及び図17を参照して説明する。
まず、図17(A)動きブレ調整前画像において、ブレてしまっている車のフロント領域の動きブレを小さくする方法について説明する。
<実施例2>
実施例2の撮像装置100の動作及び処理は、実施例1と同様のため説明は省略する。
次に、動きブレ画像生成部2000の処理について、図21のフローチャートを参照して説明する。
なお、図22において、図5と同じ符番のステップは図5のステップと同様の動作を行う。
図22のステップS501において、制御部101が目標動きブレを算出する。本実施例においては、目標動きブレを1/60秒相当の動きブレとする。
以上、図22のステップS2201における基準動きベクトルの特定方法について説明した。
図5のステップS505において、図5のステップS504において動きブレ付与部204が生成した動きブレ画像を表示部109に表示する。
以上、図21のステップS2101における動きブレ画像生成の処理について説明した。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
また、実施例では複数の画像に基づき動きブレを自動生成して、1枚の画像に対して動きブレを付与しているが1枚の画像だけを用いてブレを付与してもよい。即ち、その1枚の画像に対して例えばユーザーが指定した領域に所定方向または所定量の動きブレを付与するようにしてもよいことは言うまでもない。
101 制御部
102 ROM
103 RAM
104 光学系
105 撮像部
106 A/D変換部
107 画像処理部
108 記録部
109 表示部
110 指示入力部
200 動きブレ画像生成部
201 動きベクトル算出部
202 基準動きベクトル特定部
203 動きブレ変換特性算出部
204 動きブレ付与部
2001 基準動きベクトル特定部
Claims (17)
- 画像内における一部領域を基準領域として設定する基準領域設定手段と、
前記基準領域内における動きベクトルの検出結果に基づき基準動きベクトルを自動設定する基準ベクトル設定手段と、
前記基準領域内の前記基準ベクトルに基づき少なくとも前記基準領域内の動きブレが減少するように画像を調整する動きブレ調整手段と、を有することを特徴とする画像処理装置。 - 前記基準領域設定手段は、ユーザーによる少なくとも1か所の前記基準領域の指定を受け付けるためのUIを含むことを特徴とする請求項1記載の画像処理装置。
- 前記基準領域設定手段は、ユーザーによる前記基準領域の指定をタッチまたはマウスのクリック操作により受け付けるためのUIを含むことを特徴とする請求項1または2記載の画像処理装置。
- 前記動きブレ調整手段は、前記少なくとも一か所の基準領域の動きブレが減少するように前記基準領域の画像を調整するとともに、前記基準領域とは異なる領域の画像における動きブレを前記基準領域の画像の調整に応じて調整することを特徴とする請求項1記載の画像処理装置。
- 前記基準ベクトル設定手段は、前記基準領域内における動きベクトルのヒストグラムに基づき基準動きベクトルを設定することを特徴とする請求項1から4のうちいずれか一項に記載の画像処理装置。
- 前記基準ベクトル設定手段は、前記基準領域内における動きベクトルのヒストグラムのグループ分けを行った結果に基づき基準動きベクトルを設定することを特徴とする請求項5に記載の画像処理装置。
- 前記基準ベクトル設定手段は、前記基準領域内における動きベクトルのヒストグラムの中から最も移動量の少ないグループの移動量に基づき基準動きベクトルを設定することを特徴とする請求項6に記載の画像処理装置。
- 前記基準領域設定手段は、画像内における合焦領域を特定する合焦領域特定手段を含むことを特徴とする請求項1から7のうちいずれか一項に記載の画像処理装置。
- 前記動きブレ調整手段は、少なくとも前記基準動きベクトルと同じ動きベクトルを持つ画素の動きブレが減少するように動きブレを調整することを特徴とする請求項1から8のうちいずれか一項に記載の画像処理装置。
- 更に、複数の画像を取得する取得手段と、
前記取得手段によって取得された前記複数の画像から動きベクトルを検出して、動きブレを付与した画像を形成する動きブレ画像生成手段と、
を有することを特徴とする請求項1から9のうちいずれか一項に記載の画像処理装置。 - 前記取得手段は複数画像を撮像する撮像手段を含むことを特徴とする請求項10に記載の画像処理装置。
- 前記取得手段は複数画像を記憶した記憶手段から画像を読み出す読み出し手段を含むことを特徴とする請求項10に記載の画像処理装置。
- 画像内における一部領域を基準領域として設定する基準領域設定ステップと、
前記基準領域内における動きベクトルの検出結果に基づき基準動きベクトルを自動設定する基準ベクトル設定ステップと、
前記基準領域内の前記基準ベクトルに基づき少なくとも前記基準領域内の動きブレが減少するように画像を調整する動きブレ調整ステップと、を有することを特徴とする画像処理方法。 - 前記基準領域設定ステップは、ユーザーによる少なくとも1か所の前記基準領域の指定を受け付けるためのステップを含むことを特徴とする請求項13記載の画像処理方法。
- 前記基準領域設定ステップは、ユーザーによる前記基準領域の指定をタッチまたはマウスのクリック操作により受け付けるためのUIを含むことを特徴とする請求項13または14記載の画像処理方法。
- 請求項1から12のうちいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
- 請求項16に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018172480A JP7224822B2 (ja) | 2018-09-14 | 2018-09-14 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018172480A JP7224822B2 (ja) | 2018-09-14 | 2018-09-14 | 画像処理装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020047979A true JP2020047979A (ja) | 2020-03-26 |
JP2020047979A5 JP2020047979A5 (ja) | 2021-08-12 |
JP7224822B2 JP7224822B2 (ja) | 2023-02-20 |
Family
ID=69900034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018172480A Active JP7224822B2 (ja) | 2018-09-14 | 2018-09-14 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7224822B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021187468A1 (ja) | 2020-03-18 | 2021-09-23 | 千住金属工業株式会社 | フラックス及びソルダペースト |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11136568A (ja) * | 1997-10-31 | 1999-05-21 | Fuji Photo Film Co Ltd | タッチパネル操作式カメラ |
JP2007074031A (ja) * | 2005-09-02 | 2007-03-22 | Canon Inc | 撮像装置、及び、画像処理装置及び方法 |
JP2017195458A (ja) * | 2016-04-19 | 2017-10-26 | キヤノン株式会社 | 動きベクトル検出装置、撮像装置、動きベクトル検出方法、プログラム、および、記憶媒体 |
JP2020047981A (ja) * | 2018-09-14 | 2020-03-26 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2018
- 2018-09-14 JP JP2018172480A patent/JP7224822B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11136568A (ja) * | 1997-10-31 | 1999-05-21 | Fuji Photo Film Co Ltd | タッチパネル操作式カメラ |
JP2007074031A (ja) * | 2005-09-02 | 2007-03-22 | Canon Inc | 撮像装置、及び、画像処理装置及び方法 |
JP2017195458A (ja) * | 2016-04-19 | 2017-10-26 | キヤノン株式会社 | 動きベクトル検出装置、撮像装置、動きベクトル検出方法、プログラム、および、記憶媒体 |
JP2020047981A (ja) * | 2018-09-14 | 2020-03-26 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021187468A1 (ja) | 2020-03-18 | 2021-09-23 | 千住金属工業株式会社 | フラックス及びソルダペースト |
Also Published As
Publication number | Publication date |
---|---|
JP7224822B2 (ja) | 2023-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021073331A1 (zh) | 基于终端设备的变焦虚化图像获取方法和装置 | |
TWI602152B (zh) | 影像擷取裝置及其影像處理方法 | |
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
WO2021057474A1 (zh) | 主体对焦方法、装置、电子设备和存储介质 | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US10298853B2 (en) | Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus | |
CN110349163B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
EP2704423A1 (en) | Image processing apparatus, image processing method, and image processing program | |
US20220222830A1 (en) | Subject detecting method and device, electronic device, and non-transitory computer-readable storage medium | |
KR102049080B1 (ko) | 영상 처리 장치 및 방법 | |
JP2016053849A (ja) | 画像処理装置および画像処理方法、並びに固体撮像装置 | |
US9071766B2 (en) | Image capturing apparatus and control method thereof | |
JP2015043495A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
CN110866486A (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
JP2017126979A (ja) | 画像処理装置および画像処理装置の制御方法、撮像装置、プログラム | |
JP6270413B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
US11972546B2 (en) | Image processing apparatus and image processing method | |
JP2018061130A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7224822B2 (ja) | 画像処理装置及び画像処理方法 | |
US20150350547A1 (en) | Scene Stability Detection | |
JP2019016893A (ja) | 画像処理装置およびその制御方法及びプログラム | |
KR20100018336A (ko) | 손 떨림 보정을 행하는 디지털 영상 신호 처리 장치의 제어방법, 상기 제어 방법을 수행하는 디지털 영상 신호 처리장치 및 상기 제어 방법을 기록한 기록 매체 | |
JP7143191B2 (ja) | 画像処理装置 | |
JP2014155000A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
US10848682B2 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210705 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7224822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |