JP2012257157A - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP2012257157A JP2012257157A JP2011130169A JP2011130169A JP2012257157A JP 2012257157 A JP2012257157 A JP 2012257157A JP 2011130169 A JP2011130169 A JP 2011130169A JP 2011130169 A JP2011130169 A JP 2011130169A JP 2012257157 A JP2012257157 A JP 2012257157A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- motion vector
- elapsed time
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 109
- 238000000034 method Methods 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 64
- 238000001514 detection method Methods 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 55
- 238000010586 diagram Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
Abstract
【解決手段】撮影した複数の画像を位置合わせベクトルに従って位置合わせをして合成するための画像合成装置は、撮影時の予め決められた時点から撮影完了までの経過時間を計測し、複数画像の撮影における被写体領域の情報を取得し、撮影した各画像を複数の領域に分割し、各分割領域の動きベクトルを検出し、経過時間および被写体領域の情報を使用して、各画像から検出された動きベクトルの重み付けを行い、重み付けられた動きベクトルを用いて位置合わせベクトルを算出するよう構成されている。
【選択図】図9
Description
ステップS701では第1のシャッタースイッチが操作されたかどうかを判別し、操作が検知されなかった場合はステップS701に戻り、検知された場合にはステップS702に進む。ステップS702は被写体検出処理である。例えば顔検出など被写体の特徴検出を行う。これにより被写体の位置、サイズ、特徴などの情報を得る。例えば顔検出で顔が検出された場合、顔の位置、大きさ、目の位置、口の位置などの情報が得られる。次にステップS703でオートフォーカス処理(AF処理)を行なう。AF処理では例えばステップS702で得た被写体情報を基に主被写体を特定し、この領域に対して合焦処理を行う。なお、主被写体が検出できない場合は予め定められた1つの固定領域、または複数の固定領域から例えば中距離を中心にして合焦処理を行うスポットAF処理または多点AF処理を行う。次にステップS704で自動露出処理(AE処理)を行なう。S702の被写体検出で得た被写体位置、または合焦処理で選択された合焦処理用の固定領域を基に適正な露出で撮影が行えるよう露出制御を行う。次に処理をステップS705の被写体ロックに進める。S702での被写体検出、S703でのAF処理などで得た被写体の情報を被写体ロック時刻(現在時刻)とともにシステムメモリ352に保存し、ステップS103のAF処理での合焦状態、ステップS704のAE処理での適正露出状態を保持する。次にステップS706では被写体ロックで捕らえた被写体の追尾処理を行なう。ステップS706の被写体追尾処理は、ステップS702の被写体検出処理で得た主被写体領域に対して前述した動きベクトルの検出に基づいて行なわれる。例えば表示用撮像画像の時系列で現在フレームと1つ前のフレームの連続した撮像画像の主被写体領域に対してSAD値を利用した動きベクトル検出処理によって動きベクトルを求める。次いで、得られた動きベクトル量だけ主被写体領域の位置を修正する。さらにこれを後続のフレームに対して繰り返すことにより、主被写体領域が連続した表示用撮像画像上を移動してもこれを追尾することができる。次にステップS707では加速度センサーによってある加速度Ar以上の加速度Aが検知されたか判別する。Ar以上の加速度が検知された場合は被写体検出S702に進み被写体検出S702、AF処理S703、AE処理S704、被写体ロックS705の一連の処理を再度行う。Ar以上の加速度が検知されなかった場合はステップS708に進む。ステップS708ではステップS705で保存した被写体ロック時刻と現在時刻との差である経過時間Tと予め(経過時間取得)、設定されている閾値Tr(第2の時間)を比較する。経過時間Tが閾値Trを超えた場合はステップS702の被写体検出処理に進み、被写体検出S702、AF処理S703、AE処理S704、被写体ロックS705の一連の処理を再度行う。従って、経過時間Tも再度計測して取得される。経過時間Tが所定の閾値Trを超えていない場合はステップS709に進む。ステップS709では第2のシャッタースイッチが操作なされたかどうかを判別し、操作されなかった場合はステップS706の被写体追尾処理に戻り再度被写体追尾処理を行う。操作された場合にはステップS710に進む。ステップ710では第2のシャッタースイッチが操作なされた時刻と被写体ロック時刻との差である経過時間Tをシステムメモリ352に保存する。ステップS711は撮影処理であり前述のように撮像部322を介して取得された画像がメモリ332に書き込まれる。画像合成を行う撮影の場合は複数回連続して撮影処理が行われてメモリ332に撮影された複数の画像が記憶される。例えばN枚の画像合成を行うためN回連続撮影した場合は、メモリ332にN枚の画像データが記憶される。
BWi=BW0+K×Si (1)
ここで、BW0は最小重み付け値、Kは重み付け係数、Siは検出領域1202の領域に占める主被写体領域1203の割合である。即ち、被写体を多く含むブロックほど基本重み付けが大きくなる。
Wi=(WA−BWi)×T/T0+BWi (T<T0)、または
= WA (T≧T0) (2)
ここで、Tは経過時間Tの保存ステップS710で取得された経過時間であり、T0は重み付けテーブルが全平均となるまでの経過時間であり、後述するように撮影条件に基づいて予め設定されている(第1の時間)。T≧T0ではWi=WAとなり、重み付けテーブルWi(1〜M)は全平均となる。WAは平均重み付け値、BWiは基本テーブルの基本重み付けである。
Claims (13)
- 撮影した複数の画像を位置合わせベクトルに従って位置合わせをして合成するための画像合成装置において、
前記複数の画像の撮影の経過時間を計測して取得するための経過時間取得手段と、
前記複数の画像の撮影における被写体領域の情報を取得するための被写体領域取得手段と、
撮影した各画像を複数の領域に分割し、分割された各領域の動きベクトルを検出するための動きベクトル検出手段と、
前記経過時間および被写体領域の情報を使用して、前記検出された動きベクトルの重み付けを行うための動きベクトル重み付け手段と、
前記重み付けられた動きベクトルを用いて前記位置合わせベクトルを算出する位置合わせベクトル算出手段を備えたことを特徴とする画像合成装置。 - 前記動きベクトル重み付け手段は、前記取得された経過時間が予め設定された第1の時間と比較し、前記比較の結果にしたがって前記動きベクトル重み付け手段による重み付けを変更することを特徴とする請求項1記載の画像合成装置。
- 前記第1の時間を設定する設定手段を備え、前記設定手段は前記複数の画像の撮影モードと撮影される被写体の特徴の情報を取得し、前記取得された撮影モードと被写体の特徴の情報に従って前記第1の時間を決定することを特徴とする請求項2記載の画像合成装置。
- 経過時間取得手段は、前記複数の画像の撮影時の被写体ロックの時点から撮影指示までの経過時間を計測して取得することを特徴とする請求項1乃至3のいずれか一項に記載の画像合成装置。
- 経過時間取得手段は、前記複数の画像の撮影時の被写体の検出から撮影指示までの経過時間を計測して取得することを特徴とする請求項1乃至3のいずれか一項に記載の画像合成装置。
- 経過時間取得手段が計測した経過時間が予め設定された第2の時間より長くなったときは、前記画像合成装置は前記複数の画像の撮影を繰り返すよう制御し、前記繰り返しにおいて、前記被写体領域取得手段は被写体領域の情報を取得し、前記経過時間取得手段は経過時間を計測して取得することを特徴とする請求項1乃至5のいずれか一項に記載の画像合成装置。
- 加速度センサーをさらに備え、前記加速度センサが予め設定された所定の加速度より大きな加速度を検出したときは、前記画像合成装置は前記複数の画像の撮影を繰り返すよう制御し、前記繰り返しにおいて、前記被写体領域取得手段は被写体領域の情報を取得し、前記経過時間取得手段は経過時間を計測して取得することを特徴とする請求項1乃至6のいずれか一項に記載の画像合成装置。
- 撮影した複数の画像を位置合わせベクトルに従って位置合わせをして合成するための画像合成装置の制御方法において、
前記複数の画像の経過時間を計測して取得するための経過時間取得ステップと、
前記複数の画像の撮影における被写体領域の情報を取得するための被写体領域取得ステップと、
撮影した各画像を複数の領域に分割し、分割された各領域の動きベクトルを検出するための動きベクトル検出ステップと、
前記経過時間および被写体領域の情報を使用して、前記検出された前記動きベクトルの重み付けを行うための動きベクトル重み付けステップと、
前記重み付けられた動きベクトルを用いて前記位置合わせベクトルを算出する位置合わせベクトル算出ステップを備えたことを特徴とする制御方法。 - コンピュータを、
撮影した複数の画像を位置合わせベクトルに従って位置合わせをして合成するための画像合成装置の制御方法において、
前記複数の画像の撮影の経過時間を計測して取得するための経過時間取得手段、前記複数の画像の撮影における被写体領域の情報を取得するための被写体領域取得手段、撮影した各画像を複数の領域に分割し、分割された各領域の動きベクトルを検出するための動きベクトル検出手段、前記経過時間および被写体領域の情報を使用して、前記検出された前記動きベクトルの重み付けを行うための動きベクトル重み付け手段、および前記重み付けられた動きベクトルを用いて前記位置合わせベクトルを算出する位置合わせベクトル算出手段として機能させるプログラム。 - 請求項9のプログラムを記録したコンピュータが読み取り可能な記録媒体。
- コンピュータを、請求項1乃至7のいずれか一項に記載された画像合成装置の各手段として機能させるプログラム。
- コンピュータを、請求項1乃至7のいずれか一項に記載された画像合成装置の各手段として機能させるプログラムを格納した記憶媒体。
- 画像を撮影するための撮像手段と、
請求項1乃至7のいずれか一項に記載の画像合成装置と、
前記被写体領域取得手段が取得する前記被写体領域の情報に基づいて被写体追尾処理を行なうための被写体追尾手段を備えた撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011130169A JP5743729B2 (ja) | 2011-06-10 | 2011-06-10 | 画像合成装置 |
US13/484,618 US8849040B2 (en) | 2011-06-10 | 2012-05-31 | Image combining apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011130169A JP5743729B2 (ja) | 2011-06-10 | 2011-06-10 | 画像合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012257157A true JP2012257157A (ja) | 2012-12-27 |
JP5743729B2 JP5743729B2 (ja) | 2015-07-01 |
Family
ID=47293263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011130169A Expired - Fee Related JP5743729B2 (ja) | 2011-06-10 | 2011-06-10 | 画像合成装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8849040B2 (ja) |
JP (1) | JP5743729B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9602313B1 (en) * | 2015-09-01 | 2017-03-21 | Qualcomm Incorporated | Time-controlled spatial interference rejection |
CN107205116B (zh) | 2017-06-13 | 2019-12-31 | Oppo广东移动通信有限公司 | 图像选择方法、移动终端、图像选择装置及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05257196A (ja) * | 1992-03-13 | 1993-10-08 | Canon Inc | 動きベクトル検出装置 |
JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP2007019571A (ja) * | 2005-07-05 | 2007-01-25 | Canon Inc | 光学機器およびその制御プログラム |
JP2007081682A (ja) * | 2005-09-13 | 2007-03-29 | Canon Inc | 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08251474A (ja) | 1995-03-15 | 1996-09-27 | Canon Inc | 動きベクトル検出装置,動きベクトル検出方法,画像ぶれ補正装置,画像追尾装置及び撮像装置 |
JP4940164B2 (ja) | 2008-02-07 | 2012-05-30 | オリンパス株式会社 | 撮像装置及び撮像方法 |
-
2011
- 2011-06-10 JP JP2011130169A patent/JP5743729B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-31 US US13/484,618 patent/US8849040B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05257196A (ja) * | 1992-03-13 | 1993-10-08 | Canon Inc | 動きベクトル検出装置 |
JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP2007019571A (ja) * | 2005-07-05 | 2007-01-25 | Canon Inc | 光学機器およびその制御プログラム |
JP2007081682A (ja) * | 2005-09-13 | 2007-03-29 | Canon Inc | 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5743729B2 (ja) | 2015-07-01 |
US8849040B2 (en) | 2014-09-30 |
US20120314958A1 (en) | 2012-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6418879B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2006201282A (ja) | デジタルカメラ | |
JP6472183B2 (ja) | 画像処理装置、その制御方法、プログラム | |
US9357205B2 (en) | Stereoscopic image control apparatus to adjust parallax, and method and program for controlling operation of same | |
US11435550B2 (en) | Camera for limiting shifting of focus adjustment optical system | |
JP6116299B2 (ja) | 撮像装置及びその制御方法 | |
JP2019067312A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
US10757326B2 (en) | Image processing apparatus and image processing apparatus control method | |
JP7154758B2 (ja) | 画像処理装置及びその制御方法 | |
JP2007129310A (ja) | 撮像装置 | |
JP2009213114A (ja) | 撮像装置及びプログラム | |
JP7142507B2 (ja) | 画像処理装置および画像処理方法、ならびに撮像装置 | |
JP7158841B2 (ja) | 撮像装置、撮像方法、プログラム、記録媒体および画像処理装置 | |
JP2020107956A (ja) | 撮像装置、撮像方法およびプログラム | |
JP2019008706A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP5743729B2 (ja) | 画像合成装置 | |
JP7158892B2 (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 | |
JP6590894B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2023033355A (ja) | 画像処理装置およびその制御方法 | |
JP2008028890A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP7102150B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6604998B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP2011193496A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP2017011657A (ja) | 撮像装置 | |
JP2019186831A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20130701 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150428 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5743729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |