JP2017161586A - 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 - Google Patents
像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2017161586A JP2017161586A JP2016043368A JP2016043368A JP2017161586A JP 2017161586 A JP2017161586 A JP 2017161586A JP 2016043368 A JP2016043368 A JP 2016043368A JP 2016043368 A JP2016043368 A JP 2016043368A JP 2017161586 A JP2017161586 A JP 2017161586A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- motion vector
- size
- detection frame
- vector detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 53
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims description 82
- 239000013598 vector Substances 0.000 claims abstract description 304
- 238000001514 detection method Methods 0.000 claims abstract description 108
- 230000008859 change Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 description 80
- 230000008569 process Effects 0.000 description 62
- 238000004091 panning Methods 0.000 description 46
- 238000012545 processing Methods 0.000 description 32
- 230000003287 optical effect Effects 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000037433 frameshift Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
【解決手段】撮像手段から順次出力される複数の画像に設定される動きベクトル検出枠を分割した複数の領域から動きベクトルを検出する検出手段(141)と、前記動きベクトルのうち被写体の動きベクトルを判定し、前記被写体の動きベクトルに基づいて像振れ補正制御を行う制御手段(132)と、を有し、前記制御手段は、前記被写体の動きベクトルに基づいて前記被写体の大きさを判定し、前記被写体の大きさおよび位置に応じて前記動きベクトル検出枠を変更することを特徴とする。
【選択図】 図1
Description
まず、流し撮りアシストモードの撮影時におけるメイン制御部152の処理について、図2のフローチャートを用いて説明する。なお、本処理開始のタイミングに関しては、例えば、撮影者が流し撮りアシストモード設定にしてライブビューが開始され、カメラ操作スイッチ131にあるレリーズスイッチが半押しのタイミングで動作させたりすることが可能である。
次に被写体動きベクトル量算出部154の被写体動きベクトル量算出処理について、図3のフローチャートを用いて説明する。なお、本処理開始のタイミングに関しては、前述したメイン制御部152からの算出開始要求を受信したタイミングで動作する。
次に被写体動きベクトル量算出部154の小被写体であるか否かの判別する被写体判定処理について説明する。なお、本処理開始のタイミングに関しては、前述した被写体動きベクトル量算出処理から呼び出されたタイミングで動作する。
次に、被写体動きベクトル量算出部154のテンプレート枠の変更をおこなうテンプレート枠変更処理について説明する。なお、本処理開始のタイミングに関しては、前述した被写体動きベクトル量算出処理から呼び出されたタイミングで動作する。
次に、第2の実施例における被写体動きベクトル量算出部154のテンプレート枠変更処理について、図6のフローチャートを用いて説明する。
次に、被写体動きベクトル量算出部154の被写体再検出処理について、図7のフローチャートを用いて説明する。
次に、第3の実施例における被写体動きベクトル量算出部154の被写体動きベクトル量算出処理について、図8のフローチャートを用いて説明する。
141:動きベクトル検出部
Claims (13)
- 撮像手段から順次出力される複数の画像に動きベクトル検出枠を設定し、前記動きベクトル検出枠を分割した複数の領域から動きベクトルを検出する検出手段と、
前記動きベクトルのうち被写体の動きベクトルを判定し、前記被写体の動きベクトルに基づいて像振れ補正制御を行う制御手段と、
を有し、
前記制御手段は、
前記被写体の動きベクトルに基づいて前記被写体の大きさを判定し、前記被写体の大きさおよび位置に応じて前記動きベクトル検出枠を変更する、
ことを特徴とする像振れ補正装置。 - 前記制御手段は、
前記被写体の大きさが所定の大きさより大きいと判定した場合、前記動きベクトル検出枠を変更せず、
前記被写体の大きさが所定の大きさより小さいと判定した場合、前記被写体の位置に応じて前記動きベクトル検出枠を変更する、
ことを特徴とする請求項1に記載の像振れ補正装置。 - 前記制御手段は、前記動きベクトルのうち被写体と背景の動きベクトルを判定し、
前記被写体の動きベクトルを検出した前記領域の数が第1の閾値より小さく、かつ、前記背景の動きベクトルを検出した前記領域の数が第2の閾値より大きい場合に、前記被写体の大きさが所定の大きさより小さいと判定し、前記動きベクトル検出枠の大きさを小さく変更するとともに、前記動きベクトル検出枠の中心位置を前記被写体の中心位置に近づけるように変更する、
ことを特徴とする請求項1または2に記載の像振れ補正装置。 - 前記制御手段は、前記動きベクトル検出枠の大きさおよび中心位置を変更した後、前記被写体と前記背景の動きベクトルを判定し、前記被写体の動きベクトルを検出した前記領域の数が前記第1の閾値よりも大きくなるまで、前記動きベクトル検出枠の大きさを小さく変更するとともに、前記動きベクトル検出枠の中心位置を前記被写体の中心位置に近づけるように変更することを特徴とする請求項3に記載の像振れ補正装置。
- 前記制御手段は、前記動きベクトル検出枠の大きさを小さく変更する際に、前記領域の数が変わらないように、前記領域の大きさを小さくすることを特徴とする請求項3または4に記載の像振れ補正装置。
- 振れを検出する振れ検出手段から出力される信号を取得する取得手段と、
前記制御手段は、
前記動きベクトル検出枠の大きさおよび中心位置を変更した後、前記被写体と前記背景の動きベクトルを判定し、前記被写体の動きベクトルを検出した前記領域の数が増加したか否か判定し、
前記領域の数が増加していないと判定した場合に、前記振れ検出手段により検出される前記振れの方向に応じて前記動きベクトル検出枠の中心位置を移動させることを特徴とする請求項3ないし5のいずれか1項に記載の像振れ補正装置。 - 前記制御手段は、前記振れ検出手段により検出される前記振れと平行な方向に前記動きベクトル検出枠の中心位置を移動させることを特徴とする請求項6に記載の像振れ補正装置。
- 前記制御手段は、前記被写体の大きさが所定の大きさより小さいと判定した場合、前記被写体の動きベクトルの大きさに基づいて、前記変更を行うか否か判定することを特徴とする請求項1ないし7のいずれか1項に記載の像振れ補正装置。
- 前記制御手段は、前記被写体の動きベクトルの大きさが所定値よりも小さい場合に前記変更を行うことを特徴とする請求項8に記載の像振れ補正装置。
- 撮像手段と、
請求項1ないし9のいずれか1項に記載の像振れ補正装置と、を備えた撮像装置。 - 撮像手段から順次出力される複数の画像に動きベクトル検出枠を設定し、前記動きベクトル検出枠を分割した複数の領域から動きベクトルを検出する検出ステップと、
前記動きベクトルのうち被写体の動きベクトルを判定し、前記被写体の動きベクトルに基づいて像振れ補正制御を行う制御ステップと、
を有し、
前記制御ステップは、
前記被写体の動きベクトルに基づいて前記被写体の大きさを判定し、前記被写体の大きさおよび位置に応じて前記動きベクトル検出枠を変更する、
ことを特徴とする像振れ補正装置の制御方法。 - 請求項11に記載の制御方法の各ステップが記述されたコンピュータで実行可能なプログラム。
- コンピュータに、請求項11に記載の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016043368A JP6700872B2 (ja) | 2016-03-07 | 2016-03-07 | 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 |
US15/450,592 US10142545B2 (en) | 2016-03-07 | 2017-03-06 | Image stabilizing apparatus, its control method, image pickup apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016043368A JP6700872B2 (ja) | 2016-03-07 | 2016-03-07 | 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017161586A true JP2017161586A (ja) | 2017-09-14 |
JP2017161586A5 JP2017161586A5 (ja) | 2019-03-28 |
JP6700872B2 JP6700872B2 (ja) | 2020-05-27 |
Family
ID=59724448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016043368A Active JP6700872B2 (ja) | 2016-03-07 | 2016-03-07 | 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10142545B2 (ja) |
JP (1) | JP6700872B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021012292A (ja) * | 2019-07-05 | 2021-02-04 | キヤノン株式会社 | 像ブレ補正制御装置、カメラ本体、レンズユニット、像ブレ補正制御方法、及びプログラム |
JP7414484B2 (ja) | 2019-11-19 | 2024-01-16 | キヤノン株式会社 | 光学機器、撮像装置および制御方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10102423B2 (en) * | 2016-06-30 | 2018-10-16 | Snap Inc. | Object modeling and replacement in a video stream |
JP6821358B2 (ja) * | 2016-08-31 | 2021-01-27 | キヤノン株式会社 | 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体 |
JP6723173B2 (ja) * | 2017-02-10 | 2020-07-15 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
JP6936034B2 (ja) * | 2017-03-31 | 2021-09-15 | パナソニックi−PROセンシングソリューションズ株式会社 | カメラ装置及び揺れ補正方法 |
JP6940290B2 (ja) * | 2017-03-31 | 2021-09-22 | パナソニックi−PROセンシングソリューションズ株式会社 | カメラ装置及び揺れ補正方法 |
US10643078B2 (en) * | 2017-11-06 | 2020-05-05 | Sensormatic Electronics, LLC | Automatic camera ground plane calibration method and system |
JP7327917B2 (ja) * | 2018-09-14 | 2023-08-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
TWI692731B (zh) * | 2019-01-02 | 2020-05-01 | 瑞昱半導體股份有限公司 | 物件位置判斷電路 |
CN111416916B (zh) * | 2019-01-04 | 2022-07-26 | 瑞昱半导体股份有限公司 | 物件位置判断电路 |
US11106912B1 (en) | 2019-08-05 | 2021-08-31 | Genetec Inc. | Method and system for video content analysis |
JP7477969B2 (ja) * | 2019-12-25 | 2024-05-02 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
CN114339102B (zh) * | 2020-09-29 | 2023-06-02 | 华为技术有限公司 | 一种录像方法及设备 |
CN112991446A (zh) | 2021-03-10 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像稳像方法、装置、路侧设备以及云控平台 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005301984A (ja) * | 2004-01-06 | 2005-10-27 | Sony Corp | 画像処理装置および方法、プログラム並びに記録媒体 |
US20090237516A1 (en) * | 2008-02-20 | 2009-09-24 | Aricent Inc. | Method and system for intelligent and efficient camera motion estimation for video stabilization |
JP2010114752A (ja) * | 2008-11-07 | 2010-05-20 | Canon Inc | 撮像装置及び撮像方法及びプログラム |
JP2010258710A (ja) * | 2009-04-23 | 2010-11-11 | Canon Inc | 動きベクトル検出装置およびその制御方法、ならびに撮像装置 |
JP2015012480A (ja) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
CN106296742A (zh) * | 2016-08-19 | 2017-01-04 | 华侨大学 | 一种结合特征点匹配的在线目标跟踪方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3627872B2 (ja) | 1994-07-22 | 2005-03-09 | ソニー株式会社 | 動きベクトル検出方法及び装置 |
JP2006317848A (ja) | 2005-05-16 | 2006-11-24 | Canon Inc | 静止画撮像装置 |
KR100866230B1 (ko) * | 2007-04-12 | 2008-10-30 | 삼성전자주식회사 | 파노라마 사진 촬영 방법 |
JP5272886B2 (ja) * | 2009-05-14 | 2013-08-28 | ソニー株式会社 | 動体検出装置と動体検出方法およびコンピュータ・プログラム |
JP6727791B2 (ja) * | 2015-11-05 | 2020-07-22 | キヤノン株式会社 | 追尾制御装置および追尾制御方法、撮像装置 |
-
2016
- 2016-03-07 JP JP2016043368A patent/JP6700872B2/ja active Active
-
2017
- 2017-03-06 US US15/450,592 patent/US10142545B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005301984A (ja) * | 2004-01-06 | 2005-10-27 | Sony Corp | 画像処理装置および方法、プログラム並びに記録媒体 |
US20090237516A1 (en) * | 2008-02-20 | 2009-09-24 | Aricent Inc. | Method and system for intelligent and efficient camera motion estimation for video stabilization |
JP2010114752A (ja) * | 2008-11-07 | 2010-05-20 | Canon Inc | 撮像装置及び撮像方法及びプログラム |
JP2010258710A (ja) * | 2009-04-23 | 2010-11-11 | Canon Inc | 動きベクトル検出装置およびその制御方法、ならびに撮像装置 |
JP2015012480A (ja) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
CN106296742A (zh) * | 2016-08-19 | 2017-01-04 | 华侨大学 | 一种结合特征点匹配的在线目标跟踪方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021012292A (ja) * | 2019-07-05 | 2021-02-04 | キヤノン株式会社 | 像ブレ補正制御装置、カメラ本体、レンズユニット、像ブレ補正制御方法、及びプログラム |
JP7269119B2 (ja) | 2019-07-05 | 2023-05-08 | キヤノン株式会社 | 像ブレ補正制御装置、カメラ本体、レンズユニット、像ブレ補正制御方法、及びプログラム |
JP7414484B2 (ja) | 2019-11-19 | 2024-01-16 | キヤノン株式会社 | 光学機器、撮像装置および制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US20170257573A1 (en) | 2017-09-07 |
JP6700872B2 (ja) | 2020-05-27 |
US10142545B2 (en) | 2018-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6700872B2 (ja) | 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 | |
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
JP5335445B2 (ja) | レンズ制御装置、光学機器およびレンズ制御方法 | |
US10148889B2 (en) | Image processing apparatus and control method thereof, image capturing apparatus and storage medium | |
JP6995561B2 (ja) | 像ブレ補正装置およびその制御方法、撮像装置 | |
CN107040711B (zh) | 图像稳定设备及其控制方法 | |
JP2017211487A (ja) | 撮像装置及び自動焦点調節方法 | |
JP6432038B2 (ja) | 撮像装置 | |
US9781346B2 (en) | Image capturing control apparatus, image capturing apparatus and storage medium storing image capturing control program for driving a movable element when motion vectors have mutually different magnitudes | |
US20190132518A1 (en) | Image processing apparatus, imaging apparatus and control method thereof | |
JP2011239131A (ja) | 撮像装置 | |
JP6465705B2 (ja) | 動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置 | |
JP6700929B2 (ja) | 動きベクトル検出装置、撮像装置、動きベクトル検出方法、プログラム、および、記憶媒体 | |
JP2006332809A (ja) | 撮像装置 | |
JP2016118636A (ja) | 撮像装置及びその制御方法 | |
JP7002050B2 (ja) | 撮像装置 | |
WO2013069279A1 (ja) | 撮像装置 | |
JP6602089B2 (ja) | 画像処理装置及びその制御方法 | |
JP2019125933A (ja) | 像振れ補正装置、撮像装置、像振れ補正装置の制御方法およびプログラム | |
JP6887858B2 (ja) | 像ブレ補正装置、撮像装置および制御方法 | |
JP2020118789A (ja) | 撮像装置、撮像システム、撮像装置の制御方法、およびプログラム | |
JP2015102774A (ja) | 撮像装置 | |
JP2004037732A (ja) | デジタルカメラ | |
JP7254555B2 (ja) | 撮像装置および撮像装置の制御方法 | |
WO2020012961A1 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200501 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6700872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |