JP2023005846A - 像ブレ補正装置及び撮像装置 - Google Patents
像ブレ補正装置及び撮像装置 Download PDFInfo
- Publication number
- JP2023005846A JP2023005846A JP2021108058A JP2021108058A JP2023005846A JP 2023005846 A JP2023005846 A JP 2023005846A JP 2021108058 A JP2021108058 A JP 2021108058A JP 2021108058 A JP2021108058 A JP 2021108058A JP 2023005846 A JP2023005846 A JP 2023005846A
- Authority
- JP
- Japan
- Prior art keywords
- blur correction
- main subject
- amount
- subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 246
- 238000003384 imaging method Methods 0.000 title claims abstract description 115
- 238000001514 detection method Methods 0.000 claims abstract description 156
- 230000033001 locomotion Effects 0.000 claims description 186
- 239000013598 vector Substances 0.000 claims description 155
- 230000008859 change Effects 0.000 claims description 57
- 230000007704 transition Effects 0.000 claims description 36
- 230000003287 optical effect Effects 0.000 claims description 27
- 230000006641 stabilisation Effects 0.000 abstract description 2
- 238000011105 stabilization Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 113
- 238000000034 method Methods 0.000 description 105
- 230000008569 process Effects 0.000 description 85
- 238000004091 panning Methods 0.000 description 52
- 238000006243 chemical reaction Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 101100046831 Drosophila melanogaster Tpst gene Proteins 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 6
- 230000004907 flux Effects 0.000 description 6
- 235000019557 luminance Nutrition 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
Description
図1は、本発明の実施例1に係る撮像装置の構成を示すブロック図である。図1において、撮像システム100は、撮像装置本体(以下撮像装置)1に対して交換レンズ31が着脱可能に装着されて構成されている。
|v|=L cosθsinθ、L=√(x1・x1+y1・y1)
v(x) =|v| cosθ = L cosθsinθcosθ
v(y) =|v| sinθ = L cosθsinθsinθ
手ブレ量の補正割合=1-Tpst/Tch
被写体ブレ量の補正割合=Tpst/Tch
手ブレ量の補正割合と被写体ブレ量の補正割合との和は、1となる。
手ブレ補正量=手ブレ量の補正割合×手ブレ量
被写体ブレ量=被写体ブレ量の補正割合×被写体ブレ量
[実施例2]
本実施例は、撮影者による意図的な主被写体の変更の有無の判定方法が実施例1と異なる。実施例1では、パンニングの発生の有無により、撮影者による主被写体の意図的な変更の有無を判定した。本実施例では、撮影者による撮影時の焦点距離の変更、一定以上のピント変更、露光量の一定以上の変更などを検出した場合に、意図的な主被写体の変更があったと判定する。撮像システム100の構成、主被写体検出のフロー、及び、ブレ補正処理(ステップS306)以外の撮影フローは実施例1と同様であるため、説明を省略する。
移行期間Tchは、撮影者による焦点距離、ピント位置、露光量の変更操作に要する期間Topと同じにすることで、滑らかな映像を取得することができる。ただし、部材操作においては終了時に微調整の操作を行うことがあるので、この時間を考慮して、平均的な変更に要する時間の1~2割の時間に相当するTop+を加えた時間を移行期間とする。
(Tpst<Top+の時)
手ブレ量の補正割合=1
被写体量の補正割合=0
(Top+≦Tpst≦Tchの時)
手ブレ量の補正割合=1-(Tpst-Top+)/(Tch-Top+)
被写体ブレ量の補正割合=(Tpst-Top+)/(Tch-Top+)
手ブレ量の補正割合と被写体ブレ量の補正割合との和は、1となる。
手ブレ補正量=手ブレ量の補正割合×手ブレ量
被写体ブレ量=被写体ブレ量の補正割合×被写体ブレ量
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
2 レンズマウント
3 撮像素子
4 撮像回路
13 ブレ検出回路
14 ブレ検出センサ
15 CPU
18 操作スイッチ
26 主被写体検出回路
27 動きベクトル検出回路
28 画画像変形切出し回路
31 交換レンズ
Claims (20)
- 主被写体を検出する被写体検出手段と、
前記主被写体の動きベクトルを検出する第1の動き検出手段と、
撮像装置の動きを検出する第2の動き検出手段と、
前記第1の動き検出手段により検出された前記主被写体の動きベクトルに基づいて前記主被写体の像ブレを補正する第1のブレ補正量を取得する第1のブレ補正量取得手段と、
前記第2の動き検出手段により検出された前記撮像装置の動きに基づいて前記撮像装置のブレを補正する第2のブレ補正量を取得する第2のブレ補正量取得手段と、
前記第1のブレ補正量と前記第2のブレ補正量との少なくともいずれかに基づいて、ブレ補正手段を制御するブレ補正制御手段と、
第1の画像が撮像された第1のタイミングと、第2の画像が撮像された第2のタイミングとの間での、主被写体の変更の有無を判定する判定手段と、を備え、
前記ブレ補正制御手段は、
前記判定手段によって主被写体が変更されたと判定された場合は、前記第1のブレ補正量に基づくブレ補正から、前記第2のブレ補正量に基づくブレ補正に制御を変更することを特徴とするブレ補正制御装置。 - 前記判定手段は、前記被写体検出手段により検出された、前記第1の画像における主被写体の位置と、前記第2の画像における主被写体の位置との差が第1の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項1に記載のブレ補正制御装置。
- 前記第1の所定値が、撮影光学系の焦点距離に応じて変化することを特徴とする請求項2にブレ補正制御装置。
- 前記判定手段は、前記第1のタイミングから前記第2のタイミングまでの前記主被写体の撮像画像における移動量と、前記第1のタイミングから前記第2のタイミングまでの前記撮像装置の動き量との差分が第2の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項1乃至3のいずれか1項に記載のブレ補正制御装置。
- 前記第2の所定値が、撮影光学系の焦点距離に応じて変化することを特徴とする請求項4に記載のブレ補正制御装置。
- 前記判定手段は、前記第1のタイミングから前記第2のタイミングまでの前記撮像装置の動き量が第3の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項1乃至5のいずれか1項に記載のブレ補正制御装置。
- 前記第3の所定値が、撮影光学系の焦点距離に応じて変化することを特徴とする請求項6に記載のブレ補正制御装置。
- 前記判定手段は、前記第1のタイミングから前記第2のタイミングまでの撮影光学系の焦点距離の変化量が第4の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項1乃至7のいずれか1項に記載のブレ補正制御装置。
- 前記判定手段は、前記第1のタイミングから前記第2のタイミングまでの撮影光学系のピント位置の変化量に第5の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項1乃至8のいずれか1項に記載のブレ補正制御装置。
- 前記判定手段は、前記第1のタイミングから前記第2のタイミングまでの撮影光学系の露光量の変化量が第6の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項1乃至9のいずれか1項に記載のブレ補正制御装置。
- ブレ補正を行う方向である補正方向を決定する補正方向設定手段を有し、
前記判定手段によって主被写体が変更された判定された場合は、前記第1のブレ補正量に基づくブレ補正から、前記補正方向設定手段で設定された前記補正方向における前記第2のブレ補正量に基づくブレ補正に制御を変更することを特徴とする請求項1乃至10のいずれか1項に記載のブレ補正制御装置。 - 前記判定手段は、前記被写体検出手段により検出された、前記第1の画像における主被写体の位置と、前記第2の画像における主被写体の位置との差が第1の所定値以上の場合に前記主被写体が変更されたと判定し、
前記補正方向設定手段は、
前記撮像装置の動き量が最も大きい方向と直交する方向を前記補正方向として設定することを特徴とする請求項11に記載のブレ補正制御装置。 - 前記判定手段は、前記第1のタイミングから前記第2のタイミングまでの前記撮像装置の動き量が第2の所定値以上の場合に前記主被写体が変更されたと判定し、
前記補正方向設定手段は、
前記撮像装置の動き量が最も大きい方向と直交する方向を前記補正方向として設定することを特徴とする請求項11に記載のブレ補正制御装置。 - 前記判定手段は、前記第1のタイミングから前記第2のタイミングまでの前記主被写体の撮像画像における移動量と、前記第1のタイミングから前記第2のタイミングまでの前記撮像装置の動き量との差分が第3の所定値以上の場合に前記主被写体が変更されたと判定し、
前記補正方向設定手段は、
前記撮像装置の動き量が最も大きい方向と直交する方向を前記補正方向として設定することを特徴とする請求項11に記載のブレ補正制御装置。 - 前記判定手段は、
撮影光学系の焦点距離の変化量、前記撮影光学系のピント位置の変化量、前記撮影光学系の露光量の変化量の少なくともいずかに基づいて主被写体の変更の有無を判定し、
前記焦点距離の変化量、前記ピント位置の変化量、前記露光量の変化量のいずれかに基づいて前記主被写体が変更されたと判定された場合は、前記ブレ補正手段が補正可能な方向についてブレ補正を行うことを特徴とする請求項12乃至14のいずれか1項に記載のブレ補正制御装置。 - 前記判定手段により、前記主被写体の変更が終了したと判定された後は、所定時間の経過後に前記第1のブレ補正量に基づくブレ補正に制御を変更することを特徴とする請求項1乃至15のいずれか1項に記載のブレ補正制御装置。
- 主被写体の変更に要した時間、撮影光学系の焦点距離、撮像装置の動き量、撮像装置の動きの速さの少なくともいずれかに応じて前記所定時間を設定する設定手段を備える設定手段を備えることを特徴とする請求項16に記載のブレ補正制御装置。
- 前記判定手段により、前記主被写体の変更が終了したと判定され、前記所定時間が経過するまでの移行期間中は、前記第1のブレ補正量と前記第2のブレ補正量とに基づいてブレ補正を行うことを特徴とする請求項16又は17に記載のブレ補正制御装置。
- 前記第2の動き検出手段は、前記撮像装置の動きに起因する動きベクトルである背景ベクトルを取得する背景ベクトルの取得手段と、慣性センサとを含み、
前記第2のブレ補正量取得手段は、前記背景ベクトルの取得手段により取得された前記背景ベクトルに基づいて前記第2のブレ補正量を取得し、
前記判定手段は、前記慣性センサの出力に基づいて前記主被写体の変更の有無を判定することを特徴とする請求項1乃至18のいずれか1項に記載のブレ補正制御装置。 - 請求項1乃至19のいずれか1項に記載のブレ補正制御装置と、
撮像素子とを備え、
前記被写体検出手段は、前記撮像素子により取得された撮像画像から主被写体を検出することを特徴とする撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021108058A JP2023005846A (ja) | 2021-06-29 | 2021-06-29 | 像ブレ補正装置及び撮像装置 |
US17/850,315 US11843861B2 (en) | 2021-06-29 | 2022-06-27 | Apparatus, method, and storage media |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021108058A JP2023005846A (ja) | 2021-06-29 | 2021-06-29 | 像ブレ補正装置及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023005846A true JP2023005846A (ja) | 2023-01-18 |
Family
ID=84542872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021108058A Pending JP2023005846A (ja) | 2021-06-29 | 2021-06-29 | 像ブレ補正装置及び撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11843861B2 (ja) |
JP (1) | JP2023005846A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7651349B2 (ja) * | 2021-03-30 | 2025-03-26 | キヤノン株式会社 | 撮像装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05161053A (ja) | 1991-12-06 | 1993-06-25 | Ricoh Co Ltd | 自動追尾機能を有するオートフォーカス方法 |
JP6700874B2 (ja) * | 2016-03-08 | 2020-05-27 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
US10812715B2 (en) * | 2017-06-27 | 2020-10-20 | Canon Kabushiki Kaisha | Imaging apparatus and method of controlling imaging apparatus |
JP2019095630A (ja) | 2017-11-24 | 2019-06-20 | キヤノン株式会社 | 像振れ補正装置を有する光学機器 |
US11070729B2 (en) * | 2018-07-27 | 2021-07-20 | Canon Kabushiki Kaisha | Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus |
KR102710139B1 (ko) * | 2019-02-19 | 2024-09-26 | 삼성전자주식회사 | 이미지 안정화를 위한 전자 장치 및 그의 동작 방법 |
US11575834B2 (en) * | 2019-12-17 | 2023-02-07 | Canon Kabushiki Kaisha | Image stabilization apparatus, method of controlling same, and storage medium |
JP2021129268A (ja) * | 2020-02-17 | 2021-09-02 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP7599979B2 (ja) * | 2021-02-05 | 2024-12-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
-
2021
- 2021-06-29 JP JP2021108058A patent/JP2023005846A/ja active Pending
-
2022
- 2022-06-27 US US17/850,315 patent/US11843861B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220417436A1 (en) | 2022-12-29 |
US11843861B2 (en) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8780200B2 (en) | Imaging apparatus and image capturing method which combine a first image with a second image having a wider view | |
US7660519B2 (en) | Autofocus apparatus | |
JP5409189B2 (ja) | 撮像装置及びその制御方法 | |
JP2007074031A (ja) | 撮像装置、及び、画像処理装置及び方法 | |
JP7477969B2 (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
US10194085B2 (en) | Image pickup apparatus and its control method | |
US11450131B2 (en) | Electronic device | |
JP2005051472A (ja) | 自動撮影制御装置、自動撮影用プログラム、カメラ | |
US20160212331A1 (en) | Image pickup apparatus and image pickup method | |
KR20150078275A (ko) | 움직이는 피사체 촬영 장치 및 방법 | |
JP2017201356A (ja) | 像振れ補正装置、撮像装置、像振れ補正装置の制御方法、プログラム、および、記憶媒体 | |
JP2007081682A (ja) | 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム | |
JP2010021795A (ja) | 撮像装置、補正制御装置、補正制御方法およびプログラム | |
JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
JP7293025B2 (ja) | 撮像装置およびその制御方法 | |
JP2009157130A (ja) | 電子カメラ | |
JP2023005846A (ja) | 像ブレ補正装置及び撮像装置 | |
JP2021039167A (ja) | 画像処理装置及び画像処理装置の制御方法 | |
US20190045118A1 (en) | Image pickup apparatus, control method, and storage medium | |
JP2011082901A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2024139454A (ja) | 像ぶれ補正装置、撮像装置、及び像ぶれ補正装置の制御方法 | |
JP2009088628A (ja) | 画像処理装置 | |
JP4757106B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP6702737B2 (ja) | 像ブレ補正装置、および、像ブレ補正装置の制御方法 | |
JP2018082232A (ja) | 撮像装置および制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220613 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240619 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250401 |