JP2022012896A - 撮像装置、方法、プログラム及び記憶媒体 - Google Patents
撮像装置、方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2022012896A JP2022012896A JP2020115057A JP2020115057A JP2022012896A JP 2022012896 A JP2022012896 A JP 2022012896A JP 2020115057 A JP2020115057 A JP 2020115057A JP 2020115057 A JP2020115057 A JP 2020115057A JP 2022012896 A JP2022012896 A JP 2022012896A
- Authority
- JP
- Japan
- Prior art keywords
- runout
- shake
- image
- angle
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims description 40
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 230000003287 optical effect Effects 0.000 claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000012937 correction Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 43
- 238000002955 isolation Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 10
- 230000005484 gravity Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Abstract
【課題】 動きベクトルを用いた良好な防振制御を行うことである。【解決手段】 撮像光学系による像を撮像する撮像手段と、前記撮像光学系の画角を変更するズーム駆動手段と、前記撮像手段が撮像した画像において動きベクトルを検出可能な領域を抽出する抽出手段と、前記抽出手段により抽出した前記領域の動きベクトルに基づいて前記像の振れ量を検出する振れ検出手段と、前記振れ検出手段により検出した前記振れ量に基づいて前記像の振れを補正する振れ補正手段と、前記抽出手段により抽出した前記領域が前記撮像光学系の視野から外れないように前記ズーム駆動手段を制御する制御手段と、を有することを特徴とする撮像装置。【選択図】 図6
Description
本発明は、撮像装置、方法、プログラム及び記憶媒体に関する。
従来より、被写体が検出領域に収まるように光学防振の制御を行う技術が知られている(たとえば、特許文献1参照)。
本発明が解決しようとする課題は、動きベクトルを用いた良好な防振制御を行うことである。
本発明の一態様に係る撮像装置は、撮像光学系による像を撮像する撮像手段と、前記撮像光学系の画角を変更するズーム駆動手段と、前記撮像手段が撮像した画像において動きベクトルを検出可能な領域を抽出する抽出手段と、前記抽出手段により抽出した前記領域の動きベクトルに基づいて前記像の振れ量を検出する振れ検出手段と、前記振れ検出手段により検出した前記振れ量に基づいて前記像の振れを補正する振れ補正手段と、前記抽出手段により抽出した前記領域が前記撮像光学系の視野から外れないように前記ズーム駆動手段を制御する制御手段と、を有することを特徴とする。
(第1の実施形態)
図1は、本実施形態に係るネットワークカメラの機能ブロック構成図である。ネットワークカメラ1000は、ネットワーク3000を介して不図示のクライアント装置(情報処理装置)と相互に通信可能な状態に接続されている。
図1は、本実施形態に係るネットワークカメラの機能ブロック構成図である。ネットワークカメラ1000は、ネットワーク3000を介して不図示のクライアント装置(情報処理装置)と相互に通信可能な状態に接続されている。
ネットワークカメラ1000は、撮像部1001、画像処理部1002、システム制御部1003、振れ検出部1004、ズーム駆動部1005、パン駆動部1006、チルト駆動部1007、パンチルトズーム制御部1008、通信部1009を備える。
図1を参照して、ネットワークカメラ1000の各部構成と機能について説明する。
撮像部1001は、レンズ(撮像光学系)、撮像素子及びその制御群から構成され、被写体の像の撮像及び電気信号への変換を行う。
画像処理部1002は、撮像部1001において撮像、光電変換された信号の所定の現像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部1003へ伝達する。また、画像処理部1002は、撮影した画像を解析し動きベクトルを用いて画像の振れを検出する処理を行う。検出した振れの情報は、パンチルトズーム制御部1008に伝達し、後述する防振制御に用いる。
システム制御部1003は、通信部1009を介して、生成された画像データをクライアント装置に配信する。また通信部1009は、クライアント装置から送信されるカメラ制御コマンドを受信(受付)し、システム制御部1003へ伝達する。またカメラ制御コマンドに対するレスポンスをクライアント装置へ送信する。システム制御部1003は、伝達されたカメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、画像処理部1002に対して画質の設定指示、パンチルトズーム制御部1008に対してパン、チルト、ズーム動作の指示を行う。画像処理部1002は伝達された指示に基づいて、画像処理を行う。またパンチルトズーム制御部1008は伝達された指示に基づいて、ズーム駆動部1005、パン駆動部1006、及びチルト駆動部1007の制御を行う。
振れ検出部1004は、ジャイロセンサー等により構成され、撮像部1001のパン方向およびチルト方向の角速度を検出する。検出した角速度情報はパンチルト制御部1007に伝達し、後述する防振制御に用いる。
ズーム駆動部1005は、ズーム動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出するエンコーダ等により構成される。また、パン駆動部1006は、パン動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出するセンサ等により構成される。また、チルト駆動部1006は、チルト動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出するセンサ等により構成される。ズーム駆動部1005、パン駆動部1006、及びチルト駆動部1007の動作は、パンチルトズーム制御部1008により制御される。
図2は、本実施形態に係るパンチルト動作可能なネットワークカメラのメカ機構図である。図2(a)は上面から見た図、図2(b)は側面から見た図を示す。図2において、1101はボトムケース、1102はターンテーブル、1103はカメラヘッド支柱、1104はカメラヘッドである。
図2を参照して、パンチルト駆動部のメカ機構について説明する。図2において、パン駆動部はボトムケース1101とターンテーブル1102で構成され、ターンテーブル1102が水平方向に回転する。本実施形態のネットワークカメラのパン駆動部は左右方向に-175度から+175度まで回転することができる。
チルト駆動部はターンテーブル1102の上に備えられたカメラヘッド支柱1103とカメラヘッド1104で構成され、カメラヘッド1104が垂直方向に回転する。本実施形態のネットワークカメラのチルト駆動部は水平方向を0度として斜め下方向-45°から真上方向90度まで回転することができる。
このように本実施形態のネットワークカメラは、カメラヘッドを水平方向及び垂直方向に回転することで撮影方向を変えて撮影することができる。また、このパンチルト駆動部を用いて、振れ検出部で検出した振れをキャンセルするようにカメラヘッドを駆動することで、振れを低減した画像を撮影する構成となっている。
図3はPT防振制御中のカメラヘッドの動きを示す図である。図3において、1104Aは振れがない状態のカメラヘッド、1104Bは振れにより前方に傾いた状態のカメラヘッド、1104Cは振れにより後方に傾いた状態のカメラヘッド、2001は撮影方向を示している。
図3において、振れがない状態では1104Aで示すようにカメラヘッドが水平方向を向き、1201で示す撮影方向を撮影している。この状態から1104Cで示すようにカメラが設置面の振れにより後方に傾いた場合には、チルト角度を下方向に制御することで、1201で示す撮影方向を維持する。また1104Bで示すようにカメラが設置面の振れにより前方に傾いた場合には、チルト角度を上方向に制御することで、1201で示す撮影方向を維持する。このようにPT防振制御では、設置面の振れによるカメラッドの傾きを検出し、撮影方向を維持するようにPT駆動部を制御することで、振れを低減した画像を撮影する。
図4はPT防振制御処理S1000を例示したフローチャートである。カメラが撮影開始するとパンチルトズーム制御部1008は、S1000の処理に進む。
ステップS1001で、パンチルトズーム制御部1008は、振れ検出部1004よりパン方向の角速度、およびチルト方向の角速度を取得する。
ステップS1002で、パンチルトズーム制御部1008は、取得したパン方向の角速度を積分しパン角度値を算出する。また取得したチルト方向の角速度を時間積分によりチルト角度値を算出する。
ステップS1003で、画像処理部1002は、動きベクトルを算出する。動きベクトルは、例えばブロックマッチングを用いて求める。ブロックマッチングでは、画像全体を例えば16画素×16画素のブロックに分割する。分割した一つのブロックについて、前フレームの中をスライドさせていき、最も合致する箇所を探索する。合致の判定については、ブロック内の各画素について輝度差の絶対値を取り、その総和を評価値とし、この評価値が最小となる箇所を探す。前フレームで最も合致した箇所の位置と現在のフレームの位置より対象ブロックの移動量を動きベクトルとして求める。他のブロックも同様に探索し、全てのブロックについて動きベクトルを求める。こうして算出した各ブロックの動きベクトルについて、平均をとり画像全体としての動きベクトルを求める。パンチルトズーム制御部1008は、画像処理1002で求めた動きベクトルを取得する。
ステップS1004で、パンチルトズーム制御部1008は、動きベクトルをパン(水平)方向とチルト(垂直)方向に分解し、また角度値に変換しパン角度値及びチルト角度値を算出する。
ステップS1005で、パンチルトズーム制御部1008は、算出したパン角度値をよりパン方向の補正角度(補正量)を算出する。また算出したチルト角度値よりチルト方向の補正角度(補正量)を算出する。補正角度は振れにより発生した角度分をキャンセルするよう算出する。例えばチルト角度値0.1度となる場合、補正角度は-0.1度とする。ジャイロセンサーで検出した振れと動きベクトルで検出した振れについてはその特性により有効な情報を利用する。例えば、低い周波数の振れは動きベクトルの振れ検出方法を主に利用し、一方高い周波数の振れは、ジャイロセンサーの振れ検出方法を主に利用するなど使い分ける。
ステップS1006で、パンチルトズーム制御部1008は、算出したパン方向およびチルト方向の補正角度に応じて、パン駆動部1006、およびチルト駆動部1007に駆動指示を行い、処理を終了する。
上記の通り、PT防振制御ではパン方向およびチルト方向それぞれ検出した振れに応じてその振れをキャンセルするようにパンチルト駆動部を制御し振れを低減する。
図5は、本実施形態のカメラが船に設置され、海の方向を撮影した際の撮影画像の例を示す図である。図5において、2001は広角端での撮像画角、2002は振れ検出領域、2003A及び2003BはPTZ指定画角(撮像範囲)、2004は振れ検出可能画角を示している。
図5のように広角端での撮影画角2001では、画像の上部に島影が含まれるよう撮影されている。2002で示すこれらの領域では固定しておりかつエッジ等特徴点をもつ被写体が含まれており動きベクトルにより振れが検出可能となる。それ以外の領域では、空や海など特徴点が少ない領域のため振れが正しく検出できない。広角端の撮影画角2001では、2002で示す振れ検出可能領域を利用して先の説明のように動きベクトルを用いて振れを検出し、検出した振れに応じて防振制御を行う。
この状態からPTZ操作により画角が変化する場合、例えば2003Aで示す画角に変化した場合には、撮影画角の中に動きベクトル検出可能領域2002が含まれているため、振れは検出可能であり、防振制御が有効に行える状態となる。一方、2003Bで示す画角に変化した場合には、撮影画角の中に動きベクトル検出可能領域2002が含まれていないため、振れを正しく検出することができない。そのため防振制御が有効に行えず振れのある画像となってしまう。そこで指定された2003Bの画角まで光学ズームするのではなく、その画角より広角側の動きベクトル検出可能領域2002を含む2004で示す画角までに光学ズームを制限させることで、動きベクトルによる振れ検出可能となる。これにより、防振制御を有効に行える状態を維持し、振れを低減した画像を撮影することができる。
図6はズーム制御処理S2000を例示したフローチャートである。カメラがPTZ操作指示を受けるとパンチルトズーム制御部1008は、S2000の処理に進む。
ステップS2001で、パンチルトズーム制御部1008は、振れ検出領域を抽出する。振れ検出領域の抽出では、動きベクトルを正しく検出することができる固定しておりかつエッジ等特徴点をもった被写体を含む領域を抽出する。例えば、エッジ検出を用いて画像の中で輝度が急に変化している箇所を検出し、撮影画像中の物体の輪郭を抽出する。その輪郭で囲われた領域を振れ検出領域とする。例えば、図5における2002で示す箇所を振れ検出領域として抽出する。
ステップS2002で、パンチルトズーム制御部1008は、振れ検出領域が指定された画角に含まれているか否かを判定する。含まれる場合はS2003、含まれない場合はS2004の処理に進む。
ステップS2003で、パンチルトズーム制御部1008は、指定された画角まで光学ズームを行う。
ステップS2004で、パンチルトズーム制御部1008は、振れ検出可能画角を算出する。振れ検出可能画角の算出では、指定された画角を中心に広角側に広げ、ステップ2001で抽出した振れ検出領域が含まれる画角を算出する。例えば、広角端の画角を水平40度、垂直30度とし、その中心を0度として水平-20度から+20度、垂直-15度から+15度の座標で表すとする。その中で、振れ検出領域が水平-17度から+5度、垂直8度から9.5度とする。そして、パン+10度、チルト+2度、ズームを水平画角で16度のPTZ操作が指示されたとする。PTZ操作された時の画角を座標上で表現すると、水平+2度から+18度、垂直-4度から+8度までの範囲となり、振れ検出領域を含まない範囲となっている。この状態から振れ検出領域を含む範囲まで広げる。
指定画角の範囲垂直8度と振れ検出領域の範囲垂直9.5度よりその差分は、
9.5-8=1.5度
となる。垂直画角を上下1.5度ずつ広げると、-5.5度から+9.5度までの15度となり、そのとき垂直画角は、
15×4/3=20度
となる。画角範囲は水平0度から+20度、垂直-5.5度~+9.5度の範囲となり、振れ検出領域を含む画角となる。このように振れ検出可能画角は20度と求める。
9.5-8=1.5度
となる。垂直画角を上下1.5度ずつ広げると、-5.5度から+9.5度までの15度となり、そのとき垂直画角は、
15×4/3=20度
となる。画角範囲は水平0度から+20度、垂直-5.5度~+9.5度の範囲となり、振れ検出領域を含む画角となる。このように振れ検出可能画角は20度と求める。
例としては指定された画角を中心に画角を広角に広げるよう求めたが、これに限らない。例えば、指定画角の中心を振れ検出領域側にずらすことで、振れ検出領域を含めるために画角を広げる範囲を狭めることができ、より光学ズームの利用制限を低減することができる。
ステップS2005で、パンチルトズーム制御部1008は、振れ検出可能画角まで光学ズームを行い、処理を終了する。
以上、説明した通り、動きベクトルによる振れ検出を用いた防振制御において、撮影画像の中の動きベクトル検出可能な領域を抽出し、抽出領域が画角(視野)から外れないような光学ズーム値を求める。そして、この光学ズーム値を用いてズーム制御することで、どのような画角においても防振性能を考慮した画角制御を行うことができる。
尚、本実施形態では、振れ検出領域を含むようにズーム動作を制限する方法を示したがこれに限らない。例えば、制限した光学ズームでの画角から、指定の画角までをデジタルズームするとしても構わない。これにより防振性能を維持しながら指定された画角を撮影し、画角指定の制限を低減することができる。
図7はデジタルズームを利用したズーム制御処理S3000を例示したフローチャートである。カメラがPTZ操作指示を受けるとパンチルトズーム制御部1008は、S3000の処理に進む。
ステップS3001で、パンチルトズーム制御部1008は、先に説明した方法と同様に振れ検出領域を抽出する。
ステップS3002で、パンチルトズーム制御部1008は、振れ検出画角が指定された画角に含まれているか否かを判定する。含まれる場合はS3003、含まれない場合はS3004の処理に進む。
ステップS3003で、パンチルトズーム制御部1008は、指定された画角まで光学ズームを行う。
ステップS3004で、パンチルトズーム制御部1008は、先に説明した方法と同様に振れ検出可能画角を算出する。
ステップS3005で、パンチルトズーム制御部1008は、デジタルズーム倍率を算出する。例えば、先に説明した例のように指定画角16度に対して、振れ検出可能画角20度として光学ズームを制限した場合、
20/16=1.25
より、デジタルズーム倍率を1.25倍とする。
20/16=1.25
より、デジタルズーム倍率を1.25倍とする。
ステップS3006で、パンチルトズーム制御部1008は、振れ検出画可能角まで光学ズームを行う。
ステップS3007で、パンチルトズーム制御部1008は、デジタルズーム倍率までデジタルズームを行い、処理を終了する。
また、本実施形態では、動きベクトルによる振れ検出領域を含むようにズーム動作を制限する方法を示したがこれに限らない。例えば、状況によっては多少振れを許容しても光学ズームを利用したい場合も考えられる。そこで、防振制御を優先して光学ズームを制限する制御方法と、別に振れを許容して光学ズームを優先する制御方法とを用意し、その制御方法を切り替え可能にするとしてもよい。
また、本実施形態では、動きベクトルによる振れ検出領域を含むようにズーム動作を制限する方法を示したがこれに限らない。例えば動きベクトルによる振れ検出手段と、ジャイロセンサー等の動きベクトルとは別の振れ検出手段との複数の振れ検出手段を備えることができる。動きベクトルによる振れ検出が有効な画角においては、動きベクトルによる振れ検出手段で検出した振れを主に利用する。また、動きベクトルによる振れ検出が有効でない画角においては、動きベクトルとは別の振れ検出手段で検出した振れを主に利用して防振制御を行うことができる。
また、本実施形態では、防振制御手段として、パンチルト駆動部により振れ補正を行うPT防振制御手段を示したがこれに限らない。例えば、光学的に振れを補正する光学防振制御手段(補正光学系)や、画像切り出しにより振れを補正する電子防振制御手段を用いても構わない。
(第2の実施形態)
次に、図8を参照し、本発明の第2の実施形態について、防振制御による振れ残りの大きさを考慮した場合を主に説明する。第1の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、第1の実施形態との相違点を中心に説明する。このような説明の省略の仕方については、後述する他の実施形態でも同じである。
次に、図8を参照し、本発明の第2の実施形態について、防振制御による振れ残りの大きさを考慮した場合を主に説明する。第1の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、第1の実施形態との相違点を中心に説明する。このような説明の省略の仕方については、後述する他の実施形態でも同じである。
図8は、本実施形態のカメラが船に設置され、海の方向を撮影した際の防振制御の振れ残りが異なる際の撮影画像の例を示す図である。図8において、2001は広角端での撮像画角、2002は振れ検出領域、2003はPTZ操作画角、2004Aは振れ残りが大きい場合の振れ検出可能画角、2004Bは振れ残りが小さいときの振れ検出可能画角を示している。
図8において、2003の画角が指定された場合に、先の第1の実施形態で説明したように指定された2003の画角まで光学ズームするのではなく、その画角より広角側の振れ検出可能領域2002を含む2004Aで示す画角までに光学ズームを制限する。これにより、動きベクトルによる振れ検出が可能で、防振制御を有効に行える状態を維持することができる。
PT防振制御において、PT駆動部の応答性を超える大きさや周波数の振れに対しては、その振れに追従できず振れ残りが発生する。振れ検出領域を画角の端にぎりぎり含まれるような状態で振れ検出可能画角を設定すると、防振制御で振れ残りが発生した状況では、振れ検出領域が画角から外れてしまう。そこで振れ検出可能画角の設定では、振れ残りが発生しても振れ検出領域が画角から外れないようにマージンを設ける必要がある。ただし、マージンを大きく取りすぎると、光学ズームの使用範囲の制限を広げてしまうことになる。そこで、振れ残りの大きさによって振れ検出領域を変更し、振れ残りが小さい場合には、振れ検出可能領域を小さく抑える。これにより、振れ検出可能画角を適切に設定し、不要な光学ズームの使用範囲の制限を低減することができる。
本実施形態の処理について、図6のフローチャートを用いて、同様の処理は省略し、異なる処理を中心に説明を行う。カメラがPTZ操作指示を受けるとパンチルトズーム制御部1008は、S2000の処理に進む。
ステップS2001からS2003までは先の説明と同様に処理を行う。
ステップS2004で、パンチルトズーム制御部1008は、振れ検出可能角度を算出する。ここでは先の説明の例と同様に振れ検出可能角度を20度とする。そこに振れ残り角度を考慮したマージンを加算する。例えば、チルト方向の振れ角度が1.5度とし、その振れの周波数で応答可能なチルト角度が1度とすると、振れ残り角度は、
1.5-1=0.5
0.5度となる。振れ検出可能角度は、20度にマージン0.5度を加算し、20.5度と求める。また例えば、別の条件で応答可能なチルト角度が1.2度とすると、振れ残り角度は、
1.5-1.2=0.3
0.3度となる。振れ検出可能角度は、20度にマージン0.3度を加算し、20.3度と求める。
1.5-1=0.5
0.5度となる。振れ検出可能角度は、20度にマージン0.5度を加算し、20.5度と求める。また例えば、別の条件で応答可能なチルト角度が1.2度とすると、振れ残り角度は、
1.5-1.2=0.3
0.3度となる。振れ検出可能角度は、20度にマージン0.3度を加算し、20.3度と求める。
以降の処理は、先の説明と同様に処理を行う。
以上、説明した通り、動きベクトルによる振れ検出を用いた防振制御において、撮影画像の中の動きベクトル検出可能な領域を抽出し、振れ残りの大きさに応じて画角から外れないような光学ズーム値を求める。この光学ズーム値を用いてズーム制御することで、どのような画角においても防振性能を考慮した画角制御を行い、さらに光学ズームの使用範囲の制限を低減することができる。
(第3の実施形態)
次に、図9を参照し、本発明の第3の実施形態について、振れ検出領域が複数ある場合を主に説明する。第1の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、第1の実施形態との相違点を中心に説明する。
次に、図9を参照し、本発明の第3の実施形態について、振れ検出領域が複数ある場合を主に説明する。第1の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、第1の実施形態との相違点を中心に説明する。
図9は、本実施形態のカメラが船に設置され、海の方向を撮影した際の振れ検出領域が複数ある場合の撮影画像の例を示す図である。図9において、2001は広角端での撮像画角を示す。また、2002A及び2002Bは振れ検出領域を示す。また、2003C及び2003DはPTZ指定画角を示す。また、2004Cは2003Cの画角が指定された場合の振れ検出可能画角を示す。また、2004Dは2003Dが指定された場合の振れ検出可能画角を示す。
図9のように広角端での撮影画角2001では、画像の上部の右側と左側に2か所島影が含まれるよう撮影されている。2002Aと2002Bで示す領域では固定しておりかつエッジ等特徴点を持つ被写体が含まれており動きベクトルにより振れが検出可能となる。広角端の撮影画角2001では、2002Aと2002Bで示す振れ検出可能領域を利用して先の説明のように動きベクトルを用いて振れを検出し、検出した振れに応じて防振制御を行う。
このように振れ検出領域が複数個所ある状況において、振れ検出可能画角を設定する際には、指定された画角に対して、より近い方の振れ検出領域を選択した方が指定画角により近い画角まで光学ズームを使用することができる。例えば、画角2003Cが指定の場合には、2002Aの振れ検出領域を含むよう振れ検出可能画角を2004Cのように設定し、一方、画角2003Dが指定された場合には、2002Bの振れ検出領域を含むよう振れ検出可能画角を2004Dのように設定する。これにより、光学ズームの使用範囲の制限を低減することができる。
本実施形態の処理について、図6のフローチャートを用いて、同様の処理は省略し、異なる処理を中心に説明を行う。カメラがズーム指定されるとパンチルトズーム制御部1008は、S2000の処理に進む。
ステップS2001で、パンチルトズーム制御部1008は、振れ検出領域を抽出する。先の説明と同様の方法により抽出し、本例では図9で示す2002Aと2002Bの2つの領域を抽出する。
以降、ステップS2002からS2003までは先の説明同様の処理を行う。
ステップS2004で、パンチルトズーム制御部1008は、振れ検出可能画角を算出する。振れ検出領域として、抽出した2002Aと2002Bの2か所の領域と指定された画角とを比較し、近い方を選択する。
例えば、広角端の画角を水平40度、垂直30度とし、その中心を0度として水平-20度から+20度、垂直-15度から+15度の座標で表すとする。その中で、一つの振れ検出領域が水平-17度から―7度、垂直8度から9.5度とし、もう一つの振れ検出領域が水平10度から15度、垂直8度から9.5度とする。そして、パン+10度、チルト+2度、ズームを水平画角で16度のPTZ操作が指示されたとする。PTZ操作された時の画角を座標上で表現すると、水平+2度から+18度、垂直-4度から+8度までの範囲となり、振れ検出領域を含まない範囲となっている。
ここで、指定画角の重心座標は、
水平 (18-2)/2+2=10度
垂直 (8-(-4))/2-4=2度
振れ検出領域2002Aの重心の座標は、
水平 (-7-(-17))/2-17=-12度
垂直 (9.5-8)/2+8=8.75度
また、もう一つの振れ検出領域2002Bの重心の座標は、
水平 (15-10)/2+10=12.5度
垂直 (9.5-8)/2+8=8.75度
指定画角の重心と振れ検出領域2002Aの重心との距離は、
水平 (18-2)/2+2=10度
垂直 (8-(-4))/2-4=2度
振れ検出領域2002Aの重心の座標は、
水平 (-7-(-17))/2-17=-12度
垂直 (9.5-8)/2+8=8.75度
また、もう一つの振れ検出領域2002Bの重心の座標は、
水平 (15-10)/2+10=12.5度
垂直 (9.5-8)/2+8=8.75度
指定画角の重心と振れ検出領域2002Aの重心との距離は、
一方、指定画角の重心と振れ検出領域2002Bの重心との距離は、
求めた指定画角との距離を比較し、指定画角は振れ検出領域2002Bの方が近いため振れ検出領域として2002Bを選択する。
選択した振れ検出領域2002Bを含むように指定画角に対して先の説明と同様に、振れ検出可能画角を算出する。以降の処理は、先の説明と同様の処理を行う。
以上、説明した通り、動きベクトルによる振れ検出を用いた防振制御において、撮影画像の中の動きベクトル検出可能な領域を複数個所抽出する。そして、指定画角によって複数の抽出領域から指定画角に近い方を選択する。そして、選択した抽出領域が画角から外れないような光学ズーム値を求める。この光学ズーム値を用いてズーム制御することで、どのような画角においても防振性能を考慮した画角制御を行い、さらに光学ズームの使用範囲の制限を低減することができる。
(第4の実施形態)
次に、図10を参照し、本発明の第4の実施形態について、振れ検出とパンチルトズームを別の鏡筒で行う構成について主に説明する。第1の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、第1の実施形態との相違点を中心に説明する。
次に、図10を参照し、本発明の第4の実施形態について、振れ検出とパンチルトズームを別の鏡筒で行う構成について主に説明する。第1の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、第1の実施形態との相違点を中心に説明する。
図10は、本実施形態に係るネットワークカメラの機能ブロック構成図である。ネットワークカメラ1000は、ネットワーク3000を介して不図示のクライアント装置(情報処理装置)と相互に通信可能な状態に接続されている。
図10を参照して、ネットワークカメラ1000の各部構成と機能について説明する。
ネットワークカメラ1000は、1010で示す第1の鏡筒部と2003で示す第2の鏡筒部を備える。第1の鏡筒部1010は、第1の実施形態で説明したものと同様に、第1の撮像部1001、第1の画像処理部1002、振れ検出部1004、ズーム駆動部1005、パン駆動部1006、チルト駆動部1007、パンチルトズーム制御部1008を備える。また、第2の鏡筒部4003は、第2の撮像部4001、第2の画像処理部4002を備える。また、これら第1の鏡筒部1010、及び第2の鏡筒部4003に加え、システム制御部1003、通信部1009で構成される。
第1の鏡筒部は、第1の実施形態で説明したように、パンチルトズームによる画角変更、及びパンチルト駆動部により防振制御が可能となっている。ただし、本実施形態では、第1の画像処理部1002にて、動きベクトルを用いた画像の振れの検出処理は行わない。
第2の撮像部4001は、レンズ、撮像素子及びその制御群から構成され、被写体の撮像及び電気信号への変換を行う。また第2の撮像部は広角画角を撮影可能なレンズを備える。第2の画像処理部4002は、第2の撮像部4001において撮像、光電変換された信号の所定の現像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部1003へ伝達する。また、第2の画像処理部4002において、第2の撮像部4001で撮影した画像を解析し動きベクトルを用いて画像の振れを検出する処理を行う。検出した振れの情報は、パンチルトズーム制御部1008に伝達し、後述する防振制御に用いる。
システム制御部1003は、通信部1009を介して、第1の画像処理部1002で生成された画像データ、及び第2の画像処理部4002で生成された画像データをクライアント装置に配信する。
また、通信部1009は、クライアント装置から送信される第1の鏡筒部1010のカメラ制御コマンド、及び第2の鏡筒部4003のカメラ制御コマンドを受信し、システム制御部1003へ伝達する。またカメラ制御コマンドに対するレスポンスをクライアント装置へ送信する。システム制御部1003は、伝達されたカメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、第1の画像処理部1002、または第2の画像処理部4002に対して画質の設定指示を行う。第1の画像処理部1002、及び第2の画像処理部4002は伝達された指示に基づいて、画像処理を行う。
このように、本実施形態における撮像装置は、パンチルトズームによる画角変更、及びパンチルト駆動部により防振制御が可能な第1の鏡筒部と、第1の鏡筒部とは別の広角で撮影可能な第2の鏡筒部との2つの鏡筒部を備える。そして、第2の鏡筒部で撮影した広角の撮像画像に対して動きベクトルによる振れ検出処理を行い、そこで検出した振れを用いて第1の鏡筒部において防振制御を行う。これにより、光学ズームの使用範囲の制限を無くすことができる。
本実施形態の処理について、図4のフローチャートを用いて、同様の処理は省略し、異なる処理を中心に説明を行う。カメラが撮影開始するとパンチルトズーム制御部1008は、S1000の処理に進む。
ステップS1001からS1002までは先の説明と同様に処理を行う。
ステップS1003で、第2の画像処理部4002は、先の説明と同様に動きベクトルを求める。パンチルトズーム制御部1008は、第2の画像処理部4002で求めた動きベクトルを取得する。
ステップS1004からS1006までは先の説明と同様に処理を行う。
このように、パン方向およびチルト方向それぞれ検出した振れに応じてその振れをキャンセルするようにパンチルト駆動部を制御し振れを低減する。
以上、説明した通り、第2の鏡筒部で撮影した広角の撮像画像に対して動きベクトルによる振れ検出処理を行う。そして、第2の鏡筒部で検出した振れを用いて第1の鏡筒部において防振制御を行う。これによって、どのような画角においても防振性能を維持し、さらに光学ズームの使用範囲の制限を無くすことができる。
なお、本実施形態では、パンチルトズームによる画角変更、及びパンチルト駆動部により防振制御が可能な第1の鏡筒部と、第1の鏡筒部とは別の第2の鏡筒部との二つの鏡筒部を備えた撮像装置という構成を示したがこれに限らない。例えば、第2の撮像装置で常に広角の撮像画像に対して動きベクトルによる振れ検出処理を行い、そこで検出した振れを第1の撮像装置に伝達し、伝達された振れを用いて第1の撮像装置にて防振制御を行うとしてもよい。
(その他の実施形態)
本発明における制御の一部または全部を上述した実施形態の機能を実現するプログラム(ソフトウェア)をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
本発明における制御の一部または全部を上述した実施形態の機能を実現するプログラム(ソフトウェア)をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
Claims (10)
- 撮像光学系による像を撮像する撮像手段と、
前記撮像光学系の画角を変更するズーム駆動手段と、
前記撮像手段が撮像した画像において動きベクトルを検出可能な領域を抽出する抽出手段と、
前記抽出手段により抽出した前記領域の動きベクトルに基づいて前記像の振れ量を検出する振れ検出手段と、
前記振れ検出手段により検出した前記振れ量に基づいて前記像の振れを補正する振れ補正手段と、
前記抽出手段により抽出した前記領域が前記撮像光学系の視野から外れないように前記ズーム駆動手段を制御する制御手段と、
を有することを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記撮像光学系をパン方向に駆動するパン駆動手段と
前記撮像光学系をチルト方向に駆動するチルト駆動手段と
をさらに有し、
前記振れ補正手段は、前記振れ検出手段により検出した前記振れ量に応じて前記パン駆動手段とチルト駆動手段の少なくとも一方を用いて前記撮像光学系を駆動することにより前記像の振れを補正することを特徴とする撮像装置。 - 請求項1又は2に記載の撮像装置において、
前記撮像光学系は、振れ補正光学系を有し、
前記振れ補正手段は、前記振れ検出手段により検出した前記振れ量に応じて前記振れ補正光学系の駆動を制御することにより前記像の振れを補正することを特徴とする撮像装置。 - 請求項1から3のいずれか一項に記載の撮像装置において、
前記振れ補正手段は、前記撮像手段により撮像した画像から、前記振れ検出手段により検出した振れ量に応じた範囲を切り出すことにより前記像の振れを補正することを特徴とする撮像装置。 - 請求項1から4のいずれか一項に記載の撮像装置において、
前記制御手段は、前記ズーム駆動手段により光学ズームすると前記抽出手段により抽出した前記領域が前記撮像光学系の視野から外れる場合には、デジタルズームを行うように前記撮像手段を制御することを特徴とする撮像装置。 - 請求項1から5のいずれか一項に記載の撮像装置において、
前記制御手段は、前記振れ検出手段により検出した前記像の振れ量と前記振れ補正手段により補正した補正量との差分に基づいて、前記ズーム駆動手段を制御することを特徴とする撮像装置。 - 請求項1から6のいずれか一項に記載の撮像装置において、
撮像範囲の指定を受け付ける受付手段をさらに有し、
前記制御手段は、前記抽出手段により抽出した複数の領域のうち前記受付手段が指定を受け付けた撮像範囲に近い領域が前記撮像光学系の視野に含まれるように前記ズーム駆動手段を制御することを特徴とする撮像装置。 - 撮像装置を制御する方法であって、
撮像光学系による像を撮像する撮像ステップと、
前記撮像ステップが撮像した画像において動きベクトルを検出可能な領域を抽出する抽出ステップと、
前記抽出ステップにより抽出した前記領域の動きベクトルに基づいて前記像の振れ量を検出する振れ検出ステップと、
前記振れ検出ステップにより検出した前記振れ量に基づいて前記像の振れを補正する振れ補正ステップと、
前記抽出ステップにより抽出した前記領域が前記撮像光学系の視野から外れないように前記撮像光学系の光学ズームを制御する制御ステップと、
を有することを特徴とする方法。 - コンピュータに撮像装置を制御する方法を実行させるためのプログラムであって、前記方法は、
撮像光学系による像を撮像する撮像ステップと、
前記撮像ステップが撮像した画像において動きベクトルを検出可能な領域を抽出する抽出ステップと、
前記抽出ステップにより抽出した前記領域の動きベクトルに基づいて前記像の振れ量を検出する振れ検出ステップと、
前記振れ検出ステップにより検出した前記振れ量に基づいて前記像の振れを補正する振れ補正ステップと、
前記抽出ステップにより抽出した前記領域が前記撮像光学系の視野から外れないように前記撮像光学系の光学ズームを制御する制御ステップと、
を有することを特徴とするプログラム。 - 請求項9に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020115057A JP2022012896A (ja) | 2020-07-02 | 2020-07-02 | 撮像装置、方法、プログラム及び記憶媒体 |
US17/362,200 US20220006957A1 (en) | 2020-07-02 | 2021-06-29 | Imaging apparatus for shake correction of captured image, method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020115057A JP2022012896A (ja) | 2020-07-02 | 2020-07-02 | 撮像装置、方法、プログラム及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022012896A true JP2022012896A (ja) | 2022-01-17 |
JP2022012896A5 JP2022012896A5 (ja) | 2023-07-06 |
Family
ID=79167361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020115057A Pending JP2022012896A (ja) | 2020-07-02 | 2020-07-02 | 撮像装置、方法、プログラム及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220006957A1 (ja) |
JP (1) | JP2022012896A (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6995561B2 (ja) * | 2017-10-23 | 2022-01-14 | キヤノン株式会社 | 像ブレ補正装置およびその制御方法、撮像装置 |
CN114641985A (zh) * | 2019-10-29 | 2022-06-17 | 富士胶片株式会社 | 摄像支援装置、摄像支援系统、摄像系统、摄像支援方法及程序 |
-
2020
- 2020-07-02 JP JP2020115057A patent/JP2022012896A/ja active Pending
-
2021
- 2021-06-29 US US17/362,200 patent/US20220006957A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220006957A1 (en) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100478728C (zh) | 用于图像拍摄设备的系统和方法 | |
US8004570B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
EP1677521B1 (en) | Auto focus system | |
US5650819A (en) | Image pickup apparatus | |
JP2005215040A (ja) | オートフォーカスシステム | |
JP2006258944A (ja) | オートフォーカスシステム | |
JP2006267221A (ja) | オートフォーカスシステム | |
JP2008160300A (ja) | 画像処理装置及び撮像装置 | |
JP4645413B2 (ja) | 撮像装置 | |
JP4487811B2 (ja) | 撮影装置 | |
JP4596246B2 (ja) | オートフォーカスシステム | |
JP2006343496A (ja) | 自動合焦装置 | |
US20070058049A1 (en) | Image sensing apparatus and method of controlling the same | |
JP2005338352A (ja) | オートフォーカスシステム | |
JP2017173480A (ja) | フォーカス制御装置、撮像装置及びフォーカス制御方法 | |
JP2006058431A (ja) | オートフォーカスシステム | |
US7965935B2 (en) | Control device and method for camera unit and program for implementing the control method | |
JP2006267220A (ja) | オートフォーカスシステム | |
JP2022012896A (ja) | 撮像装置、方法、プログラム及び記憶媒体 | |
JP2007049266A (ja) | 画像撮像装置 | |
JP2009169884A (ja) | 撮影装置および撮影装置の制御方法、画像再生装置および方法並びにプログラム | |
JP6351255B2 (ja) | 撮像装置及び撮像方法、プログラム、記憶媒体 | |
US8994846B2 (en) | Image processing apparatus and image processing method for detecting displacement between images having different in-focus positions | |
JP2016219905A (ja) | 撮像装置、その制御方法、および制御プログラム | |
CN111885309A (zh) | 一种全景图像采集方法和全景相机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20200731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230628 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |