JP2020067593A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2020067593A JP2020067593A JP2018200980A JP2018200980A JP2020067593A JP 2020067593 A JP2020067593 A JP 2020067593A JP 2018200980 A JP2018200980 A JP 2018200980A JP 2018200980 A JP2018200980 A JP 2018200980A JP 2020067593 A JP2020067593 A JP 2020067593A
- Authority
- JP
- Japan
- Prior art keywords
- image
- predetermined
- position information
- focus position
- predetermined subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 14
- 238000009434 installation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 75
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Lens Barrels (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明はあおり技術を用いた撮像装置に関する。 The present invention relates to an image pickup device using a tilt technique.
従来、夜間に監視カメラを用いて不審人物等の識別や追跡を行う際には、絞りを開放にして画像の明るさをアップする場合が多い。しかし絞りを開放にすると被写界深度が浅くなってしまいピントが合いにくくなってしまう問題がある。一方、撮像素子またはレンズの相対角度、特に相対的なチルト角度を変更するあおり技術が特許文献1に開示されている。このあおり技術を用いると、所定の高さにおいてピントが合う範囲を広げることができる。
Conventionally, when identifying and tracking a suspicious person or the like using a surveillance camera at night, the brightness of an image is often increased by opening a diaphragm. However, when the aperture is opened, there is a problem that the depth of field becomes shallow and it becomes difficult to focus. On the other hand,
しかしあおり角度を手動で調整することは非常に面倒であるため、簡便にあおり角度を決定したいといった要望がある。さらには、あおりの角度決定はフォーカス位置(フォーカスレンズの位置または被写体までの距離)に依存する。そのため簡便にあおり角度を決めるためには、あおり角度とフォーカス位置の両方のパラメータの組み合わせを変えつつ探索する必要が生じ、非常に時間がかかるといった課題がある。また例えば、特許文献2においては、映像解析により求めた傾斜角を元にあおり角度を制御する技術が開示されている。 However, manually adjusting the tilt angle is very troublesome, and there is a demand for easily determining the tilt angle. Furthermore, the tilt angle determination depends on the focus position (the position of the focus lens or the distance to the subject). Therefore, in order to easily determine the tilt angle, it is necessary to search while changing the combination of both parameters of the tilt angle and the focus position, which is very time-consuming. Further, for example, Patent Document 2 discloses a technique for controlling the tilt angle based on the tilt angle obtained by image analysis.
しかしながら、上述の特許文献に開示された従来技術では、フォーカス位置の決定をする際に、画像の中心の光軸周辺に被写体が写るように、あらかじめ調整するための煩雑な作業が必要であるという問題があった。
そこで、本発明の目的は、人の顔などが画像の中心等に存在しない場合においても、手前から奥まで顔などの高さに簡単にピント合わせやすい撮像装置を提供することにある。
However, in the prior art disclosed in the above-mentioned patent document, when determining the focus position, it is necessary to perform a complicated work for adjusting in advance so that the subject is imaged around the optical axis at the center of the image. There was a problem.
Therefore, it is an object of the present invention to provide an imaging device in which it is easy to focus on the height of a face or the like from the near side to the back even when a person's face or the like does not exist in the center of an image or the like.
上記目的を達成するために、本発明は、撮像装置であって、
画像中の所定被写体を画像認識により検出する画像認識手段、
前記画像認識手段により検出された前記所定被写体の数が所定の条件を満たすまで前記所定被写体のフォーカス位置情報を取得する取得手段、
前記取得手段によって取得された前記所定被写体のフォーカス位置情報に基づき、レンズと撮像素子の相対的なあおり角を制御するあおり角制御手段、を有することを特徴とする。
In order to achieve the above object, the present invention provides an imaging device,
Image recognition means for detecting a predetermined subject in the image by image recognition,
An acquisition unit that acquires focus position information of the predetermined subject until the number of the predetermined subjects detected by the image recognition unit satisfies a predetermined condition,
A tilt angle control means for controlling a relative tilt angle between the lens and the image pickup device based on the focus position information of the predetermined subject acquired by the acquisition means.
本発明によれば被写体の顔などが画像の中心等に存在しない場合においても、手前から奥まで顔などの高さに簡単にピント合わせやすい撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging device in which it is easy to easily focus on the height of a face or the like from the front side to the back side even when the face of the subject does not exist in the center of the image or the like.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図1は本発明の実施例のシステム構成図である。監視カメラ100、ならびにクライアント装置200がネットワーク300を介して相互に接続される。
監視カメラ100はカメラを備えており、撮影した画像を、ネットワーク300を介して配信を行う。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a system configuration diagram of an embodiment of the present invention. The
The
クライアント装置200は監視カメラ100にアクセスし、画像を取得する。そして監視カメラ100の設定の変更ならびにフォーカスやあおり角などの制御が可能である。
The
説明の簡略化のために監視カメラは1台としているが、2台以上であっても構わない。また、クライアント装置200以外にも、監視カメラ100にアクセスして画像の受信や蓄積を行う他のクライアント装置があっても構わない。
For the sake of simplification of explanation, the number of surveillance cameras is one, but there may be two or more. In addition to the
ネットワーク300はEthernet(登録商標)等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成される。本発明においては各監視カメラ・クライアント間の通信が行えるものであればその通信規格、規模、構成を問わずLAN(Local Area Network)などを用いてもよい。
図2は監視カメラ100のブロック図である。コンピュータとして機能するCPU1101、1次記憶装置1102、2次記憶装置1103、画像キャプチャI/F(Interface、以降、I/Fと略す。)1105、カメラ制御I/F1108、画像検出I/F1109、ネットワークI/F1107が内部バス1104を介して相互に接続されている。
The
FIG. 2 is a block diagram of the
ここで1次記憶装置1102はRAMに代表される書き込み可能な高速の記憶装置で、OSや各種プログラム及び各種データがロードされ、またOSや各種コンピュータプログラムの作業領域としても使用される。
2次記憶装置1103はフラッシュメモリ、HDD、SDカード等に代表される不揮発性を持った記憶装置で、OSや各種コンピュータプログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。監視カメラ100の1次記憶装置1102及び2次記憶装置1103に置かれる各種コンピュータプログラム等の詳細については後述する。
画像キャプチャI/F1105には、CCDやCMOSなどの撮像素子とレンズを含むカメラユニット1106が接続され、カメラユニット1106から取得した画像データは所定のフォーマットに変換・圧縮して1次記憶装置1102に転送される。
The
The
The image capture I / F 1105 is connected to a
カメラ制御I/F1108にもカメラユニット1106が接続され、カメラ制御I/F1108から各種カメラ制御信号がカメラユニット1106に送られ、その結果がカメラ制御I/F1108に返信される。カメラユニット1106には撮像素子またはレンズを光軸に対して、チルト方向などに傾けるあおり制御機構が備えられている。被写体との距離を測定するために、被写体にレーザーを投光し、反射光を受光センサーなどで受信しその往復時間差に基づき被写体までの距離を測距するTOF(Time Of Flight)方式の距離計測機構を有してもよい。あるいはTOF方式に依らずに、所定のパターンのレーザーを照射して、反射した光のパターンの歪に基づいて距離を測定するパターン照射方式を採用してもよい。
The
画像検出I/F1109は、画像キャプチャI/F1105が生成した画像を元に、物体検出を行う。画像検出の方法としては、本実施例で説明する物体検出の他に、画像認識によって所定被写体を検出できればよく、所定被写体としては例えば、顔検出、人体検出、ナンバープレート検出であってもよい。
ネットワークI/F1107は前述のネットワーク300と接続するためのI/Fであり、Ethernet等の通信媒体を介してクライアント装置200等との通信を担う。
The image detection I / F 1109 performs object detection based on the image generated by the image capture I /
The network I /
図3は、監視カメラ100のソフトウェア構成図である。1次記憶装置1102上には、OS1000、プロトコル処理部1001、カメラ制御部1002、画像生成部1003及び、画像検出部1004がロードされる。
OS1000は監視カメラ全体を制御する基本プログラムである。OS1000の代表的な機能として、ファイルシステムなどの2次記憶装置1103管理機能、仮想記憶などのメモリ管理機能、マルチタスクなどのプロセス管理機能、ネットワークI/F1107の管理機能などが挙げられる。
FIG. 3 is a software configuration diagram of the
The OS 1000 is a basic program that controls the entire surveillance camera. Typical functions of the OS 1000 include a
プロトコル処理部1001は、クライアント装置200の要求に応じて、画像生成部1003が生成した画像データの配信や、要求に含まれる制御情報、情報取得などを実行する。プロトコル処理部1001は要求に対して、画像生成部1003、カメラ制御部1002、画像検出部1004に中継を行い、中継先からの結果をもとに、対応する応答をクライアント装置200に送信する。プロトコル処理部1001は、ネットワークI/F1107と通信媒体300を介して外部装置と通信を行う。制御情報にはフォーカス探索コマンドが含まれ、カメラ制御部1002へ中継を行う。
The
カメラ制御部1002はプロトコル処理部1001から受け取った制御情報をもとに、カメラ機能の制御を行うものである。代表的なものとしては、カメラユニット1106の制御および、制御結果の通知がある。制御情報としては、レンズの位置を決定するフォーカス制御、あおり角の決定をするあおり制御などが含まれる。カメラ制御部はフォーカス探索コマンドを受信した場合、画像検出部1004へフォーカス探索コマンドの送信を行い、それに合わせてフォーカスの動作を開始する。画像検出部1004からは、フォーカス探索結果を受け取り、その位置にフォーカスを移動させる。被写体との距離を測定する距離測定もカメラ制御部1002が行う。距離測定は、カメラユニット1106が有するTOF方式の制御であってもよいし、パターン照射方式の制御でもよい。カメラユニット1106にこれらの機構がない場合であっても、コントラスト方式を用いてレンズのフォーカス位置(ピントの合うレンズ位置=被写体までの距離に対応)を動かすことで距離を測定するようにしても良い。あるいは、撮像素子の画素配列の中に距離測定用の画素を配置してオートフォーカスを行う像面位相差方式を利用して距離を測定するようにしても良い。その他の制御としてカメラのズーム倍率を変えるズーム制御などが含まれても良い。
The
画像生成部1003はカメラユニット1106で生成された画像データを画像キャプチャI/F1105を経由して生成する。そして生成された画像データのエンコードを行う。エンコード方式はjpegであってもよいし、H264/AVC,H265/HEVCなどの画像圧縮のための符号化方式が適用可能である。
The
画像検出部1004は画像生成部1003が生成した映像をもとに、画像検出I/F1109の制御を行い、画像中の物体検出を行う。検出に使用する各種パラメータは、クライアント装置200からプロトコル処理部1001を中継し受信する。検出に使用するパラメータとしては、物体検出の閾値などが含まれる。画像検出部1004は検出結果を、プロトコル処理部1001を介し、クライアント装置200へ通知する。画像検出のアルゴリズムとしては、被写体の輪郭抽出や背景差分などの既存アルゴリズムを利用する。さらに画像検出部1004はカメラ制御部1002から受信したフォーカス探索コマンドを受信し、それに応じて画像検出を用いながら画像検出結果が多いフォーカス位置を探す。
The
以下、カメラのフォーカス制御やあおり制御について説明する。
図4はあおり制御の原理を説明するための図である。100が監視カメラであり、この監視カメラ100は垂直画角1306の範囲を写している。監視カメラ100のレンズの光軸が1303である。1304がフォーカスのフォーカス面(合焦位置)である。フォーカス面1304は光軸1303に対し垂直である。図4ではフォーカス位置が地面1305にある場合の例を示している。被写体距離をD、焦点距離をf、監視カメラの設置角をaとする。1302はレンズの光軸1303に対して撮像素子のセンサー面(受光面)をあおっていない(傾けていない)場合のセンサー面の角度を示している。レンズの光軸1303に対してセンサー面1302を、あおり角bだけ傾けた場合のセンサー面が1201である。するとフォーカス面1304が1308に傾くものとする。この時のあおり角bはシャインプルーフの原理より、以下の式(1)であらわされる。
b=arctan(f/(D・tan a))…(1)
この式を設置角aの式に変形すると、式(2)のように表現できる。
a=arctan(f/(D・tan b))…(2)
The focus control and tilt control of the camera will be described below.
FIG. 4 is a diagram for explaining the principle of tilt control.
b = arctan (f / (D · tan a)) ... (1)
If this equation is transformed into the equation of the installation angle a, it can be expressed as the equation (2).
a = arctan (f / (D · tan b)) (2)
図4のようにフォーカスが地面に平行になるようにすると、コントラスト方式におけるレンズの位置や、像面位相差方式により被写体距離Dをカメラユニット1106から取得することができる。fも焦点距離であるためカメラユニット1106から取得できる。さらにあおり角bもカメラユニット1106より取得可能であるため、式(2)の右辺のパラメータがすべて求まり、設置角aを取得することが可能となる。この設置角aはフォーカス位置が地面に平行になるようにするための設置角を意味する。
また、画角情報などと2点間の位置を利用するなどして設置角aを求めてもよい。
When the focus is made parallel to the ground as shown in FIG. 4, the lens position in the contrast method and the subject distance D can be acquired from the
Further, the installation angle a may be obtained by utilizing the angle of view information and the position between two points.
設置角aを求めることができると、フォーカス位置を地面から上の方に移動した場合においても、被写体距離Dおよび、焦点距離fは取得可能であるため、式(1)の右辺がすべて既知となりあおり角bを求めることができる。つまりフォーカス位置を例えば地面から上方にずらした場合においても、あおり角bの補正が容易にできることになる。即ち任意のフォーカス位置において、同じ高さの位置にピントを合わせることができるあおり角度bが得られることを意味している。 If the installation angle a can be obtained, the object distance D and the focal length f can be acquired even when the focus position is moved upward from the ground, and thus all the right sides of the equation (1) are known. The tilt angle b can be obtained. That is, even if the focus position is shifted upward from the ground, for example, the tilt angle b can be easily corrected. That is, it means that at any arbitrary focus position, a tilt angle b that can focus on the same height position can be obtained.
本実施例では説明を簡単にするために、撮像素子の長辺方向中心線を軸として撮像素子を上下にあおる(チルト回転させる)1軸の回転の例を用いて説明をした。しかし、更に撮像素子の短辺方向中心線を軸に撮像素子を左右にあおる(パン回転させる)2軸のあおり制御にも適用できる。また、本実施例では撮像素子のセンサー面の角度をレンズの光軸に対して変化させているが、逆にセンサー面に対してレンズの光軸を変化させてあおり制御をしてもよいことは言うまでもない。 In this embodiment, for simplification of description, an example in which the image pickup device is vertically rotated (tilt-rotated) about the center line in the long side direction of the image pickup device as an axis is described. However, the present invention can also be applied to two-axis tilt control in which the image sensor is placed on the left and right (pan rotation) about the center line in the short side direction of the image sensor. Further, in the present embodiment, the angle of the sensor surface of the image sensor is changed with respect to the optical axis of the lens, but conversely, the optical axis of the lens may be changed with respect to the sensor surface to perform tilt control. Needless to say.
図5は実施例のあおり制御の説明図である。図4の状態からフォーカス面を地面から上の方に移動させ、1402の高さ位置にフォーカス面が移動している。フォーカス面1402は、人1400、1401の顔の高さである。1402のフォーカス面であってもカメラの設置角aは変わらず、前述のとおり焦点距離はf、被写体距離はD2であり逐次取得できる。あおり角bに関しては、フォーカス面が1402に移動するため、シャインプルーフの原理により、あおり角が図4のbから図5のb2に変わる。b2は式(1)により算出可能である。
このように、一度求めた設置角aのままで、本実施例では1402のフォーカス位置を画像検出により探索する。なお図5では同じ高さの面として地面を例に出し説明を行ったが、高さが同じと分かるものであれば、その種類に依存せず天井、床、机などであってもかまわない。
FIG. 5 is an explanatory diagram of the tilt control of the embodiment. The focus surface is moved upward from the ground from the state of FIG. 4, and the focus surface is moved to the height position of 1402. The
In this way, in the present embodiment, the focus position of 1402 is searched by image detection with the installation angle a once determined. Although the ground is taken as an example of the surface having the same height in FIG. 5, the ceiling, floor, desk, etc. may be used as long as the surfaces have the same height regardless of the type. .
図6は顔検出の確からしさについて説明した図である。本実施例の監視カメラにおいては例えば不審者の顔を検出する場合には、顔ではないものを誤って検出(誤検出)よりも、顔であるものが検出されない(検出漏れ)の方が問題となるため、多少対象物体でないものであっても検出できるようにする。そして顔であると検出した場合には、クライアント装置の表示部に表示される人の顔画像に対して顔枠などを重畳して表示する。その際に顔であると認識して顔枠を重畳するか否かの判断基準として図6のような顔検出の確からしさを用いる。1500は顔検出の確からしさを数値化した軸であり、左に行くにつれ確からしさが高くなっている。1501,1502,1503,1504はそれぞれ人の顔のモデルの例である。左に行くにつれはっきりとした顔であることがわかる。1505は通常時の顔検出の範囲を表しており、確からしさ60%以上となっている。確からしさが60%以上であれば顔枠などを顔画像に重畳して表示する。
FIG. 6 is a diagram for explaining the certainty of face detection. In the surveillance camera of this embodiment, for example, when detecting a suspicious person's face, it is more problematic that a face is not detected (missing detection) than an erroneous detection of a non-face (erroneous detection). Therefore, even an object that is not a target object can be detected. When it is detected as a face, a face frame or the like is superimposed and displayed on the face image of the person displayed on the display unit of the client device. At this time, the certainty of face detection as shown in FIG. 6 is used as a criterion for recognizing a face and superimposing a face frame. 1500 is an axis that numerically represents the probability of face detection, and the probability increases as it goes to the left.
これに対し、本実施例のあおり角を算出するためにフォーカス位置を探索して取得する際には、ピントが合った状態の顔検出することによりフォーカス位置を探索する。従って、上記の顔枠表示の際の顔のたしからしさの基準よりも閾値の高い顔の確からしさを基準とする。即ち、本実施例において顔検出を行いながらフォーカスの探索を行う場合の顔検出の範囲の例を1506(確からしさ80%以上)としている。通常時の顔検出の際の基準である1505の範囲を用いると、被写体が被写界深度に入っていない状態で、ぼけた状態であっても顔として検出されてしまう。そこで、本実施例であおり角を算出するためにフォーカス位置を探索する際には、顔検出の閾値を通常時よりも高い値に変更している。これにより、高い精度であおり角の制御が実現できる。 On the other hand, when the focus position is searched for and obtained in order to calculate the tilt angle in the present embodiment, the focus position is searched by detecting the face in focus. Therefore, the likelihood of the face having a threshold value higher than the criterion of the likelihood of the face at the time of displaying the face frame is used as the criterion. That is, in the present embodiment, an example of the face detection range in the case of performing the focus search while performing the face detection is set to 1506 (80% or more in certainty). If the range of 1505, which is the reference for face detection in normal times, is used, even if the subject is out of the depth of field and the subject is out of focus, it is detected as a face. Therefore, in the present embodiment, when searching the focus position to calculate the angle, the face detection threshold value is changed to a value higher than that in the normal time. As a result, it is possible to control the corner with high accuracy.
次に図7を用いてフォーカス位置を探索して取得する方法について説明する。図7はフォーカス位置の探索をする際の全体フローチャートである。S1700はカメラ制御部1701からフォーカス探索コマンドを受信した場合や、画像検出部1004が検出している物体数に所定数以上の変化があった場合や定期的に一定時間が経過した場合などに開始する。S1701ではフォーカス探索コマンドを受信したかどうか等の判断を行う。フォーカス探索コマンドを受信した(YES)の場合、S1702へ分岐し、画像検出の閾値(図6の顔検出の確からしさの閾値)を上げる。受信しない(NO)場合、S1706において終了する。
Next, a method for searching for and acquiring the focus position will be described with reference to FIG. FIG. 7 is an overall flowchart when searching for a focus position. S1700 starts when a focus search command is received from the camera control unit 1701, when the number of objects detected by the
S1702では図6の顔検出の確からしさで説明した通り、画像検出の閾値を上げる。そしてS1703において図8で後述するフォーカス位置探索の詳細フローを実行する。次いでS1704において顔検出の閾値を元に戻し、S1705においてS1703にて求めたフォーカス位置情報(ピントの合うレンズ位置に関する情報、あるいは被写体までの距離情報)をカメラ制御部1002へ送る。そして、カメラ制御部1002がフォーカス位置への移動を行う。そして最後にS1706において終了する。
なお、上記実施例では顔探索の際に顔検出の閾値を上げたが、カメラのパラメータの絞り開口をより広げ被写界深度を浅くして探索してもよい。
In S1702, the threshold value for image detection is increased as described in the face detection probability in FIG. Then, in step S1703, a detailed flow of focus position search described later with reference to FIG. 8 is executed. Next, in step S1704, the face detection threshold value is returned to the original value, and in step S1705, the focus position information (information regarding the in-focus lens position or the distance information to the subject) obtained in step S1703 is sent to the
It should be noted that in the above embodiment, the face detection threshold value is raised during the face search, but the search may be performed by expanding the aperture of the camera parameter to make the depth of field shallow.
次に図8を用いて図7のS1703におけるフォーカス位置を探索し取得する方法について具体的に説明する。図8は画像検出によってフォーカス位置の探索を行う場合の詳細なフローチャートである。S1600は図7のS1703においてスタートする。S1601において検出位置に現在位置を代入し、S1602において「最大検出数」に0を代入しそれぞれ初期化を行う。S1603において物体検出を行いS1604において物体が検出されたかどうかの判断を行う。S1604において検出した(YES)場合S1605に分岐し検出数の取得を行う。S1604において物体が検出されない(NO)場合S1609に分岐し、探索の終了条件に達したかどうかの判断を行う。 Next, the method of searching and acquiring the focus position in S1703 of FIG. 7 will be specifically described with reference to FIG. FIG. 8 is a detailed flowchart when the focus position is searched by detecting an image. S1600 starts in S1703 of FIG. The current position is substituted for the detected position in S1601, and 0 is substituted for the "maximum detected number" in S1602 for initialization. Object detection is performed in S1603, and it is determined whether an object is detected in S1604. If detected (YES) in S1604, the process branches to S1605 to acquire the number of detections. If an object is not detected in S1604 (NO), the process branches to S1609, and it is determined whether the search end condition is reached.
S1606において検出数が「最大検出数」より大きい(YES)場合、S1607に分岐する。そうでない(NO)場合S1609に分岐する。S1602で「最大検出数」を0にしているので、1つでも検出されればS1607に進む。S1607では「最大検出数」に、得られた検出数を代入し、「最大検出数」の更新を行う。次いでS1608において検出位置の保存を行い、「最大検出数」の時のフォーカス位置を記憶しておく。 If the number of detections is larger than the “maximum number of detections” in S1606 (YES), the process branches to S1607. If not (NO), the process branches to S1609. Since the "maximum number of detections" is set to 0 in S1602, if even one is detected, the process proceeds to S1607. In S1607, the obtained number of detections is substituted for the "maximum number of detections", and the "maximum number of detections" is updated. Next, in step S1608, the detection position is saved, and the focus position at the time of "maximum number of detections" is stored.
S1609では、探索の終了条件に達したかどうかの判断を行う。探索の終了条件としては、フォーカスレンズの移動端に達した場合に終了する。しかし、フォーカスレンズの移動端に達するまで探索すると時間がかかるため、撮像素子をあおっている状態であれば物体検出数が一度に多数出るはずである。そこで、最大検出数が所定値に達した場合や検出数がそれまでの検出数から減少した場合や検出数がそれまであったのにゼロになった場合や一定時間が経過した場合を検索の終了条件としてもよい。S1609において終了条件に達していない(NO)場合、S1603に分岐し、再度物体検出を行う。終了条件に達した(YES)場合、S1610へ分岐し、探索を終了し、検出したフォーカス位置を1次記憶装置1102へ保存する。その際検出したフォーカス位置が複数存在する場合には、例えば中央値をフォーカス位置として保存してもよい。あるいは平均値を保存してもよい。そしてS1611において図8のフローを終了する。
In step S1609, it is determined whether the search termination condition has been reached. The condition for ending the search is to end when the moving end of the focus lens is reached. However, since it takes time to search until the moving end of the focus lens is reached, a large number of object detections should occur at one time in a state where the image sensor is covered. Therefore, search is performed when the maximum number of detections reaches a predetermined value, when the number of detections decreases from the number of detections up to that time, when the number of detections is zero until then, or when a certain time has elapsed. It may be a termination condition. If the end condition is not reached in S1609 (NO), the process branches to S1603 and the object detection is performed again. When the end condition is reached (YES), the process branches to S1610, the search is ended, and the detected focus position is stored in the
図9はあおり制御を実行するためのカメラ制御部1002のフローチャートである。S1800は、プロトコル制御部1001や画像検出部1004からあおりコマンドを受信した場合や、定期的に一定時間が経過した場合などに開始する。S1801では設置角aが決まっているかどうかの判断を行う。1801において設置角が決まっている場合(YES)、S1802へ分岐し、新しいフォーカス位置がそれまでのフォーカス位置から所定値以上変化したかどうかの判断を行う。S1801において設置角が決まっていない(NO)場合、S1804において終了する。S1802においてフォーカスが所定値以上変化した(YES)場合、あおり角の補正を行わないと、同じ高さの位置を維持できなくなるので、S1803に分岐しあおり角の制御を行う。この時のあおり角は、式(1)に新しいDを代入して求めた位置とする。S1802においてフォーカスが変化しない(NO)の場合はS1804において終了する。
FIG. 9 is a flowchart of the
次に、監視カメラのフォーカス制御とあおり制御のユーザーインターフェース(UI)について説明する。
図10は本実施例のUIの探索中の表示画面の例を示す図である。1900はクライアント装置200の表示部の画面であり、クライアント装置200から画像取得要求が監視カメラ100へ送信され、画像生成部1003が生成した画像をプロトコル処理部1001が配信を行う。1905、1903、1901は人を表している。1906は現在の探索状態を表した領域であり、図10においては探索中であるため「探索中」と表示されている。探索中において、1901と1903の人の顔にはピントがあっているが、1905の顔にはピントが合っていない状態を示している。監視カメラ100の画像検出部1004が検出した顔検出位置をプロトコル制御部1001が中継し、クライアント装置200へ送信し、検出した位置を1902,1904として四角の枠を表示している。人1905においては顔検出ができていないため四角の枠が表示されていない。なお、上記のように顔検出位置を枠などで表示する際に、前述のように、フォーカス位置の探索中においては図6における1506の範囲の確からしさに基づいて顔検出位置に枠表示をする。しかし、フォーカス位置を取得するための探索中でない場合にも顔検出をしてもよく、その際に顔検出位置に枠表示をするときの顔検出の判断基準は図6の1505の範囲としている。従って通常の監視中に不審人物などの顔位置を枠表示する際には、顔検出の確からしさが60%程度であっても顔枠が表示されることになる。
Next, a focus control and tilt control user interface (UI) of the surveillance camera will be described.
FIG. 10 is a diagram showing an example of a display screen during the search of the UI of this embodiment.
図11はクライアント装置200の表示部の画面に顔検出位置を重畳するフローチャートである。S2000はプロトコル処理部1001から応答を受信した場合に開始する。次いでS2001において検出位置を受信したかどうかの判断を行う。検出位置を受信した(YES)場合、S2002へ分岐する。S2002ではクライアント装置200の表示部の画面の画像に顔検出位置を顔枠として重畳する。検出位置を受信しない(NO)場合はS2003において終了する。
FIG. 11 is a flowchart for superimposing the face detection position on the screen of the display unit of the
なおS1609の探索完了の判断には、例えば図10において1905,1903,1901全ての人の顔に検出枠が表示されること、としても良い。またS1609で探索完了と判断された場合には図10の1906の探索状態を表現する領域に「探索完了」などの文言を表示するなどして表現してもよい。1906のように探索状態を表示すると、現在が探索中なのかどうかが一見して判断できるためユーザーフレンドリーなUIを提供することができる。
Note that the determination of the completion of the search in S1609 may be performed by displaying the detection frames on the faces of all the
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形、および変更が可能である。
また、本発明における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes can be made within the scope of the gist thereof.
Moreover, you may make it supply a computer program which implement | achieves a part or all of the control in this invention to the function of the Example mentioned above to an imaging device or an information processing apparatus via a network or various storage media. Then, the computer (or the CPU, MPU, or the like) in the imaging device or the information processing device may read out and execute the program. In that case, the program and the storage medium storing the program constitute the present invention.
100:監視カメラ
200:クライアント装置
1001:プロトコル処理部
1002:カメラ制御部
1003:画像生成部
1004:画像検出部
100: surveillance camera 200: client device 1001: protocol processing unit 1002: camera control unit 1003: image generation unit 1004: image detection unit
Claims (16)
前記画像認識手段により検出された前記所定被写体の数が所定の条件を満たすまで前記所定被写体のフォーカス位置情報を取得する取得手段、
前記取得手段によって取得された前記所定被写体の前記フォーカス位置情報に基づき、レンズと撮像素子の相対的なあおり角を制御するあおり角制御手段、を有することを特徴とする撮像装置。 Image recognition means for detecting a predetermined subject in the image by image recognition,
An acquisition unit that acquires focus position information of the predetermined subject until the number of the predetermined subjects detected by the image recognition unit satisfies a predetermined condition,
An image pickup apparatus comprising: a tilt angle control unit that controls a relative tilt angle between a lens and an image sensor based on the focus position information of the predetermined subject acquired by the acquisition unit.
前記画像認識ステップにより検出された前記所定被写体の数が所定の条件を満たすまで前記前記所定被写体のフォーカス位置情報を取得する取得ステップ、
前記取得ステップによって取得された前記所定被写体のフォーカス位置情報に基づき、レンズと撮像素子の相対的なあおり角を制御するあおり角制御ステップ、を有することを特徴とする撮像装置の制御方法。 An image recognition step of detecting a predetermined subject in the image by image recognition,
An acquisition step of acquiring focus position information of the predetermined subject until the number of the predetermined subjects detected by the image recognition step satisfies a predetermined condition;
A tilt angle control step of controlling a relative tilt angle between a lens and an image sensor based on the focus position information of the predetermined subject acquired in the acquisition step.
A computer-readable storage medium that stores the computer program according to claim 15.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018200980A JP7305330B2 (en) | 2018-10-25 | 2018-10-25 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018200980A JP7305330B2 (en) | 2018-10-25 | 2018-10-25 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020067593A true JP2020067593A (en) | 2020-04-30 |
JP7305330B2 JP7305330B2 (en) | 2023-07-10 |
Family
ID=70390291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018200980A Active JP7305330B2 (en) | 2018-10-25 | 2018-10-25 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7305330B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0310578A (en) * | 1989-06-08 | 1991-01-18 | Kowa Co | Automatic focusing device |
JP2008230296A (en) * | 2007-03-16 | 2008-10-02 | Mazda Motor Corp | Vehicle drive supporting system |
JP2010130633A (en) * | 2008-12-01 | 2010-06-10 | Nikon Corp | Imaging apparatus |
JP2014235224A (en) * | 2013-05-31 | 2014-12-15 | 株式会社ニコン | Imaging device and control program |
JP2015043044A (en) * | 2013-08-26 | 2015-03-05 | キヤノン株式会社 | Focus detection unit and control method therefor |
JP2017220864A (en) * | 2016-06-09 | 2017-12-14 | キヤノン株式会社 | Imaging apparatus and imaging program |
-
2018
- 2018-10-25 JP JP2018200980A patent/JP7305330B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0310578A (en) * | 1989-06-08 | 1991-01-18 | Kowa Co | Automatic focusing device |
JP2008230296A (en) * | 2007-03-16 | 2008-10-02 | Mazda Motor Corp | Vehicle drive supporting system |
JP2010130633A (en) * | 2008-12-01 | 2010-06-10 | Nikon Corp | Imaging apparatus |
JP2014235224A (en) * | 2013-05-31 | 2014-12-15 | 株式会社ニコン | Imaging device and control program |
JP2015043044A (en) * | 2013-08-26 | 2015-03-05 | キヤノン株式会社 | Focus detection unit and control method therefor |
JP2017220864A (en) * | 2016-06-09 | 2017-12-14 | キヤノン株式会社 | Imaging apparatus and imaging program |
Also Published As
Publication number | Publication date |
---|---|
JP7305330B2 (en) | 2023-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11629955B2 (en) | Dual-resolution 3D scanner and method of using | |
KR102111935B1 (en) | Display control apparatus, display control method, and program | |
WO2019114617A1 (en) | Method, device, and system for fast capturing of still frame | |
US11190698B2 (en) | Imaging apparatus, control method for imaging apparatus, information processing apparatus, and storage medium | |
JP4460782B2 (en) | Intrusion monitoring device | |
US20120121126A1 (en) | Method and apparatus for estimating face position in 3 dimensions | |
CN110602376B (en) | Snapshot method and device and camera | |
JP6624800B2 (en) | Image processing apparatus, image processing method, and image processing system | |
WO2019220752A1 (en) | Automatic tracking and recording system and recording control device | |
US20220417420A1 (en) | System for Acquisiting Iris Image for Enlarging Iris Acquisition Range | |
CN111935389B (en) | Shot object switching method and device, shooting equipment and readable storage medium | |
JP7305330B2 (en) | Imaging device | |
KR20180100890A (en) | Method and apparatus for remote multi biometric | |
JP7176868B2 (en) | monitoring device | |
JP4996568B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
TW201205449A (en) | Video camera and a controlling method thereof | |
US20070058067A1 (en) | Monitoring system | |
WO2019031244A1 (en) | Information processing device, imaging system, method for controlling imaging system, and program | |
JP2018182712A (en) | Monitor system and imaging direction control device | |
KR101300166B1 (en) | Apparatus and method for detecting iris | |
JP2020068495A (en) | Information processing apparatus, information processing method and program | |
JP6306494B2 (en) | Shape estimation device, shape estimation method, and shape estimation program | |
JP7448029B2 (en) | Processing equipment, processing system, processing method and program | |
JP2020005122A (en) | Monitoring device | |
JP4846203B2 (en) | Image area setting apparatus and image area setting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230628 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7305330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |