JP2011135247A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2011135247A
JP2011135247A JP2009291828A JP2009291828A JP2011135247A JP 2011135247 A JP2011135247 A JP 2011135247A JP 2009291828 A JP2009291828 A JP 2009291828A JP 2009291828 A JP2009291828 A JP 2009291828A JP 2011135247 A JP2011135247 A JP 2011135247A
Authority
JP
Japan
Prior art keywords
image
imaging
imaging target
unit
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009291828A
Other languages
Japanese (ja)
Inventor
Kotaro Ueda
香太郎 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009291828A priority Critical patent/JP2011135247A/en
Publication of JP2011135247A publication Critical patent/JP2011135247A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Lens Barrels (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus for imaging an object to be imaged which moves along a non-predetermined route while following an object to be imaged. <P>SOLUTION: The imaging apparatus 100 includes an imaging part 110 for imaging an image by an optical system 111 and outputting an image signal corresponding to the image; a recognizing part 131 for recognizing the object to be imaged on the basis of the image signal; and a mobile body control part 142 for controlling a mobile body 300 according to the state of the object to be imaged which is recognized by the recognizing part 131, and moving the imaging apparatus 100 arranged in the mobile body 300. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、撮像対象を認識する撮像装置に関する。   The present invention relates to an imaging apparatus that recognizes an imaging target.

地上を空中撮影（空撮）する場合、小型飛行機に搭載された撮像装置は、予め定められた経路を辿って、その経路を空撮していた（特許文献１参照）。   When aerial photography (aerial photography) of the ground is performed, an imaging device mounted on a small airplane follows a predetermined route and aerially captures the route (see Patent Document 1).

特開２００８−１８６１４５号公報JP 2008-186145 A

しかしながら、特許文献１に開示された撮像装置は、予め定められた経路を辿って空撮するため、予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができないという問題があった。   However, since the imaging device disclosed in Patent Document 1 follows a predetermined route and performs aerial photography, there is a problem in that an imaging target moving along a route that is not predetermined cannot be imaged while tracking. there were.

本発明は、前記の点に鑑みてなされたものであり、予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができる撮像装置を提供することを目的とする。   The present invention has been made in view of the above points, and an object of the present invention is to provide an imaging apparatus that can capture an image of an imaging target moving along a route that is not determined in advance while tracking the imaging target.

本発明は、上記の課題を解決するためになされたものであり、光学系による像を撮像して、当該像に応じた画像信号を出力する撮像部と、前記画像信号に基づいて、撮像対象を認識する認識部と、制御に応じて、自装置を移動させる移動部と、前記認識部が認識した前記撮像対象の状態に応じて、前記移動部を制御して前記移動部に自装置を移動させる制御部と、を備えることを特徴とする撮像装置である。   The present invention has been made in order to solve the above-described problem. An imaging unit that captures an image by an optical system and outputs an image signal corresponding to the image, and an imaging target based on the image signal A recognizing unit that recognizes the image, a moving unit that moves the device according to the control, and a moving unit that controls the moving unit according to the state of the imaging target recognized by the recognizing unit. And a control unit that moves the imaging device.

本発明によれば、撮像装置は、予め定められていない経路を移動する撮像対象を、追尾しながら撮像することができる。   According to the present invention, the imaging apparatus can capture an image of an imaging target moving along a route that is not determined in advance while tracking the image.

撮像装置１００と、インタフェース部２００と、移動体３００の外観の一例を示す図である。2 is a diagram illustrating an example of the appearance of an imaging device 100, an interface unit 200, and a moving body 300. FIG. 撮像対象が複数存在する場合の例が示されている図である。It is a figure in which the example in case two or more imaging targets exist is shown. 撮像装置１００と、インタフェース部２００と、移動体３００の構成を示すブロック図である。2 is a block diagram illustrating configurations of an imaging device 100, an interface unit 200, and a moving body 300. 画像フレーム内の所定の探索範囲５００から、撮像対象４００ａの画像５０３ａを、認識部１３１が検出する手順を説明するための図である。It is a figure for demonstrating the procedure in which the recognition part 131 detects the image 503a of the imaging target 400a from the predetermined | prescribed search range 500 in an image frame. 認撮像装置１００と撮像対象４００ａとの相対距離の変化を、認識部１３１が認識する手順を説明するための図である。It is a figure for demonstrating the procedure in which the recognition part 131 recognizes the change of the relative distance of the recognition imaging device 100 and the imaging target 400a. 撮像対象４００ａの顔の向きに応じた複数のテンプレート画像の例を示す図である。It is a figure which shows the example of the some template image according to direction of the face of the imaging target 400a. 撮像装置１００と、インタフェース部２００と、移動体３００の構成を示すブロック図である。2 is a block diagram illustrating configurations of an imaging device 100, an interface unit 200, and a moving body 300.

［第１実施形態］
本発明の実施形態について図面を参照して詳細に説明する。図１には、撮像装置１００と、インタフェース部２００と、移動体３００の外観の一例が示されている。 [First Embodiment]
Embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 shows an example of the appearance of the imaging device 100, the interface unit 200, and the moving body 300.

撮像対象４００ａは、撮像装置１００が撮像する対象であり、かつ、撮像装置１００が追尾する対象である。また、撮像対象４００ａは、例えば、地上を歩行する人であってもよい。また、撮像対象４００ａは、予め定められていない経路を移動してもよい。   The imaging target 400a is a target to be imaged by the imaging device 100 and a target to be tracked by the imaging device 100. The imaging target 400a may be a person walking on the ground, for example. Further, the imaging target 400a may move along a route that is not determined in advance.

移動体３００は、推進器（例えば、プロペラ、スクリュー等を有する）と、舵（例えば、方向舵、昇降舵等）を備える。移動体３００の推進器と舵は、撮像装置１００により制御され、空中を３軸（次元）方向に移動可能である。以下、移動体３００は、一例として、小型の飛行船であるとして説明する。なお、移動体３００は、例えば、地上、地中、水上、又は水中を移動してもよい。   The moving body 300 includes a propulsion device (for example, having a propeller, a screw, and the like) and a rudder (for example, a rudder, an elevator and the like). The propulsion unit and the rudder of the moving body 300 are controlled by the imaging device 100 and can move in the air in three axis (dimension) directions. Hereinafter, the moving body 300 will be described as a small airship as an example. Note that the moving body 300 may move, for example, on the ground, in the ground, on the water, or in the water.

撮像装置１００は、移動体３００に備えられる。撮像装置１００は、光学系による像を撮像し、撮像した像に応じた画像信号を、撮像装置１００の外部にある通信装置（不図示）にインタフェース部２００を介して送信する。この通信装置は、画像を表示するディスプレイを備え、撮像装置１００が送信した画像信号に基づく画像を表示する。   The imaging apparatus 100 is provided in the moving body 300. The imaging device 100 captures an image by the optical system, and transmits an image signal corresponding to the captured image to a communication device (not shown) outside the imaging device 100 via the interface unit 200. This communication apparatus includes a display for displaying an image, and displays an image based on the image signal transmitted by the imaging apparatus 100.

また、撮像装置１００は、撮像した像の中から撮像対象４００ａを認識し、認識した撮像対象４００ａの状態に応じて、移動体３００と一体で撮像対象４００ａを追尾しながら撮像対象４００ａを撮像する。なお、撮像装置１００は、表示部を備えてもよく、例えば、撮像した像に応じた画像信号をスルー画として表示部に表示してもよい。   Further, the imaging apparatus 100 recognizes the imaging target 400a from the captured image, and captures the imaging target 400a while tracking the imaging target 400a integrally with the moving body 300 according to the state of the recognized imaging target 400a. . Note that the imaging apparatus 100 may include a display unit. For example, an image signal corresponding to a captured image may be displayed on the display unit as a through image.

図２には、撮像対象が複数存在する場合の例が示されている。図２に示されているように、撮像対象４００ａ〜４００ｃは、例えば、水面を泳ぐ人であってもよい。そして、撮像対象４００ａ〜４００ｃは、息継ぎなどのために、移動方向とは別の方向に顔を向けることがあってもよい。なお、撮像対象４００ｂ及び４００ｃは、予め定められていない経路を移動してもよいが、撮像装置１００が追尾する対象でないものとして説明する。   FIG. 2 shows an example when there are a plurality of imaging targets. As illustrated in FIG. 2, the imaging objects 400 a to 400 c may be, for example, a person who swims on the water surface. The imaging objects 400a to 400c may turn their faces in a direction different from the moving direction for breathing or the like. Note that the imaging targets 400b and 400c may move along a route that is not determined in advance, but will be described as not being tracked by the imaging device 100.

次に、撮像装置１００の構成を説明する。
図３には、撮像装置１００と、インタフェース部２００と、移動体３００の構成が、ブロック図で示されている。撮像装置１００は、撮像部１１０と、記憶部１２０と、演算部１３０と、制御部１４０を備える。 Next, the configuration of the imaging device 100 will be described.
FIG. 3 is a block diagram illustrating configurations of the imaging device 100, the interface unit 200, and the moving body 300. The imaging apparatus 100 includes an imaging unit 110, a storage unit 120, a calculation unit 130, and a control unit 140.

撮像部１１０は、光学系１１１と、撮像素子１１２と、レンズ駆動部１１３と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１１４を備える。撮像部１１０は、制御部１４０により制御され、光学系１１１による像を撮像する。光学系１１１は、撮像素子１１２の受光面に、光学像を導く。ここで、光学系１１１は、レンズ駆動部１１３に駆動されることで、撮像する倍率及び画角を変更する。   The imaging unit 110 includes an optical system 111, an imaging element 112, a lens driving unit 113, and an A / D (Analog / Digital) conversion unit 114. The imaging unit 110 is controlled by the control unit 140 and captures an image by the optical system 111. The optical system 111 guides an optical image to the light receiving surface of the image sensor 112. Here, the optical system 111 is driven by the lens driving unit 113 to change the magnification and the angle of view for imaging.

撮像素子１１２は、光電変換面を備え、光学系１１１により光電変換面の受光面に結像した光学像を電気信号に変換する。Ａ／Ｄ変換部１１４は、撮像素子１１２によって変換された電気信号をデジタル化して、画像信号として記憶部１２０に出力する。   The image sensor 112 includes a photoelectric conversion surface, and converts an optical image formed on the light receiving surface of the photoelectric conversion surface by the optical system 111 into an electric signal. The A / D conversion unit 114 digitizes the electrical signal converted by the image sensor 112 and outputs it as an image signal to the storage unit 120.

記憶部１２０は、Ａ／Ｄ変換部１１４が出力した画像信号を一時的に記憶（バッファリング）し、演算部１３０に出力する。また、記憶部１２０は、テンプレート画像を記憶する。ここで、テンプレート画像は、テンプレートマッチングに用いられる画像である。例えば、テンプレート画像は、撮像対象の外観を表す画像であってもよい。そして、この場合、テンプレート画像は、撮像部１１０によって撮像された「撮像対象の外観を表す画像」であってもよい。また、テンプレート画像は、撮像部１１０によって撮像される前から、記憶部１２０に予め記憶されていてもよい。テンプレート画像の詳細については、図４〜６を用いて後述する。   The storage unit 120 temporarily stores (buffers) the image signal output from the A / D conversion unit 114 and outputs the image signal to the calculation unit 130. The storage unit 120 stores a template image. Here, the template image is an image used for template matching. For example, the template image may be an image representing the appearance of the imaging target. In this case, the template image may be an “image representing the appearance of the imaging target” captured by the imaging unit 110. The template image may be stored in advance in the storage unit 120 before being imaged by the imaging unit 110. Details of the template image will be described later with reference to FIGS.

なお、記憶部１２０は、複数のテンプレート画像（例えば、撮像対象４００ａの顔の向き毎のテンプレート画像）を予め記憶してもよい。また、記憶部１２０は、画像処理条件（例えば、輪郭補正量など）を記憶してもよい。   The storage unit 120 may store in advance a plurality of template images (for example, template images for each face direction of the imaging target 400a). In addition, the storage unit 120 may store image processing conditions (for example, a contour correction amount).

演算部１３０は、記憶部１２０に一時的に記憶されている画像信号に対して、静止画又は動画の画像処理を実行し、画像フレームを生成する。ここで、演算部１３０が、いずれの画像処理を実行するかは、制御部１４０から制御される。また、演算部１３０は、画像処理条件（例えば、輪郭補正量など）が記憶部１２０に記憶されている場合、その画像処理条件を参照して、画像信号を画像処理してもよい。そして、画像信号は、制御部１４０を介して、インタフェース部２００に出力される。ここで、インタフェース部２００に出力される画像信号は、画像処理されている信号、又は画像処理されていない画像信号のいずれであってもよい。   The arithmetic unit 130 performs image processing of a still image or a moving image on the image signal temporarily stored in the storage unit 120 to generate an image frame. Here, which image processing the calculation unit 130 executes is controlled by the control unit 140. In addition, when the image processing conditions (for example, the contour correction amount) are stored in the storage unit 120, the calculation unit 130 may perform image processing on the image signal with reference to the image processing conditions. Then, the image signal is output to the interface unit 200 via the control unit 140. Here, the image signal output to the interface unit 200 may be either a signal subjected to image processing or an image signal not subjected to image processing.

また、演算部１３０は、認識部１３１を備える。認識部１３１は、記憶部１２０からテンプレート画像を取得する。ここで、撮像対象４００ａ〜４００ｃの画像は、画像フレームにおいて、予めラベリングされているものとする。   In addition, the calculation unit 130 includes a recognition unit 131. The recognition unit 131 acquires a template image from the storage unit 120. Here, it is assumed that the images of the imaging targets 400a to 400c are previously labeled in the image frame.

認識部１３１は、テンプレートマッチングにより、撮像対象４００ａの画像を検出する。具体的には、認識部１３１は、テンプレート画像と、撮像対象４００ａの画像との類似度の評価値（以下、「類似度評価値」という）を算出することにより、撮像対象４００ａの画像を検出する。この類似度評価値については、図４及び６を用いて後述する。   The recognition unit 131 detects an image of the imaging target 400a by template matching. Specifically, the recognition unit 131 detects the image of the imaging target 400a by calculating an evaluation value (hereinafter referred to as “similarity evaluation value”) of the similarity between the template image and the image of the imaging target 400a. To do. The similarity evaluation value will be described later with reference to FIGS.

さらに、認識部１３１は、類似度評価値に基づいて、撮像対象４００ａの状態を認識する。ここで、撮像対象４００ａの状態とは、例えば、画像フレームにおける撮像対象４００ａの画像の位置、大きさ（サイズ）、移動方向、移動速度、撮像対象４００ａの画像に顔が検出された場合には、顔の向き、顔の表情、等である。なお、認識部１３１の認識処理は、繰り返し実行されてもよい。   Furthermore, the recognition unit 131 recognizes the state of the imaging target 400a based on the similarity evaluation value. Here, the state of the imaging target 400a refers to, for example, the position, size (size), moving direction, moving speed, and face of the image of the imaging target 400a in the image frame. , Face orientation, facial expression, etc. Note that the recognition process of the recognition unit 131 may be repeatedly executed.

認識部１３１は、類似度評価値により検出された撮像対象４００ａの画像に基づいて、画像フレームにおける撮像対象４００ａの画像の位置（以下、「撮像対象位置」という）を算出することで、撮像対象４００ａを認識する。撮像対象位置の認識については、図４を用いて後述する。   The recognizing unit 131 calculates the position of the image of the imaging target 400a in the image frame (hereinafter referred to as “imaging target position”) based on the image of the imaging target 400a detected by the similarity evaluation value. Recognize 400a. The recognition of the imaging target position will be described later with reference to FIG.

また、認識部１３１は、類似度評価値により検出された撮像対象４００ａの画像に基づいて、画像フレームにおける撮像対象４００ａの画像の大きさ（以下、「サイズ情報」という）を認識する。そして、認識部１３１は、サイズ情報の変化、すなわち、撮像装置１００と撮像対象４００ａとの相対距離の変化（例えば、近づいたか否か）を検出する。サイズ情報の変化の検出については、図５を用いて後述する。   The recognition unit 131 recognizes the size of the image of the imaging target 400a in the image frame (hereinafter referred to as “size information”) based on the image of the imaging target 400a detected by the similarity evaluation value. Then, the recognizing unit 131 detects a change in size information, that is, a change in the relative distance between the imaging device 100 and the imaging target 400a (for example, whether or not it is approaching). The detection of the change in size information will be described later with reference to FIG.

制御部１４０は、演算部１３０を介して画像信号を取得し、取得した画像信号をインタフェース部２００に出力する。   The control unit 140 acquires an image signal via the calculation unit 130 and outputs the acquired image signal to the interface unit 200.

また、制御部１４０は、光学系１１１による像を静止画として撮像するか、動画として撮像するかを決定する。制御部１４０は、例えば、インタフェース部２００を介してユーザの操作入力を取得し、その操作入力に基づいて、光学系１１１による像を静止画として撮像するか、動画として撮像するかを決定してもよい。   In addition, the control unit 140 determines whether an image captured by the optical system 111 is captured as a still image or a moving image. For example, the control unit 140 acquires a user operation input via the interface unit 200, and determines whether to capture an image by the optical system 111 as a still image or a moving image based on the operation input. Also good.

また、制御部１４０は、移動体制御部１４２を備える。移動体制御部１４２は、撮像対象４００ａの状態に応じて移動体３００を制御して、移動体３００に備えられた撮像装置１００を、移動体３００と一体で移動させる。   In addition, the control unit 140 includes a moving body control unit 142. The moving body control unit 142 controls the moving body 300 according to the state of the imaging target 400 a to move the imaging device 100 provided in the moving body 300 integrally with the moving body 300.

移動体制御部１４２は、サイズ情報又はサイズ情報の変化を、認識部１３１から取得する。そして、移動体制御部１４２は、撮像対象４００ａが画像フレームにおいて予め定められた大きさに撮像されるように、サイズ情報又はサイズ情報の変化に応じて移動体３００を制御し、移動体３００に備えられた撮像装置１００と、撮像対象４００ａとの距離を調節する。例えば、移動体制御部１４２は、移動体３００の推進器及び舵を制御することで、推進力と推進方向を制御して、画像フレームにおいて撮像対象４００ａが予め定められた大きさに撮像されるようにする。   The moving body control unit 142 acquires the size information or the change in the size information from the recognition unit 131. Then, the moving body control unit 142 controls the moving body 300 according to the size information or the change in the size information so that the imaging target 400a is imaged in a predetermined size in the image frame, and the moving body 300 The distance between the imaging device 100 provided and the imaging target 400a is adjusted. For example, the moving body control unit 142 controls the propulsion unit and the rudder of the moving body 300 to control the propulsive force and the propulsion direction, and the imaging target 400a is imaged in a predetermined size in the image frame. Like that.

また、移動体制御部１４２は、認識部１３１から撮像対象位置を取得する。そして、移動体制御部１４２は、画像フレームの中央に撮像対象４００ａが位置するように、移動体３００の移動方向と移動速度を調節し、移動体３００と一体で撮像装置１００を移動させる。例えば、移動体制御部１４２は、移動体３００の推進器と舵を制御することで、推進力と推進方向を制御して、画像フレームの中央に撮像対象４００ａが位置するようにする。   In addition, the moving body control unit 142 acquires the imaging target position from the recognition unit 131. Then, the moving body control unit 142 adjusts the moving direction and moving speed of the moving body 300 so that the imaging target 400a is positioned at the center of the image frame, and moves the imaging apparatus 100 integrally with the moving body 300. For example, the moving body control unit 142 controls the propulsion unit and the rudder of the moving body 300, thereby controlling the propulsive force and the propulsion direction so that the imaging target 400a is positioned at the center of the image frame.

インタフェース部２００は、撮像装置１００から画像信号を取得し、取得した画像信号を、撮像装置１００の外部の通信装置（不図示）に送信する。このインタフェース部２００は、例えば、無線通信を実行する。なお、インタフェース部２００は、撮像装置１００に対する命令を受信して、その命令を撮像装置１００に出力してもよい。   The interface unit 200 acquires an image signal from the imaging device 100 and transmits the acquired image signal to a communication device (not shown) outside the imaging device 100. For example, the interface unit 200 performs wireless communication. Note that the interface unit 200 may receive a command for the imaging apparatus 100 and output the command to the imaging apparatus 100.

次に、演算部１３０の認識部１３１の認識処理を説明する。以下の認識処理は、繰り返し実行されてもよい。
認識部１３１は、画像フレームにおける撮像対象４００ａの画像を、次のように検出する。
図４は、画像フレーム内の所定の探索範囲５００から、撮像対象４００ａの画像５０３ａを、認識部１３１が検出する手順を説明するための図である。図４（Ａ）には、テンプレート画像の一例として、テンプレート画像６００が示されている。ここで、テンプレート画像６００は、撮像対象４００ａの画像であるものとする。また、図４（Ｂ）には、撮像対象４００ａの画像５０３ａと、撮像対象４００ｂの画像５０１ａと、撮像対象４００ｃの画像５０２ａが、探索範囲５００に撮像された画像の一例として、それぞれ示されている。 Next, the recognition process of the recognition unit 131 of the calculation unit 130 will be described. The following recognition process may be repeatedly executed.
The recognition unit 131 detects the image of the imaging target 400a in the image frame as follows.
FIG. 4 is a diagram for explaining a procedure in which the recognition unit 131 detects the image 503a of the imaging target 400a from the predetermined search range 500 in the image frame. FIG. 4A shows a template image 600 as an example of the template image. Here, it is assumed that the template image 600 is an image of the imaging target 400a. In FIG. 4B, an image 503a of the imaging target 400a, an image 501a of the imaging target 400b, and an image 502a of the imaging target 400c are shown as examples of images captured in the search range 500, respectively. Yes.

認識部１３１は、探索範囲５００に撮像された各画像（図４（Ｂ）において、画像５０１ａ〜５０３ａ）と、テンプレート画像との類似度評価値を算出する。ここで、類似度評価値Ｒｉは、［式１］で表される。 The recognition unit 131 calculates a similarity evaluation value between each image captured in the search range 500 (images 501a to 503a in FIG. 4B) and the template image. Here, the similarity evaluation value R i is expressed by [Formula 1].

Ｒｉ＝｜Ａｉ−Ｂ｜…［式１］ R i = | A i -B | ... [Formula 1]

［式１］における「ｉ」は、探索範囲５００に撮像された各画像を識別する識別子である。そして、［式１］の右辺は、識別子「ｉ」に対応する画像「Ａ」の画像情報から、テンプレート画像６００「Ｂ」の画像情報を、画素ごとに減算した値の絶対値を示す。ここで、画像情報とは、例えば、色成分、輝度、彩度である。   “I” in [Expression 1] is an identifier for identifying each image captured in the search range 500. The right side of [Expression 1] indicates the absolute value of a value obtained by subtracting the image information of the template image 600 “B” for each pixel from the image information of the image “A” corresponding to the identifier “i”. Here, the image information is, for example, a color component, luminance, and saturation.

まず、認識部１３１は、画像５０１ａを選択する。そして、認識部１３１は、［式１］に基づいて、選択した画像５０１ａの類似度評価値を算出する。例えば、認識部１３１は、画像５０１ａの色成分（白色を示す成分値の例「２５５」）と、テンプレート画像６００の色成分（黒色を示す成分値の例「０」）との差分を算出することで、画像５０１ａの類似度評価値を算出する。次に、認識部１３１は、画像５０２ａ及び５０３ａについても同様に、類似度評価値を算出する。   First, the recognition unit 131 selects the image 501a. Then, the recognition unit 131 calculates the similarity evaluation value of the selected image 501a based on [Expression 1]. For example, the recognition unit 131 calculates the difference between the color component of the image 501a (example of component value “255” indicating white) and the color component of the template image 600 (example of component value “0” indicating black). Thus, the similarity evaluation value of the image 501a is calculated. Next, the recognition unit 131 similarly calculates a similarity evaluation value for the images 502a and 503a.

そして、認識部１３１は、類似度評価値が最も小さい画像を、探索範囲５００内から検出し、その画像がテンプレート画像６００に最も類似する画像である、と認識する。ここで、テンプレート画像６００が撮像対象４００ａの画像を表すので、認識部１３１は、テンプレート画像６００に最も類似する画像であると認識した画像を、撮像対象４００ａの画像である、と認識する。例えば、図４（Ｂ）において、画像５０３ａがテンプレート画像６００に最も類似する画像であると認識部１３１が認識した場合、認識部１３１は、画像５０３ａを、撮像対象４００ａの画像である、と認識する。   Then, the recognition unit 131 detects an image having the smallest similarity evaluation value from the search range 500 and recognizes that the image is the image most similar to the template image 600. Here, since the template image 600 represents the image of the imaging target 400a, the recognition unit 131 recognizes that the image recognized as the image most similar to the template image 600 is the image of the imaging target 400a. For example, in FIG. 4B, when the recognition unit 131 recognizes that the image 503a is the image most similar to the template image 600, the recognition unit 131 recognizes that the image 503a is an image of the imaging target 400a. To do.

さらに、認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの位置（座標）を、撮像対象位置と認識する。また、認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの大きさ（サイズ）を、サイズ情報と認識する。   Further, the recognition unit 131 recognizes the position (coordinates) of the image 503a in the image frame (in the search range 500) as the imaging target position. Further, the recognition unit 131 recognizes the size (size) of the image 503a in the image frame (within the search range 500) as size information.

また、認識部１３１は、サイズ情報の変化、すなわち、撮像装置１００と撮像対象４００ａとの相対距離の変化を、テンプレート画像６００と、撮像対象４００ａの画像５０３ａとの相対的な大きさに基づいて、次のように検出する。
図５には、撮像装置１００と撮像対象４００ａとの相対距離の変化を、認識部１３１が検出する手順を説明するための図が示されている。図５（Ａ）及び（Ｂ）には、テンプレート画像６００と、撮像対象４００ａの画像５０３ａが示されている。図５（Ａ）に示されているように、撮像対象４００ａの画像５０３ａが、テンプレート画像６００よりも大きくなったことを検出した場合、認識部１３１は、撮像装置１００と撮像対象４００ａとの相対距離が短くなった（変化した）と認識する。 The recognizing unit 131 changes the size information, that is, changes in the relative distance between the imaging device 100 and the imaging target 400a based on the relative sizes of the template image 600 and the image 503a of the imaging target 400a. Detect as follows.
FIG. 5 is a diagram for explaining a procedure in which the recognition unit 131 detects a change in the relative distance between the imaging apparatus 100 and the imaging target 400a. 5A and 5B show a template image 600 and an image 503a of the imaging target 400a. As illustrated in FIG. 5A, when the image 503a of the imaging target 400a is detected to be larger than the template image 600, the recognition unit 131 determines whether the imaging device 100 and the imaging target 400a are relative to each other. Recognize that the distance has become shorter (changed).

一方、図５（Ｂ）に示されているように、撮像対象４００ａの画像５０３ａが、テンプレート画像６００よりも小さくなったことを検出した場合、認識部１３１は、撮像装置１００と撮像対象４００ａとの相対距離が長くなった（変化した）と認識する。   On the other hand, as illustrated in FIG. 5B, when the image 503a of the imaging target 400a is detected to be smaller than the template image 600, the recognition unit 131 determines that the imaging device 100, the imaging target 400a, and It is recognized that the relative distance of has increased (changed).

さらに、認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの大きさ（サイズ）を、新たなサイズ情報と認識する。   Further, the recognition unit 131 recognizes the size (size) of the image 503a in the image frame (within the search range 500) as new size information.

以上のようにして、撮像装置１００は、認識部１３１が認識した撮像対象４００ａの状態に応じて、移動体３００を制御して、移動体３００に備えられた撮像装置１００を移動させる。これにより、撮像装置１００は、予め定められていない経路を移動する撮像対象４００ａを追尾しながら、撮像対象４００ａの状態に応じて、撮像対象４００ａを撮像することができる。   As described above, the imaging apparatus 100 controls the moving body 300 according to the state of the imaging target 400a recognized by the recognition unit 131 to move the imaging apparatus 100 provided in the moving body 300. As a result, the imaging apparatus 100 can image the imaging target 400a according to the state of the imaging target 400a while tracking the imaging target 400a moving along a route that is not determined in advance.

また、演算部１３０の認識部１３１は、テンプレート画像と、撮像対象４００ａの画像５０３ａとの差分を算出し、差分に基づいて、移動体３００に備えられた撮像装置１００を移動させる。これにより、撮像装置１００は、画像フレームに撮像した複数の画像５０１ａ〜５０３ａから、撮像対象４００ａの画像５０３ａを選択（検出）し、予め定められていない経路を移動する撮像対象４００ａを追尾しながら、撮像対象４００ａの状態に応じて、撮像対象４００ａを撮像することができる。   In addition, the recognition unit 131 of the calculation unit 130 calculates a difference between the template image and the image 503a of the imaging target 400a, and moves the imaging device 100 provided in the moving body 300 based on the difference. Thereby, the imaging apparatus 100 selects (detects) the image 503a of the imaging target 400a from the plurality of images 501a to 503a captured in the image frame, and tracks the imaging target 400a that moves along a path that is not determined in advance. The imaging object 400a can be imaged according to the state of the imaging object 400a.

また、認識部１３１は、画像フレームにおける撮像対象４００ａの大きさ及び撮像対象位置を算出する。そして、制御部１４０は、予め定められた大きさで、画像フレームの中央に撮像対象４００ａが撮像されるように、移動体３００を制御することで、移動体３００に備えられた撮像装置１００と、撮像対象４００ａと、の距離を調節する。これにより、撮像装置１００は、予め定められていない経路を移動する撮像対象４００ａを追尾しながら、予め定められた大きさで、画像フレームの中央に撮像対象４００ａを撮像することができる。   Further, the recognition unit 131 calculates the size of the imaging target 400a and the imaging target position in the image frame. Then, the control unit 140 controls the moving body 300 so that the imaging target 400a is imaged at the center of the image frame with a predetermined size, and thereby the imaging unit 100 provided in the moving body 300 is controlled. The distance from the imaging target 400a is adjusted. As a result, the imaging apparatus 100 can image the imaging target 400a at the center of the image frame with a predetermined size while tracking the imaging target 400a moving along a path that is not predetermined.

＜撮像対象の定め方について＞
演算部１３０の認識部１３１は、撮像対象を自ら定めてもよい。例えば、画像フレームに撮像された撮像対象の画像のうち、最も至近に撮像された撮像対象、又は画像フレームにおける最大の撮像対象の画像を、撮像装置１００が追尾する撮像対象の画像と定めてもよい。ここで、認識部１３１は、例えば、位相差検出方式、コントラスト検出方式、色収差検出方式によって、最も至近に撮像された撮像対象を検出してもよい。さらに、認識部１３１は、追尾する撮像対象と定めた撮像対象４００ａの画像を、新たなテンプレート画像６００として、記憶部１２０に記憶されたテンプレート画像６００を更新してもよい。 <How to determine the imaging target>
The recognition unit 131 of the calculation unit 130 may determine the imaging target itself. For example, even if the imaging target image captured most recently among the imaging target images captured in the image frame or the largest imaging target image in the image frame is determined as the imaging target image to be tracked by the imaging device 100. Good. Here, the recognizing unit 131 may detect the imaging target imaged closest, for example, by a phase difference detection method, a contrast detection method, or a chromatic aberration detection method. Further, the recognition unit 131 may update the template image 600 stored in the storage unit 120 with the image of the imaging target 400a determined as the imaging target to be tracked as a new template image 600.

また、上記の通信装置は、例えば、ヘッドマウントディスプレイであってもよい。この通信装置としてのヘッドマウントディスプレイは、撮像装置１００から送信された画像信号を受信して、その画像を表示してもよい。   The communication device may be a head mounted display, for example. The head mounted display as the communication device may receive the image signal transmitted from the imaging device 100 and display the image.

そして、ヘッドマウントディスプレイを装着したユーザは、そのディスプレイに表示された複数の撮像対象の画像から、撮像対象を視線で指定（視線入力）し、指定した撮像対象を示す情報を撮像装置１００に送信することで、撮像対象を指定可能としてもよい。また、上記の通信装置は、例えば、情報端末であってもよい。そして、情報端末のユーザは、マウス操作、又はタッチパネル操作等により、指定した撮像対象を示す情報を撮像装置１００に送信することで、撮像対象を指定可能としてもよい。   Then, the user wearing the head-mounted display designates the imaging target with a line of sight (line-of-sight input) from a plurality of imaging target images displayed on the display, and transmits information indicating the designated imaging target to the imaging device 100. By doing so, the imaging target may be designated. The communication device may be an information terminal, for example. Then, the user of the information terminal may be able to specify the imaging target by transmitting information indicating the specified imaging target to the imaging device 100 by a mouse operation, a touch panel operation, or the like.

＜撮像対象４００ａに顔が検出された場合の処理について＞
演算部１３０の認識部１３１は、顔検出のアルゴリズムにより、撮像対象４００ａの画像に顔が検出された場合には、テンプレート画像と、検出された撮像対象４００ａの画像とに基づいて、画像フレームにおける撮像対象４００ａの画像５０３ａの顔の向きを認識する。認識部１３１は、画像フレーム内（探索範囲５００内）における画像５０３ａの顔の向きを、類似度評価値に基づいて検出する。 <Processing when Face is Detected in Imaging Object 400a>
When the face is detected in the image of the imaging target 400a by the face detection algorithm, the recognizing unit 131 of the arithmetic unit 130 uses the template image and the detected image of the imaging target 400a in the image frame. The orientation of the face of the image 503a of the imaging target 400a is recognized. The recognition unit 131 detects the face orientation of the image 503a within the image frame (within the search range 500) based on the similarity evaluation value.

図６には、撮像対象４００ａの顔の向きに応じた複数のテンプレート画像の例が示されている。図６（Ａ）には、撮像装置１００から見て「左を向いた顔」のテンプレート画像６０１の例が示されている。また、図６（Ｂ）には、撮像装置１００から見て「正面を向いた顔」のテンプレート画像６０２の例と、図６（Ｃ）には、撮像装置１００から見て「右を向いた顔」のテンプレート画像６０３の例とが、それぞれ示されている。   FIG. 6 shows an example of a plurality of template images corresponding to the face orientation of the imaging target 400a. FIG. 6A shows an example of a template image 601 of “a face facing left” as viewed from the imaging apparatus 100. 6B shows an example of a template image 602 of “a face facing the front” as viewed from the imaging device 100, and FIG. 6C shows “a right-facing” as viewed from the imaging device 100. An example of a “face” template image 603 is shown.

まず、認識部１３１は、顔検出のアルゴリズムにより、撮像対象４００ａの画像５０３ａ（図４（Ｂ）を参照）に顔を検出したとする。そして、認識部１３１は、検出された顔を構成する画素についてのみ、上記の［式１］に基づいて類似度評価値を算出し、撮像対象４００ａの画像５０３ａの顔の向きを認識する。   First, it is assumed that the recognition unit 131 detects a face in the image 503a (see FIG. 4B) of the imaging target 400a by the face detection algorithm. The recognizing unit 131 calculates the similarity evaluation value based on the above [Formula 1] only for the pixels constituting the detected face, and recognizes the face orientation of the image 503a of the imaging target 400a.

具体的には、認識部１３１は、検出された顔の類似度評価値を、上記の［式１］に基づいて、テンプレート画像６０１〜６０３毎に算出し、算出した類似度評価値を比較する。例えば、各テンプレート画像のうち、テンプレート画像６０１（図６（Ａ）を参照）との類似度評価値が最も小さい値であった場合、認識部１３１は、画像５０３ａに検出された顔が、撮像装置１００から見て「左を向いた顔」であると認識する。   Specifically, the recognizing unit 131 calculates the similarity evaluation value of the detected face for each of the template images 601 to 603 based on the above [Expression 1], and compares the calculated similarity evaluation values. . For example, when the similarity evaluation value with the template image 601 (see FIG. 6A) is the smallest value among the template images, the recognition unit 131 captures the face detected in the image 503a. It is recognized as “a face facing left” as viewed from the device 100.

なお、認識部１３１は、テンプレート画像と、検出された撮像対象４００ａの画像５０３ａとに基づいて、撮像対象４００ａの画像５０３ａの顔の表情（例えば、笑顔か否か）を認識してもよい。   Note that the recognizing unit 131 may recognize the facial expression (for example, whether it is a smile) of the image 503a of the imaging target 400a based on the template image and the detected image 503a of the imaging target 400a.

そして、制御部１４０の移動体制御部１４２は、撮像対象４００ａの顔の向きを示す情報を、演算部１３０の認識部１３１から取得する。さらに、移動体制御部１４２は、移動体３００の移動方向と移動速度を調節し、撮像対象４００ａの顔を正面から撮像可能な位置に、移動体３００と一体で撮像装置１００を移動させる。例えば、移動体制御部１４２は、推進器と舵を制御することで、推進力と推進方向を制御し、撮像対象４００ａの顔を正面から撮像可能な位置に、移動体３００と一体で撮像装置１００を移動させる。   Then, the moving body control unit 142 of the control unit 140 acquires information indicating the face direction of the imaging target 400 a from the recognition unit 131 of the calculation unit 130. Further, the moving body control unit 142 adjusts the moving direction and moving speed of the moving body 300, and moves the imaging apparatus 100 integrally with the moving body 300 to a position where the face of the imaging target 400a can be imaged from the front. For example, the moving body control unit 142 controls the propulsion unit and the rudder to control the propulsive force and the propulsion direction, and the imaging apparatus integrally with the moving body 300 at a position where the face of the imaging target 400a can be imaged from the front. Move 100.

このようにして、認識部１３１は、撮像した光学像における撮像対象４００ａに顔が検出された場合、顔の向きを認識する。そして、制御部１４０は、その顔の向きに応じて、移動体３００に備えられた撮像装置１００を移動させる。これにより、例えば、撮像装置１００から見て、画像５０３ａが「左を向いた顔」であると認識部１３１が認識した場合、撮像装置１００は、撮像対象４００ａの顔が正面に向く方向（例えば、図２において、撮像対象４００ａの移動方向の左側）に移動して、撮像対象４００ａの顔を正面から撮像することができる。   In this manner, the recognition unit 131 recognizes the orientation of the face when a face is detected on the imaging target 400a in the captured optical image. And the control part 140 moves the imaging device 100 with which the moving body 300 was equipped according to the direction of the face. Thereby, for example, when the recognition unit 131 recognizes that the image 503a is “a face facing left” when viewed from the imaging device 100, the imaging device 100 is configured so that the face of the imaging target 400a faces the front (for example, 2, the face of the imaging target 400a can be imaged from the front by moving to the left side of the moving direction of the imaging target 400a.

＜デフォーカス量に基づく合焦動作について＞
演算部１３０の認識部１３１は、画像信号に基づいて、検出された撮像対象４００ａの画像５０３ａ（図４（Ｂ）を参照）のデフォーカス量を算出してもよい。また、その算出アルゴリズムは、例えば、位相差検出方式、コントラスト検出方式、色収差検出方式に使用される公知のアルゴリズムであってよい。そして、認識部１３１は、デフォーカス量に基づいて、光学系１１１による像が撮像対象４００ａの前側に合焦しているか、又は撮像対象４００ａの後側に合焦しているかを検出する。 <About in-focus operation based on defocus amount>
The recognition unit 131 of the calculation unit 130 may calculate the defocus amount of the detected image 503a (see FIG. 4B) of the imaging target 400a based on the image signal. The calculation algorithm may be a known algorithm used for, for example, a phase difference detection method, a contrast detection method, and a chromatic aberration detection method. Then, the recognition unit 131 detects whether the image by the optical system 111 is focused on the front side of the imaging target 400a or the rear side of the imaging target 400a based on the defocus amount.

さらに、移動体制御部１４２は、デフォーカス量に応じて移動体３００を制御し、移動体３００と一体で撮像装置１００を移動させる。例えば、撮像された像が撮像対象４００ａの後側に合焦していることを、演算部１３０の認識部１３１が検出した場合、制御部１４０の移動体制御部１４２は、撮像対象４００ａから離れる方向に、撮像装置１００を移動させることで、撮像対象４００ａに合焦させる。一方、撮像された像が撮像対象４００ａの前側に合焦していることを、演算部１３０の認識部１３１が検出した場合、制御部１４０の移動体制御部１４２は、撮像対象４００ａに近づく方向に、撮像装置１００を移動させることで、撮像対象４００ａに合焦させる。これにより、撮像装置１００は、撮像部１１０の光学系１１１を駆動しなくても、デフォーカス量に応じて移動体３００を移動させることで、撮像対象４００ａに合焦させることができる。   Furthermore, the moving body control unit 142 controls the moving body 300 according to the defocus amount, and moves the imaging apparatus 100 integrally with the moving body 300. For example, when the recognition unit 131 of the calculation unit 130 detects that the captured image is focused on the rear side of the imaging target 400a, the moving body control unit 142 of the control unit 140 moves away from the imaging target 400a. By moving the imaging device 100 in the direction, the imaging target 400a is focused. On the other hand, when the recognition unit 131 of the calculation unit 130 detects that the captured image is focused on the front side of the imaging target 400a, the moving body control unit 142 of the control unit 140 approaches the imaging target 400a. Then, the imaging apparatus 100 is moved to focus on the imaging target 400a. Thereby, the imaging apparatus 100 can focus the imaging target 400a by moving the moving body 300 according to the defocus amount without driving the optical system 111 of the imaging unit 110.

＜撮像対象４００ａの画像が検出された画像信号のみを表示させる場合について＞
演算部１３０の認識部１３１は、撮像対象４００ａが撮像されているか否かを検出してもよい。そして、制御部１４０は、撮像対象４００ａの画像が検出されたか否かを示す情報を、画像信号に対応させて、インタフェース部２００を介して通信装置に送信する。これにより、通信装置は、受信した画像信号と、撮像対象４００ａが撮像されている否かを示す情報とから、撮像対象４００ａが撮像されている画像信号のみを選択し、選択した画像信号のみを画像処理して、撮像対象４００ａが撮像されている画像のみを表示することができる。 <When Displaying Only Image Signals from which Images of Imaging Object 400a are Detected>
The recognition unit 131 of the calculation unit 130 may detect whether or not the imaging target 400a is being imaged. Then, the control unit 140 transmits information indicating whether or not the image of the imaging target 400a is detected to the communication apparatus via the interface unit 200 in association with the image signal. Accordingly, the communication device selects only the image signal in which the imaging target 400a is captured from the received image signal and information indicating whether the imaging target 400a is captured, and selects only the selected image signal. Image processing can be performed to display only an image in which the imaging target 400a is captured.

また、制御部１４０は、撮像部１１０が出力した画像信号を取得し、撮像対象４００ａの画像が検出されたか否かを示す情報に基づいて、撮像部１１０が出力した画像信号から、撮像対象４００ａが撮像されている画像信号のみを、インタフェース部２００を介して、通信装置に送信することができる。これにより、ユーザは、撮像対象４００ａが撮像されている画像のみを、通信装置のディスプレイに観ることができる。   In addition, the control unit 140 acquires the image signal output by the imaging unit 110, and based on the information indicating whether the image of the imaging target 400a is detected, from the image signal output by the imaging unit 110, the imaging target 400a. Only the image signal in which is captured can be transmitted to the communication device via the interface unit 200. Thereby, the user can view only the image in which the imaging target 400a is captured on the display of the communication apparatus.

＜複数の撮像対象が集合した画像を撮像する場合について＞
演算部１３０の認識部１３１は、撮像対象４００ａを認識する上述の手順と同様に、テンプレート画像によって、撮像対象４００ｂ及び４００ｃを認識する。そして、認識部１３１は、探索範囲５００に撮像された撮像対象の数を検出する。例えば、図４（Ｂ）では、撮像対象４００ａの画像５０３ａと、撮像対象４００ｂの画像５０１ａと、撮像対象４００ｃの画像５０２ａとが撮像されているので、この場合、探索範囲５００に撮像された撮像対象の数は３つとなる。そして、認識部１３１は、検出した撮像対象の数を、制御部１４０に出力する。 <When capturing an image of a collection of multiple imaging targets>
Similar to the above-described procedure for recognizing the imaging target 400a, the recognition unit 131 of the calculation unit 130 recognizes the imaging targets 400b and 400c from the template image. Then, the recognition unit 131 detects the number of imaging targets imaged in the search range 500. For example, in FIG. 4B, an image 503a of the imaging target 400a, an image 501a of the imaging target 400b, and an image 502a of the imaging target 400c are captured. In this case, the imaging captured in the search range 500 The number of objects is three. Then, the recognition unit 131 outputs the detected number of imaging targets to the control unit 140.

制御部１４０は、探索範囲５００に撮像された撮像対象の数が予め定められた閾値以上である場合、インタフェース部２００に画像信号を出力する。一方、撮像対象の数が予め定められた閾値未満である場合、制御部１４０は、インタフェース部２００に画像信号を出力しなくてもよい。また、予め定められた閾値は、記憶部１２０に記憶されていてもよい。   The control unit 140 outputs an image signal to the interface unit 200 when the number of imaging targets captured in the search range 500 is equal to or greater than a predetermined threshold. On the other hand, when the number of imaging targets is less than a predetermined threshold, the control unit 140 may not output an image signal to the interface unit 200. In addition, the predetermined threshold value may be stored in the storage unit 120.

このようにして、撮像装置１００は、画像フレームにおける所定の探索範囲５００（図４（Ｂ）を参照）に撮像されている撮像対象の数が、予め定められた閾値以上となった場合のみ、通信装置に画像信号を送信する。これにより、撮像装置１００は、撮像対象が集合した画像を、通信装置に送信することができる。   In this way, the imaging apparatus 100 can be used only when the number of imaging targets being imaged in the predetermined search range 500 (see FIG. 4B) in the image frame is equal to or greater than a predetermined threshold. An image signal is transmitted to the communication device. Thereby, the imaging device 100 can transmit an image in which imaging targets are gathered to the communication device.

＜撮像された像に予め定められた閾値以上の変化があった場合の撮像について＞
制御部１４０は、時間的に連続する複数の画像フレーム間の差分を、演算部１３０の認識部１３１から取得してもよい。そして、制御部１４０は、その差分が予め定められた閾値以上である場合、すなわち、撮像部１１０に撮像された像に予め定められた閾値以上の変化があった場合のみ、演算部１３０から画像信号を取得して、インタフェース部２００に出力してもよい。これにより、撮像装置１００は、撮像部１１０に撮像された像に予め定められた閾値以上の変化があった場合のみ、画像信号を通信装置に送信することができる。例えば、水面に浮上した鯨が潮を噴く前の画像と、潮を噴いている画像とで、大きな変化があれば、撮像装置１００は、水面に浮上した鯨が潮を噴いている画像を、通信装置に送信することができる。 <Imaging when there is a change in a captured image that exceeds a predetermined threshold>
The control unit 140 may acquire a difference between a plurality of temporally continuous image frames from the recognition unit 131 of the calculation unit 130. Then, the control unit 140 outputs the image from the calculation unit 130 only when the difference is greater than or equal to a predetermined threshold, that is, when the image captured by the imaging unit 110 has a change greater than or equal to the predetermined threshold. A signal may be acquired and output to the interface unit 200. As a result, the imaging apparatus 100 can transmit an image signal to the communication apparatus only when the image captured by the imaging unit 110 has changed more than a predetermined threshold. For example, if there is a large change between an image before a whale that has emerged on the water surface and the image from which the tide is ejected, the imaging apparatus 100 may display an image of the whale that has emerged on the water surface and the tide is It can be transmitted to the communication device.

＜撮像対象４００ａが撮像されていない場合の処理について＞
例えば、撮像装置１００が追尾していた撮像対象４００ａを見失ったとする。このような場合、演算部１３０の認識部１３１は、撮像対象４００ａを再び追尾して撮像するために、撮像対象４００ａが撮像されているか否かを検出してもよい。そして、認識部１３１は、撮像対象４００ａの画像が検出されたか否かを示す情報を、制御部１４０に出力する。そして、制御部１４０の移動体制御部１４２は、撮像対象４００ａが撮像されていない場合、撮像部１１０が撮像する範囲が広がるように、移動体３００を制御して、移動体３００に備えられた撮像装置１００を移動（例えば、地上又は水面から離れるように上昇）させる。このようにすれば、撮像装置１００は、より広い範囲を撮像することができるので、撮像対象４００ａの画像を再び検出して、撮像対象４００ａの追尾と撮像を再開することができる。 <Processing when the imaging target 400a is not captured>
For example, it is assumed that the imaging target 400a tracked by the imaging device 100 is lost. In such a case, the recognition unit 131 of the calculation unit 130 may detect whether or not the imaging target 400a is captured in order to track the imaging target 400a again and capture the image. Then, the recognizing unit 131 outputs information indicating whether an image of the imaging target 400a is detected to the control unit 140. The moving body control unit 142 of the control unit 140 is provided in the moving body 300 by controlling the moving body 300 so that the range captured by the imaging unit 110 is widened when the imaging target 400a is not captured. The imaging apparatus 100 is moved (for example, lifted away from the ground or the water surface). In this way, since the imaging apparatus 100 can capture a wider range, the image of the imaging target 400a can be detected again, and tracking and imaging of the imaging target 400a can be resumed.

＜撮像対象４００ａの移動方向から、撮像対象４００ａを撮像する場合について＞
演算部１３０の認識部１３１は、撮像対象位置の変化に基づいて、画像フレームにおける撮像対象４００ａの画像５０３ａ（図４（Ｂ）を参照）の移動方向及び移動速度を認識する。例えば、認識部１３１は、時間的に連続する複数の画像フレームにおける撮像対象位置の変化（差分）に基づいて、画像フレーム内（探索範囲５００内）における画像５０３ａの「動きベクトル」を算出することで、撮像対象４００ａの画像の移動方向及び移動速度を認識してもよい。 <About the case where the imaging target 400a is imaged from the moving direction of the imaging target 400a>
The recognition unit 131 of the calculation unit 130 recognizes the moving direction and moving speed of the image 503a (see FIG. 4B) of the imaging target 400a in the image frame based on the change of the imaging target position. For example, the recognition unit 131 calculates the “motion vector” of the image 503a within the image frame (within the search range 500) based on the change (difference) in the imaging target position in a plurality of temporally continuous image frames. Thus, the moving direction and moving speed of the image of the imaging target 400a may be recognized.

そして、制御部１４０の移動体制御部１４２は、画像フレームにおける画像５０３ａの移動方向及び移動速度を、認識部１３１から取得する。そして、移動体制御部１４２は、撮像対象４００ａの移動方向に、撮像対象４００ａよりも先に位置するように、移動体３００を移動させる。このようにすれば、撮像装置１００は、撮像対象４００ａの移動方向から、撮像対象４００ａを撮像することができる。例えば、撮像装置１００は、撮像対象４００ａの移動方向から見える撮像対象４００ａの正面を、撮像することができる。   Then, the moving body control unit 142 of the control unit 140 acquires the moving direction and moving speed of the image 503a in the image frame from the recognition unit 131. And the mobile body control part 142 moves the mobile body 300 so that it may be located ahead of the imaging target 400a in the moving direction of the imaging target 400a. In this way, the imaging apparatus 100 can image the imaging target 400a from the moving direction of the imaging target 400a. For example, the imaging device 100 can capture the front of the imaging target 400a that can be seen from the moving direction of the imaging target 400a.

［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、撮像部１１０の光学系１１１の倍率及び画角が変更される点が、第１実施形態と異なる。以下では、第１実施形態との相違点についてのみ説明する。 [Second Embodiment]
A second embodiment of the present invention will be described in detail with reference to the drawings. The second embodiment is different from the first embodiment in that the magnification and the angle of view of the optical system 111 of the imaging unit 110 are changed. Only the differences from the first embodiment will be described below.

制御部１４０は、撮像制御部１４１を更に備える。撮像制御部１４１は、撮像対象４００ａの画像５０３ａが検出されたか否かを示す情報を、認識部１３１から取得する。そして、撮像制御部１４１は、撮像対象４００ａの画像５０３ａが画像フレームにおいて予め定められた大きさに撮像されるように、サイズ情報又はサイズ情報の変化に基づいて撮像部１１０を制御することで、光学系１１１の倍率を変更させる。   The control unit 140 further includes an imaging control unit 141. The imaging control unit 141 acquires information indicating whether or not the image 503a of the imaging target 400a has been detected from the recognition unit 131. Then, the imaging control unit 141 controls the imaging unit 110 based on the size information or the change in the size information so that the image 503a of the imaging target 400a is captured in a predetermined size in the image frame. The magnification of the optical system 111 is changed.

また、撮像制御部１４１は、撮像対象４００ａの画像が検出されていない場合、撮像範囲を広げるために、撮像部１１０を制御して、光学系１１１の倍率を低倍率に変更させる。   Further, when the image of the imaging target 400a is not detected, the imaging control unit 141 controls the imaging unit 110 to change the magnification of the optical system 111 to a low magnification in order to widen the imaging range.

また、撮像制御部１４１は、撮像部１１０の光学系１１１の画角を制御する。例えば、撮像制御部１４１は、撮像対象４００ａの画像が検出されていない場合、撮像範囲を広げるために、撮像部１１０を制御して、光学系１１１の画角を広角に変更させる。   In addition, the imaging control unit 141 controls the angle of view of the optical system 111 of the imaging unit 110. For example, when the image of the imaging target 400a is not detected, the imaging control unit 141 controls the imaging unit 110 to change the angle of view of the optical system 111 to a wide angle in order to widen the imaging range.

以上のようにして、制御部１４０の撮像制御部１４１は、撮像対象４００ａが画像フレームにおいて予め定められた大きさに撮像されるように、撮像部１１０に光学系１１１の倍率又は画角を変更させて、撮像対象４００ａを撮像させる。   As described above, the imaging control unit 141 of the control unit 140 changes the magnification or the angle of view of the optical system 111 in the imaging unit 110 so that the imaging target 400a is imaged in a predetermined size in the image frame. The imaging target 400a is imaged.

光学系１１１が駆動した場合と、移動体３００が移動した場合とで、光学系１１１が駆動したほうが、撮像された画像の倍率又は画角が短い時間で変更される場合、撮像装置１００は、光学系１１１を駆動させることで、第１実施形態と対比して更に、倍率又は画角を短い時間で変更して、撮像対象４００ａを予め定められた大きさに撮像することができる。   When the optical system 111 is driven and when the moving body 300 is moved, when the optical system 111 is driven, the magnification or the angle of view of the captured image is changed in a shorter time. By driving the optical system 111, the magnification or angle of view can be further changed in a short time as compared with the first embodiment, and the imaging target 400a can be imaged in a predetermined size.

＜優先処理について＞
撮像制御部１４１は、光学系１１１による像を撮像装置１００が静止画として撮像する場合、移動体制御部１４２が移動体３００を制御して、撮像装置１００と、撮像対象４００ａとの距離を調節するよりも、撮像制御部１４１が撮像部１１０に光学系１１１の倍率を変更させることを優先してもよい。 <About priority processing>
When the imaging apparatus 100 captures an image by the optical system 111 as a still image, the imaging control unit 141 controls the moving body 300 to adjust the distance between the imaging apparatus 100 and the imaging target 400a. Instead, the imaging control unit 141 may prioritize the imaging unit 110 to change the magnification of the optical system 111.

光学系１１１が駆動した場合と、移動体３００が移動した場合とで、光学系１１１が駆動したほうが、撮像された画像の倍率又は画角が短い時間で変更される場合、撮像装置１００は、優先処理として光学系１１１を駆動させることで、倍率又は画角を短い時間で変更して、撮像対象４００ａを予め定められた大きさに静止画として撮像することができる。   When the optical system 111 is driven and when the moving body 300 is moved, the magnification or the angle of view of the captured image is changed in a shorter time when the optical system 111 is driven. By driving the optical system 111 as the priority processing, the magnification or the angle of view can be changed in a short time, and the imaging target 400a can be captured as a still image in a predetermined size.

また、移動体制御部１４２は、光学系１１１による像を撮像装置１００が動画として撮像する場合、撮像制御部１４１が撮像部１１０に光学系１１１の倍率を変更させるよりも、移動体制御部１４２が移動体３００を制御して、撮像装置１００と、撮像対象４００ａとの距離を調節することを優先してもよい。   In addition, when the image capturing apparatus 100 captures an image of the optical system 111 as a moving image, the moving body control unit 142 causes the moving body control unit 142 to change rather than causing the imaging unit 110 to change the magnification of the optical system 111. May prioritize controlling the moving body 300 to adjust the distance between the imaging device 100 and the imaging target 400a.

光学系１１１が駆動した場合と、移動体３００が移動した場合とで、移動体３００が移動したほうが、撮像された画像の倍率又は画角が長い時間で変更される場合、撮像装置１００は、優先処理として移動体３００を移動させることで、画像の構図を急に変化させることなく、撮像対象４００ａを予め定められた大きさに動画として撮像することができる。   When the optical system 111 is driven and when the moving body 300 is moved, when the moving body 300 is moved, the magnification or the angle of view of the captured image is changed in a longer time. By moving the moving body 300 as the priority processing, the imaging target 400a can be captured as a moving image in a predetermined size without abruptly changing the composition of the image.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

なお、インタフェース部２００は、有線通信を実行してもよい。また、インタフェース部２００は、制御部１４０から取得した画像信号及び音信号を記憶する記録媒体（フラッシュメモリ等）であってもよい。   Note that the interface unit 200 may perform wired communication. The interface unit 200 may be a recording medium (such as a flash memory) that stores image signals and sound signals acquired from the control unit 140.

１００…撮像装置、１１０…撮像部、１１１…光学系、１１２…撮像素子、１１３…レンズ駆動部、１１４…Ａ／Ｄ変換部、１２０…記憶部、１３０…演算部、１３１…認識部、１４０…制御部、１４１…撮像制御部、１４２…移動体制御部 DESCRIPTION OF SYMBOLS 100 ... Imaging device, 110 ... Imaging part, 111 ... Optical system, 112 ... Imaging element, 113 ... Lens drive part, 114 ... A / D conversion part, 120 ... Memory | storage part, 130 ... Calculation part, 131 ... Recognition part, 140 ... Control unit, 141 ... Imaging control unit, 142 ... Moving body control unit

Claims (10)

光学系による像を撮像して、当該像に応じた画像信号を出力する撮像部と、
前記画像信号に基づいて、撮像対象を認識する認識部と、
前記認識部が認識した前記撮像対象の状態に応じて、移動体を制御して、当該移動体に備えられた自装置を移動させる制御部と、
を備えることを特徴とする撮像装置。 An imaging unit that captures an image by an optical system and outputs an image signal corresponding to the image;
A recognition unit for recognizing an imaging target based on the image signal;
A control unit that controls the moving body according to the state of the imaging target recognized by the recognition unit, and moves the own device provided in the moving body;
An imaging apparatus comprising: 前記認識部は、前記像における前記撮像対象の大きさを算出し、
前記制御部は、前記撮像対象が前記像において予め定められた大きさに撮像されるように、前記移動体を制御して、当該移動体に備えられた自装置と、前記撮像対象と、の距離を調節することを特徴とする請求項１に記載の撮像装置。 The recognizing unit calculates a size of the imaging target in the image;
The control unit controls the moving body so that the imaging target is imaged in a predetermined size in the image, and includes the own device provided in the moving body and the imaging target. The imaging apparatus according to claim 1, wherein the distance is adjusted. 前記認識部は、前記像における前記撮像対象の大きさを算出し、
前記制御部は、前記撮像対象が前記画像において予め定められた大きさに撮像されるように、前記撮像部に前記光学系の倍率を変更させて、前記撮像対象を撮像させることを特徴とする請求項２に記載の撮像装置。 The recognizing unit calculates a size of the imaging target in the image;
The control unit causes the imaging unit to change the magnification of the optical system so that the imaging target is captured in a predetermined size in the image, and causes the imaging target to be captured. The imaging device according to claim 2. 前記制御部は、前記像が動画として撮像される場合、前記撮像部に前記光学系の倍率を変更させるよりも、前記移動体を制御して、当該移動体に備えられた自装置と、前記撮像対象と、の距離を調節することを優先することを特徴とする請求項３に記載の撮像装置。   When the image is captured as a moving image, the control unit controls the moving body rather than causing the imaging unit to change the magnification of the optical system; 4. The imaging apparatus according to claim 3, wherein priority is given to adjusting a distance from an imaging target. 前記制御部は、前記像が静止画として撮像される場合、前記移動体を制御して、当該移動体に備えられた自装置と、前記撮像対象と、の距離を調節するよりも、前記撮像部に前記光学系の倍率を変更させることを優先することを特徴とする請求項３又は請求項４に記載の撮像装置。   When the image is captured as a still image, the control unit controls the moving body and adjusts the distance between the image capturing target and the own apparatus provided in the moving body. 5. The imaging apparatus according to claim 3, wherein priority is given to changing the magnification of the optical system. 前記認識部は、前記撮像対象が撮像されているか否かを検出し、
前記制御部は、前記撮像対象が撮像されていない場合、前記撮像部が撮像する前記像の範囲を広げるように前記移動体を制御して、当該移動体に備えられた自装置を移動させることを特徴とする請求項１から請求項５のいずれか１つに記載の撮像装置。 The recognizing unit detects whether or not the imaging target is imaged;
When the imaging target is not captured, the control unit controls the moving body so as to widen the range of the image captured by the imaging unit, and moves the own apparatus provided in the moving body. The imaging device according to any one of claims 1 to 5, wherein: 前記認識部は、前記撮像対象が撮像されているか否かを検出し、
前記制御部は、前記撮像対象が撮像されていない場合、前記撮像部に前記光学系を広角に変更させる、又は前記光学系の倍率を変更させることを特徴とする請求項１から請求項６のいずれか１つに記載の撮像装置。 The recognizing unit detects whether or not the imaging target is imaged;
The said control part makes the said imaging part change the said optical system to a wide angle, or changes the magnification of the said optical system, when the said imaging target is not imaged. The imaging device according to any one of the above. 前記認識部は、前記撮像対象の移動方向を検出し、
前記制御部は、前記撮像対象の前記移動方向に位置するように、前記移動体に備えられた自装置を移動させることを特徴とする請求項１から請求項７のいずれか１つに記載の撮像装置。 The recognition unit detects a moving direction of the imaging target,
The said control part moves the own apparatus with which the said mobile body was equipped so that it may be located in the said moving direction of the said imaging target, The Claim 1 characterized by the above-mentioned. Imaging device. 前記認識部は、前記像における前記撮像対象の顔の向きを認識し、
前記制御部は、前記顔の向きに基づいて、前記移動体に備えられた自装置を移動させることを特徴とする請求項１から請求項８のいずれか１つに記載の撮像装置。 The recognizing unit recognizes the orientation of the face to be imaged in the image;
The imaging device according to any one of claims 1 to 8, wherein the control unit moves its own device provided in the moving body based on the orientation of the face. 前記認識部は、前記像における前記撮像対象の数を検出し、
前記制御部は、前記撮像部が出力した前記画像信号を取得し、当該数が予め定められた閾値以上である場合、前記画像信号を出力することを特徴とする請求項１から請求項９のいずれか１つに記載の撮像装置。 The recognizing unit detects the number of the imaging objects in the image;
The said control part acquires the said image signal which the said imaging part output, and when the said number is more than a predetermined threshold value, it outputs the said image signal. The imaging device according to any one of the above.
JP2009291828A 2009-12-24 2009-12-24 Imaging apparatus Pending JP2011135247A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009291828A JP2011135247A (en) 2009-12-24 2009-12-24 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009291828A JP2011135247A (en) 2009-12-24 2009-12-24 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2011135247A true JP2011135247A (en) 2011-07-07

Family

ID=44347526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009291828A Pending JP2011135247A (en) 2009-12-24 2009-12-24 Imaging apparatus

Country Status (1)

Country Link
JP (1) JP2011135247A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064083A (en) * 2012-09-20 2014-04-10 Toshiba Corp Monitoring device and method
JP5896496B2 (en) * 2012-10-11 2016-03-30 日本電気株式会社 Base station and communication method
JP2016220005A (en) * 2015-05-19 2016-12-22 オリンパス株式会社 Imaging apparatus
JPWO2014077046A1 (en) * 2012-11-13 2017-01-05 ソニー株式会社 Image display device and image display method, mobile device, image display system, and computer program
WO2017094317A1 (en) * 2015-12-02 2017-06-08 ソニー株式会社 Control apparatus, control method, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064083A (en) * 2012-09-20 2014-04-10 Toshiba Corp Monitoring device and method
JP5896496B2 (en) * 2012-10-11 2016-03-30 日本電気株式会社 Base station and communication method
JPWO2014077046A1 (en) * 2012-11-13 2017-01-05 ソニー株式会社 Image display device and image display method, mobile device, image display system, and computer program
JP2016220005A (en) * 2015-05-19 2016-12-22 オリンパス株式会社 Imaging apparatus
WO2017094317A1 (en) * 2015-12-02 2017-06-08 ソニー株式会社 Control apparatus, control method, and program
US11025808B2 (en) 2015-12-02 2021-06-01 Sony Corporartion Control apparatus and control method

Similar Documents

Publication Publication Date Title
US20210157118A1 (en) Medical image processing apparatus, medical image processing method, and medical observation system
JP5725793B2 (en) Imaging apparatus and control method thereof
CN111683193B (en) Image processing apparatus
US11587355B2 (en) Tracking control method, device, and aircraft
US11103125B2 (en) Endoscope system and circuitry that corrects distortion based on image size
EP1107052A1 (en) Method and apparatus for image projection, and apparatus for controlling image projection
KR20190102152A (en) An artificial intelligence apparatus for calibrating color of display panel of user and method for the same
US11960638B2 (en) Distributed sensor system
JP2011166305A (en) Image processing apparatus and imaging apparatus
JP2011135247A (en) Imaging apparatus
US11443540B2 (en) Information processing apparatus and information processing method
KR102282117B1 (en) Artificial intelligence display device
JP2017072986A (en) Autonomous flying device, control method and program of autonomous flying device
JPWO2014148031A1 (en) Image generating apparatus, imaging apparatus, and image generating method
JP7391053B2 (en) Information processing device, information processing method and program
US11443719B2 (en) Information processing apparatus and information processing method
CN206378680U (en) 3D cameras based on 360 degree of spacescans of structure light multimode and positioning
JP5803534B2 (en) Optical communication apparatus and program
JP5973843B2 (en) Outside environment recognition device and outside environment recognition method
WO2020215214A1 (en) Image processing method and apparatus
JP4866227B2 (en) Automatic tracking camera
US20230379594A1 (en) Image blending
US20230401782A1 (en) Electronic apparatus and control method of the same
JP2019148654A (en) Controller, image projection device, control method, and program
JP2014216694A (en) Tracking pan head device with resolution increase processing