JP2007129480A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2007129480A
JP2007129480A JP2005320022A JP2005320022A JP2007129480A JP 2007129480 A JP2007129480 A JP 2007129480A JP 2005320022 A JP2005320022 A JP 2005320022A JP 2005320022 A JP2005320022 A JP 2005320022A JP 2007129480 A JP2007129480 A JP 2007129480A
Authority
JP
Japan
Prior art keywords
imaging
target
screen
image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005320022A
Other languages
Japanese (ja)
Other versions
JP4586709B2 (en
Inventor
Shuichiro Tsukiji
修一郎 築地
Koichi Kinoshita
航一 木下
Hiroshi Saito
宏 斉藤
Yukiko Yanagawa
由紀子 柳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2005320022A priority Critical patent/JP4586709B2/en
Publication of JP2007129480A publication Critical patent/JP2007129480A/en
Application granted granted Critical
Publication of JP4586709B2 publication Critical patent/JP4586709B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique to easily put a framed-out object of photography back into a frame. <P>SOLUTION: The imaging device displays on the screen of a display unit 4 a moving picture being photographed by an imaging unit 2. A tracing processing unit 5 detects the object of photography in the picture photographed by the imaging unit 2 and traces movements of the object of photography in the moving picture. When the object of photography being traced moves out of the screen of the display unit 4, a moving direction guide unit 6 displays a guide indicating the moving direction of the object of photography on the screen. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、動画像を撮影可能な撮像装置に関する。   The present invention relates to an imaging apparatus capable of capturing a moving image.

光学ズーム又はデジタルズームを利用した高倍率での動画撮影が可能な撮像装置が普及している。しかし、高倍率での撮影は手ブレ等の影響を受けやすく、撮影対象がフレームアウトしてしまいやすい。そして、一度フレームアウトしてしまうと、撮影対象を見失ってしまい、撮影対象を再び画角内に戻すのは非常に困難である。   Imaging devices that can shoot moving images at a high magnification using optical zoom or digital zoom are in widespread use. However, shooting at a high magnification is easily affected by camera shake and the like, and the shooting target tends to be out of frame. Once the frame is out, the subject to be photographed is lost, and it is very difficult to return the subject to the angle of view again.

そこで、従来、ズーム開始前やズーム途中の広範囲画像を子画面に参考表示することで、撮影対象へのズームや、フレームアウト時の撮影対象の発見を容易にする技術が知られている(特許文献1)。   Therefore, conventionally, there is known a technique that makes it easy to zoom to an object to be photographed or to find an object to be photographed when out of a frame by displaying a wide-range image as a reference on a sub-screen before starting zooming or during zooming (patent) Reference 1).

また、撮影対象がフレームアウトしたときに、その旨をLEDで知らせたり、防振装置の作動を禁止したりすることで、構図の変更を支援する技術も知られている(特許文献2)。
特開2000−217027号公報 特開平5−61092号公報
In addition, there is also known a technique that supports composition change by notifying an LED with an LED when a subject to be photographed is out of frame or prohibiting the operation of an image stabilizer (Patent Document 2).
Japanese Patent Laid-Open No. 2000-217027 JP-A-5-61092

しかし特許文献1の方法のように広範囲画像を表示したとしても、高倍率の拡大画像が広範囲画像のどの部分に対応しているかを容易に把握できなければ、撮影対象をフレーム内に戻すのは難しい。また、広範囲画像はズーム開始前やズーム途中の画像(つまり、過去の画像)のため、撮影対象が比較的速い速度で移動している場合には、撮影対象の位置が変わっており、参考にならない。   However, even if a wide-range image is displayed as in the method of Patent Document 1, if the high-magnification magnified image cannot be easily grasped to which part of the wide-range image, the imaging target is returned to the frame. difficult. Also, because the wide range image is an image before zooming or during zooming (that is, a past image), if the subject is moving at a relatively high speed, the location of the subject is changed. Don't be.

また、特許文献2の方法では、撮影対象がフレームアウトしたことが通知されるにすぎず、撮影対象をフレーム内に戻す操作に対しては何ら役に立たない。   In addition, the method disclosed in Patent Document 2 merely notifies that the shooting target has been out of frame, and is not useful for the operation of returning the shooting target to the frame.

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、フレームアウトした撮影対象を容易にフレーム内に戻すことの可能な技術を提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique capable of easily returning a photographing target out of the frame into the frame.

上記目的を達成するために本発明では、以下の手段または処理を採用する。   In order to achieve the above object, the present invention employs the following means or processing.

本発明の第一態様は、動画像を撮影可能な撮像手段と、前記撮像手段にて撮影中の動画像を表示する表示手段と、前記撮像手段で撮影された画像から撮影対象を検出し、動画像においてその撮影対象の動きを追跡する追跡手段と、追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する移動方向案内手段と、を備える撮像装置である。   In the first aspect of the present invention, an imaging unit capable of capturing a moving image, a display unit that displays a moving image being captured by the imaging unit, a shooting target is detected from the image captured by the imaging unit, A tracking unit that tracks the movement of the shooting target in a moving image, and a movement that displays a guide for guiding the moving direction of the shooting target on the screen when the shooting target being tracked deviates from the screen of the display unit. And an orientation guide means.

この構成によれば、撮影者が画面表示される動画像を見ながら撮影対象を撮影しているときに、撮影対象がフレームアウトしてしまうと、画面上にガイドが表示される。そのガイドは撮影対象の移動方向(フレームアウトした方向)を案内するものであるため、撮影者がそのガイドされた方向に撮像装置を向けることで、容易に撮影対象を発見しフレーム内に戻すことができる。   According to this configuration, when the photographer is photographing the photographing target while watching the moving image displayed on the screen, the guide is displayed on the screen if the photographing target is out of frame. Since the guide guides the moving direction of the shooting target (the direction of out of the frame), the shooting person can easily find the shooting target and return it to the frame by pointing the imaging device in the guided direction. Can do.

画面上に表示するガイドは、撮影対象の移動方向、つまり、撮像装置を向けるべき方向を撮影者に知らせることができれば、どのようなものでも構わない。例えば、方向を示す矢印や図形や絵文字のようなマークでもよいし、方向を知らせるメッセージでもよいし、画面の一部に特殊効果(点滅、反転、強調など)を表示してもよい。また、ガイドは、画面表示されている動画像の視認性を損なわない態様で表示するとよい。例えば、オーバーレイ表示したり、点滅表示したり、画面の端に表示したりする態様が好ましい。   The guide displayed on the screen may be any guide as long as it can inform the photographer of the moving direction of the object to be imaged, that is, the direction in which the imaging device should be directed. For example, a mark such as an arrow indicating a direction, a figure, or a pictograph, a message indicating the direction, or a special effect (flashing, reversal, emphasis, etc.) may be displayed on a part of the screen. Moreover, it is good to display a guide in the aspect which does not impair the visibility of the moving image currently displayed on the screen. For example, it is preferable to perform an overlay display, a flashing display, or a display on the edge of the screen.

撮影対象としては、人、動物、車両、ボールなどのあらゆる移動物体が想定される。特に撮影対象が人の場合には、前記追跡手段は、画像から顔を検出することによって追跡対象とすべき撮影対象を特定することが好ましい。   Any moving object such as a person, an animal, a vehicle, or a ball is assumed as an imaging target. In particular, when the photographing target is a person, it is preferable that the tracking unit specifies a photographing target to be tracked by detecting a face from the image.

撮影対象の移動方向の決定方法としては、種々の方法が想定され、いかなる方法を採用してもよい。   As a method for determining the moving direction of the photographing target, various methods are assumed, and any method may be adopted.

例えば、前記移動方向案内手段は、前記撮影対象が前記画面から外れる直前の画像において、前記撮影対象に最も近い画面端を求め、前記ガイドとして、前記最も近い画面端を指し示すマークを表示してもよい。   For example, the moving direction guide means may obtain a screen edge closest to the imaging target in an image immediately before the imaging target is deviated from the screen, and display a mark indicating the closest screen edge as the guide. Good.

また、前記移動方向案内手段は、前記撮影対象が前記画面から外れるまでの追跡履歴に基づいて、前記撮影対象が前記画面から外れた後の現在位置を推定し、前記ガイドとして、前記推定された現在位置を指し示すマークを表示してもよい。   Further, the moving direction guide means estimates a current position after the shooting target is off the screen based on a tracking history until the shooting target is off the screen, and the estimated as the guide A mark indicating the current position may be displayed.

さらにこのとき、前記移動方向案内手段は、前記追跡履歴から得られる前記撮影対象と画像中の他の物体との相対位置の変化と、前記他の物体の画像上の現在位置とから、前記撮影対象の現在位置を算出することが好ましい。   Further, at this time, the moving direction guide means takes the photographing from the change in the relative position between the photographing target obtained from the tracking history and another object in the image and the current position on the image of the other object. It is preferable to calculate the current position of the object.

あるいは、撮像装置本体の移動を検知する検知手段をさらに備え、前記移動方向案内手段は、前記追跡履歴から得られる前記撮影対象の画像上の位置の変化と、前記検知手段の検知結果から得られる撮像装置本体の向きの変化とから、前記撮影対象の現在位置を算出することも好ましい。   Alternatively, the apparatus further includes a detecting unit that detects the movement of the imaging apparatus main body, and the moving direction guiding unit is obtained from a change in the position of the image to be captured obtained from the tracking history and a detection result of the detecting unit. It is also preferable to calculate the current position of the object to be imaged from a change in the orientation of the imaging apparatus body.

また、撮像装置本体の移動を検知する検知手段をさらに備え、前記移動方向案内手段は、前記撮影対象が前記画面から外れる直前の前記撮影対象の位置と、前記検知手段の検知結果から得られる撮像装置本体の位置の変化とに基づいて、前記撮影対象が前記画面から外れた後の現在位置を推定し、前記ガイドとして、前記推定された現在位置を指し示すマークを表示してもよい。   The moving direction guiding unit further includes a detecting unit that detects the movement of the imaging apparatus main body, and the moving direction guiding unit captures an image obtained from a position of the shooting target immediately before the shooting target deviates from the screen and a detection result of the detection unit. Based on a change in the position of the apparatus main body, a current position after the photographing object is off the screen may be estimated, and a mark indicating the estimated current position may be displayed as the guide.

また、前記撮像手段で撮影された画像は、前記表示手段の画面に表示される表示領域と、前記表示領域の外側にあり前記画面に表示されない非表示領域とを含み、前記追跡手段は、前記撮影対象が前記表示手段の画面から外れた後でも、前記撮影対象が前記非表示領域に存在する間は前記撮影対象の追跡を続行し、前記移動方向案内手段は、前記ガイドとして、前記非表示領域における前記撮影対象の位置を指し示すマークを表示することも好ましい。   The image captured by the imaging unit includes a display area displayed on the screen of the display unit, and a non-display area that is outside the display area and not displayed on the screen, and the tracking unit includes the tracking unit Even after the shooting target is off the screen of the display unit, the shooting target continues to be tracked while the shooting target exists in the non-display area, and the moving direction guide unit is used as the guide to hide the non-display. It is also preferable to display a mark indicating the position of the photographing target in the area.

なお、本発明は、上記手段の少なくとも一部を有する撮像装置として捉えることができる。また、撮像装置単体でなく、かかる撮像装置を備えた装置(例えば、携帯端末)として捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む撮影方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。   Note that the present invention can be understood as an imaging apparatus having at least a part of the above means. Moreover, it can also be grasped as an apparatus (for example, a portable terminal) provided with such an imaging apparatus instead of the imaging apparatus alone. The present invention can also be understood as an imaging method including at least a part of the above processing, or a program for realizing the method. Each of the above means and processes can be combined with each other as much as possible to constitute the present invention.

たとえば、本発明の一態様としての撮影方法は、動画像を撮影可能な撮像手段と表示手段とを備える撮像装置が、前記撮像手段にて撮影中の動画像を前記表示手段の画面に表示し、前記撮像手段で撮影された画像から撮影対象を検出して、動画像においてその撮影対象の動きを追跡し、追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する撮影方法である。   For example, in the imaging method as one aspect of the present invention, an imaging apparatus including an imaging unit capable of capturing a moving image and a display unit displays a moving image being captured by the imaging unit on a screen of the display unit. , Detecting a shooting target from an image shot by the imaging unit, tracking the movement of the shooting target in a moving image, and when the shooting target being tracked is off the screen of the display unit, In this imaging method, a guide for guiding a moving direction is displayed on the screen.

また、本発明の一態様としてのプログラムは、動画像を撮影可能な撮像手段と表示手段とを備える撮像装置に、前記撮像手段にて撮影中の動画像を前記表示手段の画面に表示する処理と、前記撮像手段で撮影された画像から撮影対象を検出して、動画像においてその撮影対象の動きを追跡する処理と、追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する処理と、を実行させるプログラムである。   The program as one aspect of the present invention is a process for displaying a moving image being photographed by the imaging unit on a screen of the display unit on an imaging apparatus including an imaging unit capable of capturing a moving image and a display unit. And a process of detecting a shooting target from an image shot by the imaging unit and tracking the movement of the shooting target in a moving image, and when the shooting target being tracked is off the screen of the display unit, And a process for displaying a guide for guiding the moving direction of the photographing target on the screen.

本発明によれば、フレームアウトした撮影対象を容易にフレーム内に戻すことができる。よって、高倍率での撮影も容易に行うことができる。   According to the present invention, an object to be photographed out of the frame can be easily returned into the frame. Therefore, shooting at a high magnification can be easily performed.

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ここでは、本発明をデジタルビデオカメラに適用した例を挙げるが、本発明はデジタルビデオカメラに限らず、アナログビデオカメラ、動画撮影機能を有するデジタルカメラなどの各種撮像装置、並びに、動画撮影機能を有する撮像装置を備えた電子機器や携帯端末(コンピュータ、PDA、携帯電話など)などに好ましく適用することができる。   Exemplary embodiments of the present invention will be described in detail below with reference to the drawings. Here, an example in which the present invention is applied to a digital video camera is given. However, the present invention is not limited to a digital video camera, and various imaging devices such as an analog video camera and a digital camera having a moving image shooting function, and a moving image shooting function are provided. The present invention can be preferably applied to an electronic device or a mobile terminal (computer, PDA, mobile phone, etc.) provided with the imaging device.

<撮像装置の構成>
図1は、撮像装置の一構成例を示すブロック図である。撮像装置1は、概略、撮像部2と、一時記憶部3と、表示部4と、追跡処理部5と、移動方向案内部6と、画像記録部7と、操作部8とを備えている。また、図示しないが、撮像装置は、CPU(中央演算処理装置)、主記憶装置、補助記憶装置などのハードウェアを内蔵している。追跡処理部5及び移動方向案内部6は、補助記憶装置に記憶されているプログラムが主記憶装置にロードされ、CPUにより実行されることで実現される。撮像部2、一時記憶部3、表示部4、画像記録部7及び操作部8の制御もプログラムによって実現される。
<Configuration of imaging device>
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus. The imaging device 1 generally includes an imaging unit 2, a temporary storage unit 3, a display unit 4, a tracking processing unit 5, a moving direction guide unit 6, an image recording unit 7, and an operation unit 8. . Although not shown, the imaging device incorporates hardware such as a CPU (Central Processing Unit), a main storage device, and an auxiliary storage device. The tracking processing unit 5 and the moving direction guide unit 6 are realized by loading a program stored in the auxiliary storage device into the main storage device and executing it by the CPU. Control of the imaging unit 2, the temporary storage unit 3, the display unit 4, the image recording unit 7, and the operation unit 8 is also realized by a program.

撮像部2は、動画像を撮影可能な撮像手段であって、光学系(レンズ群)と撮像素子(CCD(Charge-Coupled Devices)、CMOS(Complementary Metal-Oxide Semiconductor)センサなど)とを備えている。また、撮像部2はオートフォーカス機能及びズーム機能を備えている。ズーム機能としては、レンズ群の配置を制御することにより倍率(画角)を変更する光学ズームと、撮像素子に入力された画像の一部をトリミングし拡大することで倍率を変更するデジタルズームの両方を備えることが好ましい。   The imaging unit 2 is an imaging unit capable of capturing a moving image, and includes an optical system (lens group) and an imaging device (CCD (Charge-Coupled Devices), CMOS (Complementary Metal-Oxide Semiconductor) sensor, etc.). Yes. The imaging unit 2 also has an autofocus function and a zoom function. The zoom function includes both an optical zoom that changes the magnification (angle of view) by controlling the arrangement of lens groups, and a digital zoom that changes the magnification by trimming and enlarging part of the image input to the image sensor. It is preferable to provide.

一時記憶部3は、撮像部2で撮影された画像を一時的に記憶するメモリである。一時記憶部3に記憶された画像は、表示部4への表示処理、画像記録部7への記録処理、追跡処理部5での追跡処理などに供される。   The temporary storage unit 3 is a memory that temporarily stores an image captured by the imaging unit 2. The image stored in the temporary storage unit 3 is used for display processing on the display unit 4, recording processing on the image recording unit 7, tracking processing in the tracking processing unit 5, and the like.

表示部4は、画像の表示が可能な表示パネルであって、例えば液晶ディスプレイパネルなどから構成される。表示部4は、ファインダー内部に内蔵されていてもよいし、装置外から視認可能とするために撮像装置本体側面などに回動自在に取り付けられていてもよいし、撮像装置とは別体で構成されていてもよい。   The display unit 4 is a display panel capable of displaying an image, and is composed of, for example, a liquid crystal display panel. The display unit 4 may be built in the viewfinder, or may be pivotally attached to the side surface of the imaging device main body so as to be visible from outside the device, or separate from the imaging device. It may be configured.

画像記録部7は、画像を電磁的に記録する記録媒体であって、例えば光記録媒体、磁気記録媒体、光磁気記録媒体などから構成可能である。   The image recording unit 7 is a recording medium for electromagnetically recording an image, and can be composed of, for example, an optical recording medium, a magnetic recording medium, a magneto-optical recording medium, or the like.

操作部8は、スイッチやボタンなどで構成される入力インターフェイスである。例えば、撮影の開始/終了、記録の開始/終了、撮影対象の指定、ズーム操作(倍率決定)、記録された画像の再生・削除・編集などの命令を入力するための入力インターフェイスがあるとよい。これらの入力インターフェイスは、物理的(機械的)なボタン等で構成されていてもよいが、タッチパネル式の表示部4を用いてソフトウェア的に構成されていてもかまわない。   The operation unit 8 is an input interface composed of switches, buttons, and the like. For example, there may be an input interface for inputting commands such as shooting start / end, recording start / end, designation of a shooting target, zoom operation (magnification determination), and playback / deletion / editing of recorded images. . These input interfaces may be configured by physical (mechanical) buttons or the like, but may be configured by software using the touch panel type display unit 4.

撮影を開始すると、撮像部2で撮影された画像が一定の時間間隔で一時記憶部3に取り込まれ、所定の画像処理が施された後でほぼリアルタイムに表示部4の画面に表示される。撮影者は表示部4の画面に映る画像を見ながら構図を決定することができる。そして、記録を開始すると、表示部4にて閲覧中の画像が動画エンコードされ、画像記録部7に記録されていく。   When shooting is started, images taken by the imaging unit 2 are taken into the temporary storage unit 3 at regular time intervals, and are displayed on the screen of the display unit 4 in almost real time after being subjected to predetermined image processing. The photographer can determine the composition while viewing the image displayed on the screen of the display unit 4. When recording is started, the image being viewed on the display unit 4 is encoded as a moving image and recorded in the image recording unit 7.

上記撮像装置にて、人、動物、車両、ボールなどの動きのある撮影対象を連続的に撮影する際には、撮影者は撮影対象に追従して撮像装置の向きを調整する必要がある。通常、撮影者は、表示部4に映る画像を見ながら、撮影対象が画面(画角)から外れないように、撮像装置を適宜動かしていく。撮影対象の移動速度が遅いときや、画像中の撮影対象の大きさが小さいときは、撮影対象を見失う可能性は小さい。しかし、撮影対象が高速に又は複雑に移動しているときや、撮影対象をアップで撮影しているときには、撮影対象がフレームアウトしてしまうことがある。特に、高倍率撮影を行っている場合には、手ブレ程度の小さな変動でも撮影画像の揺れが大きく、撮影対象を見失う可能性が高い。   When the imaging apparatus continuously shoots an imaging object such as a person, an animal, a vehicle, or a ball, the photographer needs to adjust the orientation of the imaging apparatus following the imaging object. Usually, the photographer appropriately moves the imaging device while watching the image displayed on the display unit 4 so that the photographing target does not deviate from the screen (angle of view). When the moving speed of the shooting target is slow or the size of the shooting target in the image is small, the possibility of losing the shooting target is small. However, when the shooting target is moving at high speed or in a complicated manner, or when the shooting target is shot up, the shooting target may be out of frame. In particular, when high-magnification shooting is performed, even a small fluctuation such as a camera shake causes a large shake of a shot image, and there is a high possibility that a subject to be shot is lost.

そこで本実施形態では、追跡処理部5が、動画像において撮影対象の動きを自動的に追跡(監視)し、追跡中の撮影対象が表示部4の画面から外れた場合に、移動方向案内部6が、撮影対象の移動方向を案内するガイドを画面上に表示する。このガイドにより、撮影者に対し、撮影対象がフレームアウトした方向を知らしめ、撮影対象の発見及びフレームインを容易にするのである。   Therefore, in the present embodiment, the tracking processing unit 5 automatically tracks (monitors) the movement of the shooting target in the moving image, and the moving direction guide unit when the shooting target being tracked deviates from the screen of the display unit 4. 6 displays on the screen a guide for guiding the moving direction of the photographing target. With this guide, the photographer is informed of the direction in which the subject is out of the frame, facilitating discovery and frame-in of the subject.

以下、追跡処理及び移動方向案内処理の具体例について詳しく説明する。   Hereinafter, specific examples of the tracking process and the moving direction guidance process will be described in detail.

<第1実施形態>
図2は、追跡処理部5及び移動方向案内部6の一構成例を示すブロック図である。追跡処理部5は、顔検出部10、追跡情報記憶部11、顔認識部12、追跡履歴記録部13から構成される。また、移動方向案内部6は、移動方向推定部14とガイド表示部15から構成される。
<First Embodiment>
FIG. 2 is a block diagram illustrating a configuration example of the tracking processing unit 5 and the moving direction guide unit 6. The tracking processing unit 5 includes a face detection unit 10, a tracking information storage unit 11, a face recognition unit 12, and a tracking history recording unit 13. The moving direction guide unit 6 includes a moving direction estimation unit 14 and a guide display unit 15.

顔検出部10は、一時記憶部3から画像を読み出し、その画像から人の顔を検出し、検出された顔の位置や大きさ等を特定する機能である。顔検出部10は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されてもよい。また、顔検出部10は、顔の器官(目,鼻,耳など)に基づくテンプレートマッチングによって顔を検出するように構成されてもよい。また、顔検出部10は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されてもよい。また、顔検出部10は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されてもよい。また、顔検出部10は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されてもよい。また、顔検出部10による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されてもよい。   The face detection unit 10 has a function of reading an image from the temporary storage unit 3, detecting a human face from the image, and specifying the position and size of the detected face. For example, the face detection unit 10 may be configured to detect a face by template matching using a reference template corresponding to the outline of the entire face. Further, the face detection unit 10 may be configured to detect a face by template matching based on facial organs (eyes, nose, ears, etc.). The face detection unit 10 may be configured to detect a vertex such as a head by chroma key processing and detect a face based on the vertex. The face detection unit 10 may be configured to detect an area close to the skin color and detect the area as a face. Further, the face detection unit 10 may be configured to perform learning by a teacher signal using a neural network and detect a face-like region as a face. Further, the face detection process by the face detection unit 10 may be realized by applying any other existing technique.

また、顔検出部10は、画像から複数の人の顔が検出された場合、所定の基準に従って処理の対象となる顔を選んでもよい。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置などである。   In addition, when a plurality of human faces are detected from the image, the face detection unit 10 may select a face to be processed according to a predetermined criterion. The predetermined reference is, for example, a face size, a face orientation, a face position in an image, or the like.

追跡情報記憶部11は、追跡処理に関わる情報が記録されるメモリである。追跡処理に関わる情報には、追跡中の撮影対象(以下、「追跡対象」という)の顔の特徴量、追跡対象の移動の履歴(以下、「追跡履歴」という)などが含まれる。追跡対象の顔の特徴量は、追跡処理の開始時(初回の顔認識処理の時)に登録される。なお、撮影対象の顔の特徴量は予め登録できるようにしてもよい。   The tracking information storage unit 11 is a memory in which information related to tracking processing is recorded. The information related to the tracking process includes the facial feature amount of the imaging target being tracked (hereinafter referred to as “tracking target”), the movement history of the tracking target (hereinafter referred to as “tracking history”), and the like. The feature quantity of the face to be tracked is registered at the start of the tracking process (at the first face recognition process). The feature amount of the face to be imaged may be registered in advance.

顔認識部12は、顔画像から個人を認識(識別)する機能である。具体的には、顔認識部12は、顔検出部10によって検出された顔画像から、輝度分布や色ヒストグラム等の特徴量を抽出し、それを追跡情報記憶部11に記憶されている追跡対象の特徴量と比較することによって、同一人か否かを判定する。特徴量の比較は、例えば、輝度分布の正規化相関や、色ヒストグラムのヒストグラムインタセクション等を類似度として取得することによって行うことができる。   The face recognition unit 12 has a function of recognizing (identifying) an individual from a face image. Specifically, the face recognition unit 12 extracts a feature amount such as a luminance distribution or a color histogram from the face image detected by the face detection unit 10, and stores the feature amount in the tracking information storage unit 11. It is determined whether or not they are the same person by comparing with the feature amount. The comparison of feature amounts can be performed, for example, by acquiring a normalized correlation of luminance distribution, a histogram intersection of a color histogram, or the like as a similarity.

追跡履歴記録部13は、追跡対象の追跡履歴を作成・更新する機能である。追跡履歴には、例えば、追跡対象の画像中における位置・大きさの変化が含まれる。また、追跡履歴として、画像中の他の物体(例えば背景に存在する木や建造物や車両)の位置や大きさを記録したり、あるいは、画像中の他の物体に対する追跡対象の相対位置・大きさなどを計算し、記録してもかまわない。この追跡履歴は追跡情報記憶部11に蓄積される。   The tracking history recording unit 13 is a function for creating and updating a tracking history of a tracking target. The tracking history includes, for example, a change in position / size in the image to be tracked. Also, as the tracking history, the position and size of other objects in the image (for example, trees, buildings and vehicles in the background) are recorded, or the relative position of the tracking target with respect to other objects in the image You can calculate the size and record it. This tracking history is accumulated in the tracking information storage unit 11.

移動方向推定部14は、追跡対象が表示部4の画面外へ移動した場合に、追跡対象の移動方向(フレームアウトした方向)を推定する機能である。本実施形態では、追跡対象が画面から外れる直前の画像において、追跡対象に最も近い画面端を求め、その最も近い画面端の方向に追跡対象がフレームアウトしたとみなす。かかる推定は、最も近接していた画面端からフレームアウトする蓋然性が高いという知見に基づくものであり、簡単な処理で追跡対象の移動方向を決定できるという利点がある。   The movement direction estimation unit 14 has a function of estimating the movement direction of the tracking target (the direction of being out of the frame) when the tracking target moves outside the screen of the display unit 4. In the present embodiment, in the image immediately before the tracking target deviates from the screen, the screen end closest to the tracking target is obtained, and the tracking target is regarded as being out of frame in the direction of the closest screen end. Such estimation is based on the knowledge that there is a high probability of frame-out from the closest screen edge, and has the advantage that the moving direction of the tracking target can be determined by simple processing.

ガイド表示部15は、追跡対象の移動方向を案内するガイドを表示部4の画面上に表示する機能である。本実施形態では、ガイドとして、追跡対象に最も近接していた画面端を指し示す矢印マークを表示する。   The guide display unit 15 is a function for displaying a guide for guiding the moving direction of the tracking target on the screen of the display unit 4. In the present embodiment, as a guide, an arrow mark indicating the screen edge closest to the tracking target is displayed.

(動作例)
図3は、第1実施形態に係る追跡処理及び移動方向案内処理の動作例を示している。
(Operation example)
FIG. 3 shows an operation example of the tracking process and the movement direction guidance process according to the first embodiment.

撮影が開始されると、一定の時間間隔で画像が取り込まれ、逐次、撮影対象の追跡処理が実行される。この追跡処理の実行中に、顔認識部12により追跡対象と同一人の顔が存在しないと判定されたら、追跡対象がフレームアウトしたとみなされ、追跡処理を終了する。そして、移動方向推定部14が、追跡情報記憶部11から1フレーム前(複数フレーム前でもよい)の画像における追跡対象の顔の位置を読み込み、その顔と画面の上端・下端・左端・右端それぞれとの距離LT,LB,LL,LRを算出する。図3(a)の例では、LLが最小となり、左端が追跡対象に最も近い画面端として選ばれる。ガイド表示部15は、画面の左端を指し示す矢印マークを生成し、図3(b)に示すように、矢印マークを表示部4の画面上にオーバーレイ表示する。   When shooting starts, images are captured at regular time intervals, and shooting target tracking processing is sequentially executed. If the face recognition unit 12 determines that the face of the same person as the tracking target does not exist during execution of the tracking processing, the tracking target is regarded as being out of frame, and the tracking processing ends. Then, the movement direction estimation unit 14 reads the position of the face to be tracked in the image one frame before (may be a plurality of frames before) from the tracking information storage unit 11, and each of the face and the top, bottom, left, and right edges of the screen Distances LT, LB, LL, and LR are calculated. In the example of FIG. 3A, LL is minimized, and the left end is selected as the screen end closest to the tracking target. The guide display unit 15 generates an arrow mark pointing to the left end of the screen, and displays the arrow mark as an overlay on the screen of the display unit 4 as shown in FIG.

このように矢印マークを表示することで、撮影者は、撮影対象がフレームアウトしたことに気づくと共に、撮影対象が移動した方向を知ることができる。そして、撮影者が、ガ
イドされた方向に撮像装置を向ければ、容易に撮影対象を発見し、再びフレーム内に戻すことができる。
By displaying the arrow mark in this manner, the photographer can recognize that the shooting target has been out of frame and can know the direction in which the shooting target has moved. If the photographer points the imaging device in the guided direction, the photographing object can be easily found and returned to the frame again.

撮影対象がフレームインしたら、ガイド表示が解除され、追跡処理が再開される。なお、撮影対象がフレームインしたか否かの判断は顔認識により自動判定することが好ましいが、撮影者の操作に委ねてもよい。撮影者の操作による方法としては、例えば、撮影者により新たな追跡対象が指定されたことをもって、フレームインとみなし、ガイド表示の解除及び追跡処理の再開を実行する方法などが考えられる。   When the shooting target is in frame, the guide display is canceled and the tracking process is resumed. It should be noted that it is preferable to automatically determine whether or not the shooting target has entered the frame by face recognition, but it may be left to the operation of the photographer. As a method by the photographer's operation, for example, there is a method in which when a new tracking target is designated by the photographer, it is regarded as a frame-in and the guide display is canceled and the tracking process is restarted.

<第2実施形態>
第2実施形態では、追跡対象がフレームアウトするまでの追跡履歴に基づいて撮影対象の現在位置(フレームアウト後の位置)を推定する点で第1実施形態と異なる。それ以外の構成は第1実施形態のものとほぼ同一である。
Second Embodiment
The second embodiment is different from the first embodiment in that the current position (position after frame-out) of the imaging target is estimated based on the tracking history until the tracking target is out-of-frame. The other configuration is almost the same as that of the first embodiment.

図4は、第2実施形態に係る追跡処理及び移動方向案内処理の動作例を示している。   FIG. 4 shows an operation example of the tracking process and the movement direction guidance process according to the second embodiment.

追跡対象がフレームアウトしたら、移動方向推定部14が、追跡情報記憶部11から追跡履歴を読み込む。この追跡履歴には、フレームアウト直前までの追跡対象の画像上の位置変化が含まれている。移動方向推定部14はこの位置変化から、撮影対象の移動ベクトル(移動方向及び移動量)を算出し、その算出された移動ベクトルに基づいて撮影対象の現在位置を推定する。そして、ガイド表示部15は、撮影対象の現在位置(推定値)を指し示す矢印マークを生成し、図4(b)に示すように、矢印マークを表示部4の画面上にオーバーレイ表示する。   When the tracking target is out of frame, the moving direction estimation unit 14 reads the tracking history from the tracking information storage unit 11. This tracking history includes a change in position on the image to be tracked immediately before the frame-out. The movement direction estimation unit 14 calculates a movement vector (movement direction and movement amount) of the shooting target from this position change, and estimates the current position of the shooting target based on the calculated movement vector. And the guide display part 15 produces | generates the arrow mark which points out the present position (estimated value) of imaging | photography object, and overlay-displays the arrow mark on the screen of the display part 4, as shown in FIG.4 (b).

本実施形態の構成によっても、第1実施形態と同様の作用効果を得ることができる。さらに、本実施形態では、追跡履歴から撮影対象の現在位置を推定しているので、移動方向ガイドの精度及び信頼性が向上するという利点がある。   Also according to the configuration of the present embodiment, the same effects as those of the first embodiment can be obtained. Further, in the present embodiment, since the current position of the photographing target is estimated from the tracking history, there is an advantage that the accuracy and reliability of the moving direction guide is improved.

<第3実施形態>
図4に示したように、フレームアウトの前後で撮像装置の位置(向き)が変化していなければ、第2実施形態の方法で撮影対象の現在位置を精度良く推定可能である。しかし、図5に示すように、フレームアウトの前後で撮像装置の向きが変化してしまうと、撮影対象の実際の位置と推定位置に誤差が生じてしまう。
<Third Embodiment>
As shown in FIG. 4, if the position (orientation) of the imaging apparatus does not change before and after frame-out, the current position of the imaging target can be accurately estimated by the method of the second embodiment. However, as shown in FIG. 5, if the orientation of the imaging device changes before and after frame-out, an error occurs between the actual position and the estimated position of the subject.

そこで第3実施形態では、撮影対象の現在位置を推定する際に、撮影対象の画像上の位置変化だけでなく、画像中の他の物体に対する撮影対象の相対位置の変化をも考慮することで、高精度な位置推定を行う。それ以外の構成は第2実施形態のものとほぼ同一である。   Therefore, in the third embodiment, when estimating the current position of the shooting target, not only the position change on the image of the shooting target but also the change of the relative position of the shooting target with respect to other objects in the image is considered. , Perform highly accurate position estimation. The other configuration is almost the same as that of the second embodiment.

追跡対象がフレームアウトしたら、移動方向推定部14が、追跡情報記憶部11から追跡履歴を読み込む。この追跡履歴には、追跡対象の位置情報の他、画像中の他の物体の位置情報も含まれている。画像中の他の物体としては、例えば、木、建造物、風景、車両、他の人物、動物などが想定される。好ましくは、移動していない又は移動量の小さい物体がよい。図5の例では、背景の木の位置情報を追跡履歴に記録している。なお、この種の物体の位置情報は、画像認識処理により算出することができる。   When the tracking target is out of frame, the moving direction estimation unit 14 reads the tracking history from the tracking information storage unit 11. The tracking history includes position information of other objects in the image in addition to the position information of the tracking target. As other objects in the image, for example, a tree, a building, a landscape, a vehicle, another person, an animal, and the like are assumed. Preferably, an object that is not moving or has a small moving amount is preferable. In the example of FIG. 5, the position information of the background tree is recorded in the tracking history. Note that the position information of this type of object can be calculated by image recognition processing.

移動方向推定部14は、まず図5(b)に示すように、フレームアウト直前までの撮影対象の画像上の位置変化(見かけの移動ベクトル)と、背景の画像上の位置変化(背景の移動ベクトル)とから、背景に対する撮影対象の相対位置の変化(相対的な移動ベクトル)を算出する。続いて、移動方向推定部14は、図5(c)に示すように、フレームアウ
ト後の画像において背景の現在位置を求め、追跡履歴から求めた相対的な移動ベクトルと背景の現在位置とから撮影対象の現在位置を算出する。ガイド表示部15の処理は上記実施形態と同様である。
First, as shown in FIG. 5B, the movement direction estimation unit 14 changes the position on the image to be imaged (apparent movement vector) and the position change on the background image (background movement) immediately before the frame-out. Change in relative position of the object to be photographed with respect to the background (relative movement vector). Subsequently, as shown in FIG. 5C, the movement direction estimation unit 14 obtains the current position of the background in the image after the frame out, and uses the relative movement vector obtained from the tracking history and the current position of the background. The current position of the shooting target is calculated. The processing of the guide display unit 15 is the same as in the above embodiment.

本実施形態の構成によれば、撮像装置の向きの変化を考慮したことにより、移動方向ガイドの精度及び信頼性が一層向上するという利点がある。   According to the configuration of the present embodiment, there is an advantage that the accuracy and reliability of the moving direction guide is further improved by considering the change in the orientation of the imaging device.

<第4実施形態>
撮像装置本体の向きの変化を補正するために、第3実施形態では、撮影対象と画像中の他の物体の相対位置を考慮したが、第4実施形態では、検知手段を用いて撮像装置本体の向きの変化量を計測する構成を採用する。それ以外の構成は上記実施形態と同様である。
<Fourth embodiment>
In order to correct the change in the orientation of the imaging apparatus main body, in the third embodiment, the relative position of the object to be imaged and another object in the image is considered. In the fourth embodiment, the imaging apparatus main body is detected using a detection unit. A configuration that measures the amount of change in the direction of the is adopted. Other configurations are the same as those in the above embodiment.

図6に示すように、撮像装置は、検知手段として、加速度センサ20を備えている。加速度センサ20は、撮像装置本体の3次元的又は2次元的な位置変動を計測可能なセンサである。   As illustrated in FIG. 6, the imaging apparatus includes an acceleration sensor 20 as a detection unit. The acceleration sensor 20 is a sensor that can measure a three-dimensional or two-dimensional positional variation of the imaging apparatus main body.

図7に示すように、追跡対象がフレームアウトしたら、移動方向推定部14が、第2実施形態と同様、フレームアウト直前までの撮影対象の画像中の位置変化から、撮影対象の移動ベクトルを算出する。一方、移動方向推定部14は、加速度センサ20から、フレームアウト前後の撮像装置本体の向きの変化(移動方向及び移動量)を取得する。そして、移動方向推定部14は、追跡履歴から求めた撮影対象の移動ベクトルと、撮像装置本体の向きの変化とから、撮影対象の現在位置を算出する。ガイド表示部15の処理は上記実施形態と同様である。   As shown in FIG. 7, when the tracking target is out of frame, the movement direction estimation unit 14 calculates the movement vector of the shooting target from the position change in the image of the shooting target until immediately before the frame out, as in the second embodiment. To do. On the other hand, the movement direction estimation unit 14 acquires, from the acceleration sensor 20, changes in the orientation of the imaging apparatus body (movement direction and movement amount) before and after frame-out. Then, the movement direction estimation unit 14 calculates the current position of the shooting target from the movement vector of the shooting target obtained from the tracking history and the change in the orientation of the imaging apparatus body. The processing of the guide display unit 15 is the same as in the above embodiment.

本実施形態の構成によっても、第3実施形態と同様の作用効果を奏することができる。   Also with the configuration of the present embodiment, the same effects as those of the third embodiment can be achieved.

なお、本実施形態では、撮影対象の現在位置の算出に、追跡履歴から求めた撮影対象の移動ベクトルを用いているが、単に、フレームアウト直前の画像における撮影対象の位置を用いる方法も好ましい。すなわち、図8に示すように、フレームアウト直前の画像における撮影対象の位置に、加速度センサ20から得られた撮像装置本体の向きの変化量を加えたものを、撮影対象の現在位置とみなすのである。この方法によっても上記実施形態に準じた作用効果を奏することができる。   In this embodiment, the current position of the shooting target is calculated using the movement vector of the shooting target obtained from the tracking history. However, a method of simply using the position of the shooting target in the image immediately before the frame out is also preferable. That is, as shown in FIG. 8, a position obtained by adding the amount of change in the orientation of the imaging device body obtained from the acceleration sensor 20 to the position of the shooting target in the image immediately before the frame-out is regarded as the current position of the shooting target. is there. Also by this method, the effect according to the above embodiment can be obtained.

<第5実施形態>
デジタルズームで撮影している場合などには、撮像部2で撮影された画像(撮像素子から入力される入力画像)の一部分がトリミング及び拡大された後、表示部4に表示される。すなわち、入力画像は、画面表示される表示領域と、その表示領域の外側にあり画面表示されない非表示領域とを含んでいることになる。
<Fifth Embodiment>
In the case of shooting with a digital zoom, a part of an image shot by the imaging unit 2 (an input image input from the imaging device) is trimmed and enlarged and then displayed on the display unit 4. That is, the input image includes a display area that is displayed on the screen and a non-display area that is outside the display area and is not displayed on the screen.

本実施形態では、図9(a)に示すように、撮影対象がフレームアウトした後でも、撮影対象が入力画像の非表示領域に存在する間は、追跡処理部5が撮影対象の追跡を続行する。これにより、撮影対象の正確な現在位置を求めることができる。そして、その間、移動方向案内部6は、非表示領域における撮影対象の位置を指し示すマークを画面表示する。   In the present embodiment, as shown in FIG. 9A, the tracking processing unit 5 continues to track the shooting target while the shooting target exists in the non-display area of the input image even after the shooting target is out of frame. To do. Thereby, an accurate current position of the photographing target can be obtained. In the meantime, the moving direction guide unit 6 displays on the screen a mark indicating the position of the imaging target in the non-display area.

さらに撮影対象が移動し、入力画像の非表示領域からも外れたら、図9(b)に示すように、上記第1〜第4実施形態のいずれかの方法により、移動方向を案内すればよい。   Further, if the object to be photographed moves and deviates from the non-display area of the input image, as shown in FIG. 9B, the moving direction may be guided by the method of any of the first to fourth embodiments. .

なお、非表示領域に存在する間は、撮影対象の位置を正確に求めることができるので、画面の外郭もしくは中心から撮影対象までの距離をガイド表示するようにしてもよい。距
離のガイド方法としては、例えば、距離の数値を表示する方法、移動方向を表す矢印マークの長さ・太さ・色・形状その他の表示態様を変えることで遠近を表す方法などが考えられる。
Since the position of the shooting target can be accurately obtained while it exists in the non-display area, the distance from the outline or center of the screen to the shooting target may be displayed as a guide. As a distance guide method, for example, a method of displaying a numerical value of the distance, a method of expressing perspective by changing the length, thickness, color, shape and other display modes of the arrow mark indicating the moving direction are conceivable.

本実施形態の構成によれば、フレームアウト直後(非表示領域内に撮影対象が存在するとき)に、極めて正確な移動方向ガイドを表示することができ、撮影対象の発見及びフレームインを一層容易にすることができる。しかも、デジタルズームで高倍率撮影を行っているとき、つまり、撮影対象のフレームアウトの可能性が高いときこそ上記利点が生かされ、撮像装置の利便性を向上することができる。   According to the configuration of the present embodiment, a very accurate moving direction guide can be displayed immediately after frame out (when there is a shooting target in the non-display area), making it easier to find the shooting target and frame in. Can be. In addition, when the high-magnification shooting is performed with the digital zoom, that is, when the possibility of frame-out of the shooting target is high, the above advantages can be utilized and the convenience of the imaging apparatus can be improved.

以上、第1〜第5実施形態により本発明の具体例を例示したが、本発明の範囲は上記実施形態に限られるものではなく、2以上の実施形態の構成を適宜組み合わせたり、発明の技術思想の範囲内で種々の変形を施したりすることが可能である。   As mentioned above, although the specific example of this invention was illustrated by 1st-5th embodiment, the range of this invention is not restricted to the said embodiment, The structure of two or more embodiment is combined suitably, or the technique of invention Various modifications can be made within the scope of the idea.

例えば、上記実施形態では撮影対象として人(人の顔)を例示したが、人以外の移動物体を撮影対象とすることもできる。その場合は、顔認識の代わりに、パターンマッチング等の画像認識技術を利用することにより追跡処理を行えばよい。   For example, in the above-described embodiment, a person (a person's face) is illustrated as an object to be imaged, but a moving object other than a person can also be an object to be imaged. In that case, the tracking process may be performed by using an image recognition technique such as pattern matching instead of face recognition.

また、加速度センサにて撮像装置の向きの変化をモニタすることにより、フレームアウト後も撮影対象の動きを追跡することも好ましい。   It is also preferable to track the movement of the object to be imaged even after the frame is out by monitoring the change in the orientation of the imaging device with an acceleration sensor.

撮像装置の一構成例を示すブロック図である。It is a block diagram which shows the example of 1 structure of an imaging device. 追跡処理部及び移動方向案内部の一構成例を示すブロック図である。It is a block diagram which shows the example of 1 structure of a tracking process part and a moving direction guidance part. 第1実施形態に係る追跡処理及び移動方向案内処理の動作例を示す図である。It is a figure which shows the operation example of the tracking process and movement direction guidance process which concern on 1st Embodiment. 第2実施形態に係る追跡処理及び移動方向案内処理の動作例を示す図である。It is a figure which shows the operation example of the tracking process and movement direction guidance process which concern on 2nd Embodiment. 第3実施形態に係る追跡処理及び移動方向案内処理の動作例を示す図である。It is a figure which shows the operation example of the tracking process and moving direction guidance process which concern on 3rd Embodiment. 撮像装置の他の構成例を示すブロック図である。FIG. 25 is a block diagram illustrating another configuration example of the imaging apparatus. 第4実施形態に係る追跡処理及び移動方向案内処理の動作例を示す図である。It is a figure which shows the operation example of the tracking process and movement direction guidance process which concern on 4th Embodiment. 第4実施形態の変形例を示す図である。It is a figure which shows the modification of 4th Embodiment. 第5実施形態に係る追跡処理及び移動方向案内処理の動作例を示す図である。It is a figure which shows the operation example of the tracking process and movement direction guidance process which concern on 5th Embodiment.

符号の説明Explanation of symbols

1 撮像装置
2 撮像部
3 一時記憶部
4 表示部
5 追跡処理部
6 移動方向案内部
7 画像記録部
8 操作部
10 顔検出部
11 追跡情報記憶部
12 顔認識部
13 追跡履歴記録部
14 移動方向推定部
15 ガイド表示部
20 加速度センサ
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Imaging part 3 Temporary memory | storage part 4 Display part 5 Tracking process part 6 Movement direction guide part 7 Image recording part 8 Operation part 10 Face detection part 11 Tracking information storage part 12 Face recognition part 13 Tracking history recording part 14 Movement direction Estimator 15 Guide display 20 Accelerometer

Claims (10)

動画像を撮影可能な撮像手段と、
前記撮像手段にて撮影中の動画像を表示する表示手段と、
前記撮像手段で撮影された画像から撮影対象を検出し、動画像においてその撮影対象の動きを追跡する追跡手段と、
追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する移動方向案内手段と、
を備える撮像装置。
Imaging means capable of capturing moving images;
Display means for displaying a moving image being shot by the imaging means;
A tracking unit that detects a shooting target from an image shot by the imaging unit and tracks the movement of the shooting target in a moving image;
A moving direction guiding means for displaying a guide for guiding the moving direction of the photographing object on the screen when the photographing object being tracked deviates from the screen of the display means;
An imaging apparatus comprising:
前記移動方向案内手段は、
前記撮影対象が前記画面から外れる直前の画像において、前記撮影対象に最も近い画面端を求め、
前記ガイドとして、前記最も近い画面端を指し示すマークを表示する請求項1に記載の撮像装置。
The moving direction guide means includes
In the image immediately before the shooting target is off the screen, find the screen edge closest to the shooting target,
The imaging apparatus according to claim 1, wherein a mark indicating the closest screen edge is displayed as the guide.
前記移動方向案内手段は、
前記撮影対象が前記画面から外れるまでの追跡履歴に基づいて、前記撮影対象が前記画面から外れた後の現在位置を推定し、
前記ガイドとして、前記推定された現在位置を指し示すマークを表示する請求項1に記載の撮像装置。
The moving direction guide means includes
Based on the tracking history until the shooting target is off the screen, the current position after the shooting target is off the screen is estimated,
The imaging apparatus according to claim 1, wherein a mark indicating the estimated current position is displayed as the guide.
前記移動方向案内手段は、
前記追跡履歴から得られる前記撮影対象と画像中の他の物体との相対位置の変化と、前記他の物体の画像上の現在位置とから、前記撮影対象の現在位置を算出する請求項3に記載の撮像装置。
The moving direction guide means includes
The current position of the photographing target is calculated from a change in a relative position between the photographing target obtained from the tracking history and another object in the image and a current position on the image of the other object. The imaging device described.
撮像装置本体の移動を検知する検知手段をさらに備え、
前記移動方向案内手段は、
前記追跡履歴から得られる前記撮影対象の画像上の位置の変化と、前記検知手段の検知結果から得られる撮像装置本体の向きの変化とから、前記撮影対象の現在位置を算出する請求項3に記載の撮像装置。
It further comprises detection means for detecting the movement of the imaging device body,
The moving direction guide means includes
The current position of the photographing target is calculated from a change in the position of the photographing target image obtained from the tracking history and a change in the orientation of the imaging apparatus main body obtained from the detection result of the detecting means. The imaging device described.
撮像装置本体の移動を検知する検知手段をさらに備え、
前記移動方向案内手段は、
前記撮影対象が前記画面から外れる直前の前記撮影対象の位置と、前記検知手段の検知結果から得られる撮像装置本体の向きの変化とに基づいて、前記撮影対象が前記画面から外れた後の現在位置を推定し、
前記ガイドとして、前記推定された現在位置を指し示すマークを表示する請求項1に記載の撮像装置。
It further comprises detection means for detecting the movement of the imaging device body,
The moving direction guide means includes
Based on the position of the imaging target immediately before the imaging target deviates from the screen and the change in orientation of the imaging apparatus main body obtained from the detection result of the detection means, the current after the imaging target deviates from the screen Estimate the position,
The imaging apparatus according to claim 1, wherein a mark indicating the estimated current position is displayed as the guide.
前記撮像手段で撮影された画像は、前記表示手段の画面に表示される表示領域と、前記表示領域の外側にあり前記画面に表示されない非表示領域とを含み、
前記追跡手段は、前記撮影対象が前記表示手段の画面から外れた後でも、前記撮影対象が前記非表示領域に存在する間は前記撮影対象の追跡を続行し、
前記移動方向案内手段は、前記ガイドとして、前記非表示領域における前記撮影対象の位置を指し示すマークを表示する請求項1〜6のいずれかに記載の撮像装置。
The image photographed by the imaging means includes a display area displayed on the screen of the display means, and a non-display area that is outside the display area and not displayed on the screen,
The tracking unit continues tracking the imaging target while the imaging target exists in the non-display area even after the imaging target is off the screen of the display unit.
The imaging apparatus according to claim 1, wherein the moving direction guide unit displays a mark indicating the position of the photographing target in the non-display area as the guide.
前記撮影対象は人であり、
前記追跡手段は、画像から顔を検出することによって追跡対象とすべき撮影対象を特定
する請求項1〜7のいずれかに記載の撮像装置。
The subject is a person,
The imaging apparatus according to claim 1, wherein the tracking unit specifies a photographing target to be a tracking target by detecting a face from the image.
動画像を撮影可能な撮像手段と表示手段とを備える撮像装置が、
前記撮像手段にて撮影中の動画像を前記表示手段の画面に表示し、
前記撮像手段で撮影された画像から撮影対象を検出して、動画像においてその撮影対象の動きを追跡し、
追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する
撮像方法。
An imaging apparatus comprising an imaging means capable of capturing a moving image and a display means,
Displaying a moving image being photographed by the imaging means on the screen of the display means;
Detecting a shooting target from an image shot by the imaging means, and tracking the movement of the shooting target in a moving image;
An imaging method for displaying, on the screen, a guide for guiding the moving direction of the imaging target when the imaging target being tracked deviates from the screen of the display means.
動画像を撮影可能な撮像手段と表示手段とを備える撮像装置に、
前記撮像手段にて撮影中の動画像を前記表示手段の画面に表示する処理と、
前記撮像手段で撮影された画像から撮影対象を検出して、動画像においてその撮影対象の動きを追跡する処理と、
追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する処理と、
を実行させるプログラム。
An imaging apparatus including an imaging unit capable of capturing a moving image and a display unit,
Processing for displaying a moving image being photographed by the imaging means on the screen of the display means;
Processing for detecting a shooting target from an image shot by the imaging means and tracking the movement of the shooting target in a moving image;
A process for displaying a guide for guiding the moving direction of the photographing object on the screen when the photographing object being tracked deviates from the screen of the display means;
A program that executes
JP2005320022A 2005-11-02 2005-11-02 Imaging device Active JP4586709B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005320022A JP4586709B2 (en) 2005-11-02 2005-11-02 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005320022A JP4586709B2 (en) 2005-11-02 2005-11-02 Imaging device

Publications (2)

Publication Number Publication Date
JP2007129480A true JP2007129480A (en) 2007-05-24
JP4586709B2 JP4586709B2 (en) 2010-11-24

Family

ID=38151776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005320022A Active JP4586709B2 (en) 2005-11-02 2005-11-02 Imaging device

Country Status (1)

Country Link
JP (1) JP4586709B2 (en)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077321A (en) * 2007-09-25 2009-04-09 Casio Comput Co Ltd Image recording device and image recording processing method
JP2009224890A (en) * 2008-03-13 2009-10-01 Olympus Corp Imaging device and personal digital assistant
JP2009246962A (en) * 2008-03-28 2009-10-22 Fuji Xerox Co Ltd Camera system, method performed using the camera system, and program
JP2010004381A (en) * 2008-06-20 2010-01-07 Olympus Corp Personal digital assistant
JP2010141728A (en) * 2008-12-12 2010-06-24 Panasonic Corp Imaging apparatus
JP2010226554A (en) * 2009-03-25 2010-10-07 Olympus Imaging Corp Camera, and subject tracking method
JP2011114713A (en) * 2009-11-27 2011-06-09 Canon Inc Photographing apparatus, photographing control method, and computer program
JP2011193443A (en) * 2010-02-16 2011-09-29 Ricoh Co Ltd Target tracking device
US8164671B2 (en) 2008-03-03 2012-04-24 Panasonic Corporation Imaging apparatus, imaging apparatus body and reporting terminal
JP2012163940A (en) * 2011-01-17 2012-08-30 Ricoh Co Ltd Image pickup device, image pickup method and image pickup program
JP2013038668A (en) * 2011-08-10 2013-02-21 Casio Comput Co Ltd Display device, display method and program
WO2013042253A1 (en) * 2011-09-22 2013-03-28 キヤノン株式会社 Image capture device, image capture device control method, and program
CN103873749A (en) * 2012-12-17 2014-06-18 奥林巴斯映像株式会社 Imaging device and announcing method
EP2852138A1 (en) * 2013-09-23 2015-03-25 LG Electronics, Inc. Head mounted display system
WO2015065386A1 (en) * 2013-10-30 2015-05-07 Intel Corporation Image capture feedback
JP2015087523A (en) * 2013-10-30 2015-05-07 セイコーエプソン株式会社 Head-mounted display device, method for controlling head-mounted display device, and image display system
WO2016016984A1 (en) * 2014-07-31 2016-02-04 日立マクセル株式会社 Image pickup device and tracking method for subject thereof
JP2016189544A (en) * 2015-03-30 2016-11-04 富士フイルム株式会社 Image pickup device, image pickup method, program and recording medium
WO2017022367A1 (en) * 2015-08-05 2017-02-09 ソニー株式会社 Signal processing device and signal processing method
JP2017059870A (en) * 2015-09-14 2017-03-23 オリンパス株式会社 Imaging operation guide device and operation guide method for imaging apparatus
US9787905B2 (en) 2010-11-02 2017-10-10 Olympus Corporation Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program for displaying an image having an image range associated with a display area
JP2018113724A (en) * 2018-04-03 2018-07-19 オリンパス株式会社 Imaging apparatus, imaging method, and program
EP2439920B1 (en) * 2010-10-08 2019-07-03 BlackBerry Limited System and Method for Displaying Object Location in Augmented Reality
JP2019140449A (en) * 2018-02-07 2019-08-22 株式会社Pfu Imaging apparatus, control method and control program
JP2020008981A (en) * 2018-07-04 2020-01-16 Kddi株式会社 Support device and program
US10771703B2 (en) 2011-09-26 2020-09-08 Sony Corporation Image photography apparatus
JP2021002803A (en) * 2019-06-24 2021-01-07 キヤノン株式会社 Image processing apparatus, control method therefor, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04126473A (en) * 1990-09-18 1992-04-27 Toshiba Corp Automatic tracking camera device
JP2002314851A (en) * 2001-04-10 2002-10-25 Nikon Corp Photographing apparatus
JP2003289465A (en) * 2002-03-28 2003-10-10 Fuji Photo Film Co Ltd Imaging system and imaging method
JP2005102175A (en) * 2003-08-25 2005-04-14 Fuji Photo Film Co Ltd Digital camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04126473A (en) * 1990-09-18 1992-04-27 Toshiba Corp Automatic tracking camera device
JP2002314851A (en) * 2001-04-10 2002-10-25 Nikon Corp Photographing apparatus
JP2003289465A (en) * 2002-03-28 2003-10-10 Fuji Photo Film Co Ltd Imaging system and imaging method
JP2005102175A (en) * 2003-08-25 2005-04-14 Fuji Photo Film Co Ltd Digital camera

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077321A (en) * 2007-09-25 2009-04-09 Casio Comput Co Ltd Image recording device and image recording processing method
US8502908B2 (en) 2008-03-03 2013-08-06 Panasonic Corporation Imaging apparatus, imaging apparatus body and reporting terminal
US8164671B2 (en) 2008-03-03 2012-04-24 Panasonic Corporation Imaging apparatus, imaging apparatus body and reporting terminal
JP2009224890A (en) * 2008-03-13 2009-10-01 Olympus Corp Imaging device and personal digital assistant
JP2009246962A (en) * 2008-03-28 2009-10-22 Fuji Xerox Co Ltd Camera system, method performed using the camera system, and program
JP2010004381A (en) * 2008-06-20 2010-01-07 Olympus Corp Personal digital assistant
JP2010141728A (en) * 2008-12-12 2010-06-24 Panasonic Corp Imaging apparatus
JP2010226554A (en) * 2009-03-25 2010-10-07 Olympus Imaging Corp Camera, and subject tracking method
JP2011114713A (en) * 2009-11-27 2011-06-09 Canon Inc Photographing apparatus, photographing control method, and computer program
CN102763405A (en) * 2010-02-16 2012-10-31 株式会社理光 Imaging device including target tracking function
US9092877B2 (en) 2010-02-16 2015-07-28 Ricoh Company, Ltd. Imaging device including target tracking function
JP2011193443A (en) * 2010-02-16 2011-09-29 Ricoh Co Ltd Target tracking device
EP3573320A1 (en) * 2010-10-08 2019-11-27 BlackBerry Limited System and method for displaying object location in augmented reality
EP2439920B1 (en) * 2010-10-08 2019-07-03 BlackBerry Limited System and Method for Displaying Object Location in Augmented Reality
US9787905B2 (en) 2010-11-02 2017-10-10 Olympus Corporation Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program for displaying an image having an image range associated with a display area
JP2012163940A (en) * 2011-01-17 2012-08-30 Ricoh Co Ltd Image pickup device, image pickup method and image pickup program
JP2013038668A (en) * 2011-08-10 2013-02-21 Casio Comput Co Ltd Display device, display method and program
WO2013042253A1 (en) * 2011-09-22 2013-03-28 キヤノン株式会社 Image capture device, image capture device control method, and program
US11252332B2 (en) 2011-09-26 2022-02-15 Sony Corporation Image photography apparatus
US10771703B2 (en) 2011-09-26 2020-09-08 Sony Corporation Image photography apparatus
US10250807B2 (en) 2012-12-17 2019-04-02 Olympus Corporation Imaging device, imaging method, and recording medium
US9894277B2 (en) 2012-12-17 2018-02-13 Olympus Corporation Imaging device, announcing method, and recording medium for indicating whether or not a main subject is only within a first area of an image
CN103873749A (en) * 2012-12-17 2014-06-18 奥林巴斯映像株式会社 Imaging device and announcing method
US9521328B2 (en) 2013-09-23 2016-12-13 Lg Electronics Inc. Mobile terminal and control method for the mobile terminal
EP2852138A1 (en) * 2013-09-23 2015-03-25 LG Electronics, Inc. Head mounted display system
JP2015087523A (en) * 2013-10-30 2015-05-07 セイコーエプソン株式会社 Head-mounted display device, method for controlling head-mounted display device, and image display system
US9262696B2 (en) 2013-10-30 2016-02-16 Intel Corporation Image capture feedback
WO2015065386A1 (en) * 2013-10-30 2015-05-07 Intel Corporation Image capture feedback
CN106575027A (en) * 2014-07-31 2017-04-19 日立麦克赛尔株式会社 Image pickup device and tracking method for subject thereof
US11860511B2 (en) 2014-07-31 2024-01-02 Maxell, Ltd. Image pickup device and method of tracking subject thereof
WO2016016984A1 (en) * 2014-07-31 2016-02-04 日立マクセル株式会社 Image pickup device and tracking method for subject thereof
JPWO2016016984A1 (en) * 2014-07-31 2017-06-01 日立マクセル株式会社 Imaging device and subject tracking method thereof
US10609273B2 (en) 2014-07-31 2020-03-31 Maxell, Ltd. Image pickup device and method of tracking subject thereof
JP2016189544A (en) * 2015-03-30 2016-11-04 富士フイルム株式会社 Image pickup device, image pickup method, program and recording medium
WO2017022367A1 (en) * 2015-08-05 2017-02-09 ソニー株式会社 Signal processing device and signal processing method
JP2017059870A (en) * 2015-09-14 2017-03-23 オリンパス株式会社 Imaging operation guide device and operation guide method for imaging apparatus
JP2019140449A (en) * 2018-02-07 2019-08-22 株式会社Pfu Imaging apparatus, control method and control program
JP2018113724A (en) * 2018-04-03 2018-07-19 オリンパス株式会社 Imaging apparatus, imaging method, and program
JP2020008981A (en) * 2018-07-04 2020-01-16 Kddi株式会社 Support device and program
JP2021002803A (en) * 2019-06-24 2021-01-07 キヤノン株式会社 Image processing apparatus, control method therefor, and program
JP7353821B2 (en) 2019-06-24 2023-10-02 キヤノン株式会社 Image processing device, its control method, program

Also Published As

Publication number Publication date
JP4586709B2 (en) 2010-11-24

Similar Documents

Publication Publication Date Title
JP4586709B2 (en) Imaging device
JP4241742B2 (en) Automatic tracking device and automatic tracking method
US10659676B2 (en) Method and apparatus for tracking a moving subject image based on reliability of the tracking state
JP4508257B2 (en) Composition determination apparatus, composition determination method, and program
JP5659304B2 (en) Image generating apparatus and image generating method
JP5769813B2 (en) Image generating apparatus and image generating method
JP5865388B2 (en) Image generating apparatus and image generating method
US8131014B2 (en) Object-tracking computer program product, object-tracking device, and camera
JP2018050146A (en) Search device, imaging device thereof, and search method
KR101537948B1 (en) Photographing method and apparatus using pose estimation of face
JPWO2013069050A1 (en) Image generating apparatus and image generating method
WO2019104569A1 (en) Focusing method and device, and readable storage medium
JP2008009849A (en) Person tracking device
CN109451240B (en) Focusing method, focusing device, computer equipment and readable storage medium
EP3629570A2 (en) Image capturing apparatus and image recording method
JP2010114752A (en) Device and method of imaging and program
JP2007251429A (en) Moving image imaging unit, and zoom adjustment method
CN112995507A (en) Method and device for prompting object position
JP5253227B2 (en) Image input device, subject detection method, and program
JP2015012493A (en) Image processing apparatus, imaging apparatus and program
JP2018007272A (en) Image processing apparatus, imaging apparatus, and program
CN113747044A (en) Panoramic shooting method and device
JP2022099120A (en) Subject tracking device and control method for the same
JP6995529B2 (en) Image pickup device and its control method
JP2019134204A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100823

R150 Certificate of patent or registration of utility model

Ref document number: 4586709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3