JP2015106874A - Image reproducer, control method and control program thereof - Google Patents

Image reproducer, control method and control program thereof Download PDF

Info

Publication number
JP2015106874A
JP2015106874A JP2013249181A JP2013249181A JP2015106874A JP 2015106874 A JP2015106874 A JP 2015106874A JP 2013249181 A JP2013249181 A JP 2013249181A JP 2013249181 A JP2013249181 A JP 2013249181A JP 2015106874 A JP2015106874 A JP 2015106874A
Authority
JP
Japan
Prior art keywords
subject
image
images
display unit
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013249181A
Other languages
Japanese (ja)
Other versions
JP6214365B2 (en
Inventor
小薬 弘治
Hiroharu Ogusuri
弘治 小薬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013249181A priority Critical patent/JP6214365B2/en
Publication of JP2015106874A publication Critical patent/JP2015106874A/en
Application granted granted Critical
Publication of JP6214365B2 publication Critical patent/JP6214365B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow for easy selection of a desired scene by enhancing the operability and visibility, even when reproducing a video captured while panning.SOLUTION: A CPU 109 determines whether or not a subject moves in a plurality of images depending on the subject positional image, and when the subject moves, draws a locus line indicating the movement locus of the subject based on the subject positional image. When the subject does not move, the CPU detects the position of a predetermined area in each of the plurality of images excepting the subject, obtains the area position information and draws the movement locus indicating the position of the subject in each of the plurality of images, as the locus line depending on the area position information. The CPU reproduces and displays an image corresponding to the position of the subject specified by the locus line, on the display section.

Description

本発明は、画像再生装置、その制御方法、および制御プログラムに関し、特に、タッチパネルなどを用いて画面上の被写体を選択して、動画再生を行う画像再生装置に関する。   The present invention relates to an image playback device, a control method thereof, and a control program, and more particularly to an image playback device that selects a subject on a screen using a touch panel or the like and plays back a moving image.

近年、パーソナルコンピュータ(PC)、携帯電話機などのモバイル機器、ゲーム機器、又はデジタルカメラなどの電子機器において、動画像を再生可能なものがある。動画像を再生する際、例えば、PCではマウスを用いて、モバイル機器ではボタン又はタッチパネルなどを用いて、画面に表示されたボタン又はシークバーを移動させて動画像の所望シーンに早送り又は巻き戻しが行われている。   In recent years, some mobile devices such as personal computers (PCs) and mobile phones, game devices, and electronic devices such as digital cameras can reproduce moving images. When playing back a moving image, for example, a mouse is used on a PC, a button or a touch panel is used on a mobile device, and a button or a seek bar displayed on the screen is moved to fast forward or rewind to a desired scene of the moving image. Has been done.

一方、直観的に動画像を再生する手法として、例えば、シークバーを移動させる代わりに、ユーザーが画面に表示された被写体を直接つかんで(つまり、ドラッグして)移動させることによって、動画像の早送り又は巻き戻しを行うようにしたものがある。この際、再生画像から被写体の軌跡を取得して、当該軌跡を示す軌跡線を画面に描画することによって、動画像再生の際のユーザーの操作性を向上させるようにした画像再生装置がある。   On the other hand, as a method of intuitively playing back a moving image, for example, instead of moving the seek bar, the user can grab (that is, drag) and move the subject displayed on the screen to move the moving image quickly. Or there is something which was made to perform rewinding. At this time, there is an image reproduction device that improves the operability of the user when reproducing a moving image by acquiring the locus of the subject from the reproduced image and drawing a locus line indicating the locus on the screen.

さらに、画面に表示された被写体を操作することによって、当該被写体に関連するデータを画面に表示するか又は当該被写体に関連する場面(シーン)に移行するようにした画像再生装置がある(特許文献1参照)。   Furthermore, there is an image reproduction device in which data related to the subject is displayed on the screen by operating the subject displayed on the screen, or a scene (scene) related to the subject is transferred (Patent Document). 1).

特開平9−114427号公報JP-A-9-114427

ところで、被写体を撮影する際において当該被写体を追従するために、デジタルカメラをパンニングしつつ撮影を行った結果得られた動画像シーンを再生する場合には、パンニングのため画面に表示された画像における被写体の位置が変化しない。つまり、画面上において被写体の軌跡は常に一定の位置となってしまい、この結果、被写体軌跡線を用いてユーザー所望の動画像シーンを選択して再生を行うことが困難となってしまう。   By the way, when shooting a moving image scene obtained as a result of shooting while panning a digital camera in order to follow the subject when shooting the subject, in the image displayed on the screen for panning The position of the subject does not change. That is, the trajectory of the subject is always at a fixed position on the screen, and as a result, it becomes difficult to select and reproduce a user-desired moving image scene using the subject trajectory line.

さらに、動画像再生の際に被写体が画面上を移動している場合であっても、例えば、被写体以外の領域(例えば、背景)が移動している際には、被写体をドラッグして移動させると、再生画像の更新に伴って被写体軌跡線も更新されてしまうことになる。このため、被写体に関してユーザーが所望の動画像シーンを選択することが困難となってしまう。   Further, even when the subject is moving on the screen during moving image playback, for example, when an area other than the subject (for example, the background) is moving, the subject is moved by dragging. As a result, the subject trajectory line is also updated as the reproduced image is updated. This makes it difficult for the user to select a desired moving image scene for the subject.

従って、本発明の目的は、パンニングしつつ撮影された動画像を再生する際においても、操作性および視認性を向上させて、ユーザー所望のシーンを容易に選択することができる画像再生装置、その制御方法、および制御プログラムを提供することにある。   Accordingly, an object of the present invention is to provide an image reproducing device capable of easily selecting a user-desired scene by improving operability and visibility even when reproducing a moving image shot while panning. A control method and a control program are provided.

上記の目的を達成するため、本発明による画像再生装置は、所定の被写体が存在する複数の画像を連続的に再生する画像再生装置であって、前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出手段と、前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定手段と、前記移動判定手段によって前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第1の描画手段と、前記移動判定手段によって前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第2の描画手段と、前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御手段と、を有することを特徴とする。   In order to achieve the above object, an image reproduction apparatus according to the present invention is an image reproduction apparatus that continuously reproduces a plurality of images in which a predetermined subject exists, and determines the position of the subject in each of the plurality of images. Subject detection means for detecting subject position information by detection; movement determination means for determining whether or not the subject is moving in the plurality of images according to the subject position information; and When it is determined that the object is moving, a first drawing unit that draws a trajectory line indicating the movement locus of the subject on the image displayed on the display unit based on the subject position information; and the subject by the movement determination unit Is determined not to move, the position of a predetermined area excluding the subject is detected in each of the plurality of images to obtain area position information, which is displayed on the display unit. Second drawing means for drawing a movement locus indicating the position of the subject in each of the plurality of images as a locus line in accordance with the region position information, and the position of the subject specified by the locus line Display control means for reproducing and displaying an image corresponding to the display on the display unit.

本発明による制御方法は、所定の被写体が存在する複数の画像を連続的に再生する画像再生装置の制御方法であって、前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出ステップと、前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定ステップと、前記移動判定ステップで前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第1の描画ステップと、前記移動判定ステップで前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第2の描画ステップと、前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御ステップと、を有することを特徴とする。   The control method according to the present invention is a control method of an image reproducing device that continuously reproduces a plurality of images in which a predetermined subject exists, and detects the position of the subject in each of the plurality of images, thereby providing subject position information. A subject detection step, a movement determination step for determining whether or not the subject is moving in the plurality of images according to the subject position information, and a determination that the subject is moving in the movement determination step. Then, the first drawing step for drawing a locus line indicating the movement locus of the subject based on the subject position information on the image displayed on the display unit, and the subject is not moved in the movement determination step. If determined, the position of a predetermined area excluding the subject is detected in each of the plurality of images to obtain area position information, and the image displayed on the display unit is displayed. A second drawing step of drawing a moving locus indicating the position of the subject in each of the plurality of images as a locus line in accordance with the region position information, and an image corresponding to the position of the subject specified by the locus line And a display control step for reproducing and displaying the image on the display unit.

本発明による制御プログラムは、所定の被写体が存在する複数の画像を連続的に再生する画像再生装置で用いられる制御プログラムであって、前記画像再生装置が備えるコンピュータに、前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出ステップと、前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定ステップと、前記移動判定ステップで前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第1の描画ステップと、前記移動判定ステップで前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第2の描画ステップと、前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御ステップと、を実行させることを特徴とする。   A control program according to the present invention is a control program used in an image reproduction device that continuously reproduces a plurality of images in which a predetermined subject exists, and the computer included in the image reproduction device includes a computer program for each of the plurality of images. A subject detection step of detecting the position of the subject to obtain subject position information, a movement determination step of determining whether or not the subject is moving in the plurality of images according to the subject position information, and the movement determination When it is determined in step that the subject is moving, a first drawing step of drawing a locus line indicating a movement locus of the subject on the image displayed on the display unit based on the subject position information, and the movement If it is determined in the determination step that the subject has not moved, a predetermined area excluding the subject in each of the plurality of images is determined. A position is detected to obtain region position information, and a moving locus indicating the position of the subject in each of the plurality of images is drawn as a locus line on the image displayed on the display unit according to the region position information. And a display control step of reproducing and displaying an image corresponding to the position of the subject specified by the locus line on the display unit.

本発明によれば、被写体位置情報に基づいて描画された軌跡線又は領域位置情報に応じて描画された軌跡線で指定された被写体の位置に対応する画像を表示部に再生表示するようにしたので、パンニングしつつ撮影された動画像を再生する際においても、操作性および視認性を向上させて、ユーザー所望のシーン(画像)を容易に選択することができる。   According to the present invention, an image corresponding to the position of the subject specified by the locus line drawn based on the subject position information or the locus line drawn according to the region position information is reproduced and displayed on the display unit. Therefore, even when playing back a moving image shot while panning, it is possible to improve operability and visibility and easily select a user-desired scene (image).

本発明の第1の実施形態による画像再生装置の一例についてそのハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions about an example of the image reproduction apparatus by the 1st Embodiment of this invention. 被写体を追従するためにカメラをパンニングしつつ撮影を行った結果得られた動画像シーンの一例を示す図である。It is a figure which shows an example of the moving image scene obtained as a result of having image | photographed, panning the camera in order to track a to-be-photographed object. 図2に示す動画像シーンの1つのSceneにおいてCPUが背景相対軌跡描画処理を行った際の再生画面の一例を示す図である。It is a figure which shows an example of the reproduction | regeneration screen when CPU performs a background relative locus drawing process in one Scene of the moving image scene shown in FIG. 図1に示す画像再生装置で行われる動画像シーンの送り再生の一例を説明するための図である。It is a figure for demonstrating an example of the transmission reproduction | regeneration of the moving image scene performed with the image reproduction apparatus shown in FIG. 図1に示すカメラで行われる軌跡描画処理を説明するためのフローチャートである。It is a flowchart for demonstrating the locus | trajectory drawing process performed with the camera shown in FIG. 図1に示す画像再生装置で行われる動画像シーン送り再生を説明するためのフローチャートである。3 is a flowchart for explaining moving image scene feed playback performed by the image playback apparatus shown in FIG. 1. 本発明の第2の実施形態による画像再生装置で行われる動画像シーン送り再生を示す図である。It is a figure which shows the moving image scene sending reproduction | regeneration performed with the image reproduction apparatus by the 2nd Embodiment of this invention. 本発明の第2の実施形態による画像再生装置で行われる動画像シーン送り再生を説明するためのフローチャートである。It is a flowchart for demonstrating the moving image scene sending reproduction | regeneration performed with the image reproduction apparatus by the 2nd Embodiment of this invention.

以下、本発明の実施の形態による画像再生装置の一例について図面を参照して説明する。   Hereinafter, an example of an image reproducing apparatus according to an embodiment of the present invention will be described with reference to the drawings.

[第1の実施形態]
図1は、本発明の第1の実施形態による画像再生装置の一例についてそのハードウェア構成を示すブロック図である。
[First Embodiment]
FIG. 1 is a block diagram showing a hardware configuration of an example of an image reproducing apparatus according to the first embodiment of the present invention.

図示の画像再生装置100は、例えば、デジタルカメラなどの撮像装置であり、動画像などの複数の画像を連続的に再生表示する。そして、当該画像再生装置100には着脱可能にメモリカードなどの記録媒体200が装着される。この記録媒体200には、例えば、撮影の結果得られた動画像データなどの画像データが所謂画像符号化データとして記録されている。   The illustrated image reproduction device 100 is an imaging device such as a digital camera, for example, and continuously reproduces and displays a plurality of images such as moving images. Then, a recording medium 200 such as a memory card is detachably attached to the image reproduction apparatus 100. In the recording medium 200, for example, image data such as moving image data obtained as a result of photographing is recorded as so-called image encoded data.

画像再生装置100は、DRAM(Dynamic Random Access Memory)101を有しており、当該DRAM101はメインメモリとして用いられる。そして、DRAM101には、撮影の結果得られた画像データおよび記録媒体200から読み込まれた画像符号化データなどが一時的に保存される。   The image reproducing apparatus 100 includes a DRAM (Dynamic Random Access Memory) 101, and the DRAM 101 is used as a main memory. The DRAM 101 temporarily stores image data obtained as a result of shooting, image encoded data read from the recording medium 200, and the like.

被写体検出部103は、DRAM101に一時的に保存された画像データにおいて被写体領域(以下単に被写体ともいう)を検出する。   The subject detection unit 103 detects a subject region (hereinafter also simply referred to as a subject) in the image data temporarily stored in the DRAM 101.

被写体認証部104は、被写体検出部103で検出された被写体領域における特徴量を第1の被写体特徴情報として抽出する。そして、被写体認証部104は、予め登録された登録被写体特徴情報(第2の被写体特徴情報ともいう)と第1の被写体特徴情報とを比較して、その類似度を求める。続いて、被写体認証部104は当該類似度が予め設定された類似度閾値以上であると、第1の被写体を第2の被写体であると認証する。   The subject authentication unit 104 extracts the feature amount in the subject area detected by the subject detection unit 103 as first subject feature information. Then, the subject authentication unit 104 compares the registered subject feature information (also referred to as second subject feature information) registered in advance with the first subject feature information, and obtains the similarity. Subsequently, the subject authentication unit 104 authenticates the first subject as the second subject when the similarity is equal to or greater than a preset similarity threshold.

タッチパネル105には、液晶パネルなどの表示装置(表示部)と透明な平板状の位置入力センサーとが組み合わされている。表示装置の画面上の表示をユーザーが接触(タッチ)すると、タッチパネル105は当該タッチ位置を示す位置情報を出力する。   The touch panel 105 is combined with a display device (display unit) such as a liquid crystal panel and a transparent plate-like position input sensor. When the user touches (touches) the display on the screen of the display device, the touch panel 105 outputs position information indicating the touch position.

デコーダ106は、例えば、DRAM101に保持されたMPEG(Moving Picture Expert Group)方式などの画像符号化データを復号して、復号後の画像データをDRAM101に出力する。メディアインターフェース(Media I/F)107は、画像再生装置100に装着された記録媒体200から画像符号化データをDRAM101に読み込む。   For example, the decoder 106 decodes image encoded data such as an MPEG (Moving Picture Expert Group) method held in the DRAM 101, and outputs the decoded image data to the DRAM 101. A media interface (Media I / F) 107 reads encoded image data from the recording medium 200 attached to the image reproducing apparatus 100 into the DRAM 101.

CPU109は、画像再生装置100全体の制御を司る。ROM(Read Only Memory)111には、CPU109で動作するログラムが格納されている。また、RAM(Random Access Memory)112は、CPU109のワークメモリとして用いられる。   The CPU 109 controls the entire image reproduction device 100. A ROM (Read Only Memory) 111 stores a program that operates on the CPU 109. A RAM (Random Access Memory) 112 is used as a work memory for the CPU 109.

動きベクトル検出部113は、DRAM101に一時的に保存された複数枚の画像データにおいて画面で指定された指定領域(所定の領域)の動きを示す動きベクトルを検出する。なお、指定領域は複数指定することができる。   The motion vector detection unit 113 detects a motion vector indicating the motion of a designated area (predetermined area) designated on the screen in a plurality of pieces of image data temporarily stored in the DRAM 101. A plurality of designated areas can be designated.

前述のROM111には、例えば、次のプログラムが格納されており、CPU109は当該プログラムに応じた次の処理を実行する。   For example, the following program is stored in the ROM 111 described above, and the CPU 109 executes the next process corresponding to the program.

CPU109は、タッチパネル105から得られた位置情報と被写体検出部103によって検出された被写体領域の位置(被写体位置情報)とが一致すると、被写体が選択されたと判別する被写体選択判別処理を行う。   When the position information obtained from the touch panel 105 matches the position of the subject area (subject position information) detected by the subject detection unit 103, the CPU 109 performs subject selection determination processing for determining that a subject has been selected.

CPU109は、通常の動画像再生の際、被写体検出部103を用いてデコーダ106によって復号化された画像データにおいて被写体位置(つまり、被写体領域)を検出して、被写体の軌跡を示す被写体軌跡情報を生成する被写体軌跡情報生成処理を行う。さらに、CPU109は、当該被写体軌跡情報に応じて、DRAM101に存在する表示再生画像データに被写体の軌跡を示す被写体軌跡線を描画する軌跡描画処理を行う。   The CPU 109 detects the subject position (that is, the subject region) in the image data decoded by the decoder 106 using the subject detection unit 103 during normal moving image reproduction, and obtains subject locus information indicating the subject locus. A subject trajectory information generation process is performed. Further, the CPU 109 performs a trajectory drawing process for drawing a subject trajectory line indicating the trajectory of the subject in the display reproduction image data existing in the DRAM 101 according to the subject trajectory information.

また、CPU109は、タッチパネル105において被写体を選択した状態で指などを移動することによって得られる座標情報が軌跡描画処理によって描画された被写体軌跡線上にあるか又は所定の近接範囲にあるか否かを判定する軌跡座標判定処理を行う。加えて、CPU109は、再生中の動画像シーンにおいて被写体軌跡情報に応じて被写体の移動量を求めて、被写体の位置が移動しているか否かを判別する被写体移動判別処理を行う。   Further, the CPU 109 determines whether the coordinate information obtained by moving a finger or the like with the subject selected on the touch panel 105 is on the subject locus line drawn by the locus drawing process or in a predetermined proximity range. A trajectory coordinate determination process is performed. In addition, the CPU 109 obtains the amount of movement of the subject in accordance with the subject trajectory information in the moving image scene being reproduced, and performs subject movement determination processing for determining whether or not the position of the subject is moving.

さらに、CPU109は、被写体を除く所定の領域(例えば、背景)の動きベクトルを算出して、当該動きベクトルに基づいて画面全体の移動情報(画面背景移動情報、つまり、領域位置情報)を生成する背景移動情報生成処理を行う。そして、CPU109は、被写体軌跡情報と画面背景移動情報とに応じて画面の背景に対する被写体の相対的な軌跡を示す背景相対軌跡情報を生成する背景相対軌跡情報生成処理を行う。   Further, the CPU 109 calculates a motion vector of a predetermined area (eg, background) excluding the subject, and generates movement information (screen background movement information, that is, area position information) of the entire screen based on the motion vector. Background movement information generation processing is performed. Then, the CPU 109 performs background relative trajectory information generation processing for generating background relative trajectory information indicating the relative trajectory of the subject with respect to the background of the screen according to the subject trajectory information and the screen background movement information.

また、CPU109は、タッチパネル105において被写体を選択した状態で指などを移動することによって得られる座標情報と背景相対軌跡情報とが一致又は所定の近接範囲にあるか否かを判定する背景相対軌跡座標判定処理を行う。   In addition, the CPU 109 determines whether the coordinate information obtained by moving a finger or the like with the subject selected on the touch panel 105 matches the background relative locus information or is within a predetermined proximity range. Judgment processing is performed.

なお、図示のように、画像再生装置100には、DRAM101にアクセスするためのデータバス102が備えられるとともに、CPU109が被写体検出部103〜Media I/F107に制御指示を行うための制御バス108が備えられている。さらに、画像再生装置100にはCPU109とROM111およびRAM112とを接続するプログラムバス110が備えられている。   As shown in the figure, the image reproducing apparatus 100 is provided with a data bus 102 for accessing the DRAM 101 and a control bus 108 for the CPU 109 to give control instructions to the subject detection unit 103 to the media I / F 107. Is provided. Further, the image reproducing apparatus 100 is provided with a program bus 110 that connects the CPU 109 with the ROM 111 and the RAM 112.

図2は、被写体を追従するためにカメラをパンニングしつつ撮影を行った結果得られた動画像シーンの一例を示す図である。   FIG. 2 is a diagram illustrating an example of a moving image scene obtained as a result of shooting while panning the camera to follow the subject.

図2において、自動車である被写体201は、図中右方向に進んでおり、ここでは、被写体201が常に撮影画面の中央に位置するように、カメラをパンニングしつつ撮影が行われたものとする。ここで、動画像シーンはScene1からScene8まであり、Scene1からScene8の順に時刻が経過しているものとする。つまり、Scene1が最も古く、Scene8が最も新しいものとする。   In FIG. 2, a subject 201 that is a car is moving in the right direction in the figure. Here, it is assumed that photographing is performed while panning the camera so that the subject 201 is always located at the center of the photographing screen. . Here, it is assumed that there are moving image scenes from Scene1 to Scene8, and the time has passed in the order of Scene1 to Scene8. That is, Scene 1 is the oldest and Scene 8 is the newest.

Scene1からScene8においては、被写体201が撮影画面の中央に位置するように、カメラをパンニングしつつ撮影が行われているので、被写体201を除く所定の領域(例えば、背景)202は恰も移動している状態となる。   In Scene 1 to Scene 8, since shooting is performed while panning the camera so that the subject 201 is positioned at the center of the shooting screen, the predetermined area (for example, the background) 202 excluding the subject 201 is also moved. It becomes a state.

図3は、図2に示す動画像シーンのScene5においてCPU109が背景相対軌跡描画処理を行った際の再生画面の一例を示す図である。なお、ここでは、記録媒体200から上記の動画像シーンを示す画像符号化データがDRAM101に読み込まれて再生されるものとする。   FIG. 3 is a diagram showing an example of a reproduction screen when the CPU 109 performs background relative locus drawing processing in Scene 5 of the moving image scene shown in FIG. Here, it is assumed that the encoded image data indicating the moving image scene is read from the recording medium 200 into the DRAM 101 and reproduced.

まず、CPU109は、デコーダ106によってScene5の前後それぞれ3フレーム分のデコード処理を行った後、上記の被写体移動判別処理によってScene2〜Scene7における被写体201の移動量を求める。そして、CPU109は被写体201の移動量に応じて、被写体の位置が移動しているか否かを判別する。   First, the CPU 109 performs decoding processing for three frames before and after Scene 5 by the decoder 106, and then determines the movement amount of the subject 201 in Scene 2 to Scene 7 by the subject movement determination processing described above. Then, the CPU 109 determines whether or not the position of the subject has moved according to the amount of movement of the subject 201.

ここでは、被写体201は撮影画面の中央に位置するように、カメラをパンニングしつつ撮影されているので、CPU109は被写体201の位置は移動していないと判別することになる。   Here, since the subject 201 is photographed while panning the camera so that the subject 201 is located in the center of the photographing screen, the CPU 109 determines that the position of the subject 201 has not moved.

次に、CPU109は、背景移動情報生成処理によって被写体201を除く画面全体の背景202の移動情報を求める。ここでは、被写体201は撮影画面の中央に位置するように、カメラをパンニングして撮影を行っているので、前述のように、背景202は恰も図中左方向に移動することになる。   Next, the CPU 109 obtains movement information of the background 202 of the entire screen excluding the subject 201 by background movement information generation processing. Here, since shooting is performed by panning the camera so that the subject 201 is positioned at the center of the shooting screen, the background 202 also moves to the left in the drawing as described above.

続いて、CPU109は、現在の再生表示シーンであるScene5の背景202に対してScene2〜Scene7の被写体201の軌跡を、上記の背景相対軌跡描画処理によって描画して、図3に示す被写体軌跡線301を画面上に表示する。   Subsequently, the CPU 109 draws the locus of the subjects 201 of Scene 2 to Scene 7 on the background 202 of Scene 5 that is the current reproduction display scene by the above-described background relative locus drawing processing, and the subject locus line 301 shown in FIG. Is displayed on the screen.

図示の例では、被写体軌跡線301には、Scene5においてScene2からScene7における被写体201の位置を示すプロット点302から307が表示される。これら被写体軌跡線301およびプロット点302から307によって、ユーザーは被写体201の移動軌跡を容易に把握できるばかりでなく、各Sceneにおける被写体201の位置を確認することができる。   In the illustrated example, the subject locus line 301 displays plot points 302 to 307 indicating the position of the subject 201 from Scene 2 to Scene 7 in Scene 5. The subject locus line 301 and the plot points 302 to 307 allow the user not only to easily grasp the movement locus of the subject 201 but also to confirm the position of the subject 201 in each scene.

図4は、図1に示す画像再生装置で行われる動画像シーンの送り再生の一例を説明するための図である。なお、ここでは、図3に示す表示画面において再生表示中のScene5からScene7に送り再生(つまり、シーンジャンプ)を行う場合について説明する。   FIG. 4 is a diagram for explaining an example of moving image scene feed playback performed by the image playback apparatus shown in FIG. Here, a case will be described in which playback is performed from Scene 5 to Scene 7 during playback display on the display screen shown in FIG. 3 (ie, scene jump).

表示部にScene5が画面表示されている状態で、ユーザーは被写体201をタッチパネル105上で、指501などによって選択(ドラッグ)する。そして、被写体201を選択した状態で、被写体201を被写体軌跡線301の外に移動させる。この際には、CPU109は動画像の再生シーンを更新することなく、表示画面にはScene5を表示する。そして、CPU109はユーザーが被写体201を選択していることを示すため、選択された被写体201の画像を半透過アイコン502として表示画面上に合成描画する。   In a state where Scene 5 is displayed on the display unit, the user selects (drags) the subject 201 on the touch panel 105 with the finger 501 or the like. Then, with the subject 201 selected, the subject 201 is moved out of the subject locus line 301. At this time, the CPU 109 displays Scene 5 on the display screen without updating the playback scene of the moving image. Then, in order to indicate that the user has selected the subject 201, the CPU 109 compositely draws the image of the selected subject 201 as a semi-transparent icon 502 on the display screen.

続いて、ユーザーは被写体201を選択した状態で、被写体軌跡線301上においてScene7を示す位置まで被写体201(つまり、ここでは、半透明アイコン502)を移動させる。半透明アイコン502が被写体軌跡線301上のScene7における被写体位置(つまり、プロット点307)を移動すると、CPU109は被写体軌跡線301上の被写体201の位置に対応するScene7を画面に再生表示する。   Subsequently, with the subject 201 selected, the user moves the subject 201 (that is, the semi-transparent icon 502 here) to a position indicating Scene 7 on the subject locus line 301. When the translucent icon 502 moves the subject position on Scene 7 on the subject locus line 301 (that is, the plot point 307), the CPU 109 reproduces and displays Scene 7 corresponding to the position of the subject 201 on the subject locus line 301 on the screen.

このようにして、図3に示す画面において、ユーザーが被写体201を選択して、被写体201を示す半透明アイコン502を被写体軌跡線301の外を移動させると、CPU109は動画像シーンの再生表示の更新を一旦停止する。つまり、CPU109は動画像シーンの再生表示を現状の状態で継続することになる。そして、半透明アイコン502を被写体軌跡線301上の所望のシーンであるScene7を示す被写体201の位置(つまり、プロット点307)に移動させると、CPU109は半透明アイコン502の移動位置に対応する被写体201が存在するScene7を画面表示する。   In this way, when the user selects the subject 201 on the screen shown in FIG. 3 and moves the semi-transparent icon 502 indicating the subject 201 outside the subject locus line 301, the CPU 109 reproduces and displays the moving image scene. Stop updating. That is, the CPU 109 continues to display and display the moving image scene in the current state. When the translucent icon 502 is moved to the position of the subject 201 indicating Scene 7 that is the desired scene on the subject trajectory line 301 (that is, the plot point 307), the CPU 109 corresponds to the subject corresponding to the moving position of the translucent icon 502. Screen 7 in which 201 exists is displayed on the screen.

図5は、図1に示すカメラで行われる軌跡描画処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、CPU109の制御下で行われる。また、ここでは、記録媒体200から上記の動画像シーンを示す画像符号化データがDRAM101に読み込まれて再生されるものとする。   FIG. 5 is a flowchart for explaining the trajectory drawing process performed by the camera shown in FIG. Note that the processing according to the illustrated flowchart is performed under the control of the CPU 109. Here, it is assumed that the encoded image data indicating the moving image scene is read from the recording medium 200 into the DRAM 101 and reproduced.

ユーザー指示に応じて軌跡描画処理を開始すると、まず、CPU109は、現在画面に再生表示中の動画像シーンに対してその前後それぞれ複数のフレームをデコーダ106によってデコードしてDRAM101に一時的に保存するデコードする。そして、CPU109は、DRAM101に保存されたデコード後の複数のフレーム(つまり、画像)について被写体軌跡情報生成処理を行って被写体軌跡情報を生成する(ステップS501)。   When the trajectory drawing process is started in response to a user instruction, first, the CPU 109 decodes a plurality of frames before and after the moving image scene being reproduced and displayed on the current screen by the decoder 106 and temporarily stores them in the DRAM 101. Decode. Then, the CPU 109 performs subject trajectory information generation processing for a plurality of decoded frames (that is, images) stored in the DRAM 101 to generate subject trajectory information (step S501).

続いて、CPU109は、被写体移動判別処理によって被写体軌跡情報に基づいて被写体の位置が移動しているか否かを判別する(ステップS502)。ここでは、CPU109は被写体の移動距離が所定の範囲内であると被写体の位置が移動していないと判別する。   Subsequently, the CPU 109 determines whether or not the position of the subject is moving based on the subject locus information by subject movement determination processing (step S502). Here, the CPU 109 determines that the position of the subject has not moved if the movement distance of the subject is within a predetermined range.

被写体の位置が移動していると判別すると(ステップS502において、YES)、CPU109は被写体軌跡情報を用いて軌跡描画処理によって被写体の軌跡(被写体軌跡線)を再生表示中の画面(つまり、シーン)に描画する(ステップS503)。そして、CPU109は軌跡描画処理を終了する。   If it is determined that the position of the subject is moving (YES in step S502), the CPU 109 reproduces and displays the trajectory of the subject (subject trajectory line) by the trajectory drawing process using the subject trajectory information (that is, the scene). (Step S503). Then, the CPU 109 ends the locus drawing process.

一方、被写体の位置が移動していないと判別すると(ステップS502において、NO)、CPU109は、背景移動情報生成処理によって被写体201を除く画面全体(例えば、背景などの所定の領域)の動きベクトルを算出して、当該動きベクトルに基づいて画面移動情報(つまり、背景移動情報)を生成する(ステップS504)。   On the other hand, if it is determined that the position of the subject has not moved (NO in step S502), the CPU 109 obtains the motion vector of the entire screen (for example, a predetermined region such as the background) excluding the subject 201 by the background movement information generation process. Calculation is performed to generate screen movement information (that is, background movement information) based on the motion vector (step S504).

次に、CPU109は、被写体軌跡情報および背景移動情報を用いて背景相対軌跡情報生成処理によって現在再生表示中のシーンにおける背景に対する被写体軌跡情報を生成する(ステップS505)。   Next, the CPU 109 uses the subject locus information and the background movement information to generate subject locus information for the background in the scene currently being reproduced and displayed by the background relative locus information generation processing (step S505).

続いて、CPU105は軌跡描画処理によって、背景相対軌跡情報に基づいて被写体の位置を示す軌跡(つまり、被写体軌跡線)を現在再生表示中の画面に描画する(ステップS506)。そして、CPU109は軌跡描画処理を終了する。ステップS506の処理によって、例えば、図3で説明したように、画面上に動画像シーン毎の被写体の位置を示す被写体軌跡線301が描画されることになる。   Subsequently, the CPU 105 draws a trajectory indicating the position of the subject (that is, a subject trajectory line) on the screen that is currently being reproduced and displayed based on the background relative trajectory information by a trajectory drawing process (step S506). Then, the CPU 109 ends the locus drawing process. By the processing in step S506, for example, as described with reference to FIG. 3, the subject locus line 301 indicating the subject position for each moving image scene is drawn on the screen.

図6は、図1に示す画像再生装置で行われる動画像シーン送り再生を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、CPU109の制御下で行われる。そして、ここでは、画面上に動画像シーンにおける1つのシーンが表示されているものとし、当該画面には前述の被写体軌跡線が描画されているものとする。   FIG. 6 is a flowchart for explaining moving image scene feed playback performed by the image playback apparatus shown in FIG. Note that the processing according to the illustrated flowchart is performed under the control of the CPU 109. Here, it is assumed that one scene in the moving image scene is displayed on the screen, and the above-described subject locus line is drawn on the screen.

動画像シーン送り再生を開始すると、CPU109は、被写体選択判別処理によって、画面に表示中の動画像シーンにおいてタッチパネル105上のタッチ操作で被写体が選択(ドラッグ)されているか否かを判別する(ステップS601)。被写体が選択されていないと(ステップS601において、NO)、CPU109は動画像シーン送り再生を終了する。つまり、CPU109は通常の再生を行うことになる。   When the moving image scene playback is started, the CPU 109 determines whether or not a subject is selected (dragged) by a touch operation on the touch panel 105 in the moving image scene displayed on the screen by subject selection determination processing (step). S601). If no subject has been selected (NO in step S601), CPU 109 ends moving image scene feed reproduction. That is, the CPU 109 performs normal playback.

一方、被写体が選択されていると(ステップS601において、YES)、CPU109はタッチパネル105におけるタッチ位置(検出位置)をタッチパネル105から取得する(ステップS602)。そして、CPU109は軌跡座標判別処理によってタッチパネル105上の検出位置が画面に表示されている被写体軌跡線上に位置するか否かを判別する(ステップS603)。   On the other hand, when a subject is selected (YES in step S601), CPU 109 acquires a touch position (detected position) on touch panel 105 from touch panel 105 (step S602). Then, the CPU 109 determines whether or not the detected position on the touch panel 105 is located on the subject locus line displayed on the screen by the locus coordinate determination processing (step S603).

検出位置が被写体軌跡線上に位置すると(ステップS603において、YES)、CPU109は被写体軌跡線上の位置に対応する被写体が存在する動画像シーン(つまり、フレーム)をデコーダ106によってデコードし画面表示して再生表示画像を更新する(ステップS604)。   When the detection position is on the subject locus line (YES in step S603), the CPU 109 decodes the moving image scene (that is, the frame) in which the subject corresponding to the position on the subject locus line exists, displays it on the screen, and reproduces it. The display image is updated (step S604).

続いて、CPU109は、更新後の再生表示画像に応じて当該再生表示画像に対応する被写体軌跡線を画面に描画して被写体軌跡線を更新する(ステップS605)。この際、CPU109は、例えば、図3で説明したようにして、被写体軌跡線を描画することになる。そして、CPU109はステップS601の処理に戻る。   Subsequently, the CPU 109 draws a subject locus line corresponding to the reproduced display image on the screen according to the updated reproduced display image, and updates the subject locus line (step S605). At this time, the CPU 109 draws the subject locus line, for example, as described in FIG. Then, the CPU 109 returns to the process of step S601.

検出位置が被写体軌跡線上に位置しないと(ステップS603において、NO)、CPU109は動画像の再生表示の更新を一旦停止する(ステップS606)。そして、CPU109はステップS601の処理に戻る。   If the detection position is not located on the subject locus line (NO in step S603), the CPU 109 temporarily stops the update of the moving image reproduction display (step S606). Then, the CPU 109 returns to the process of step S601.

このように、本発明の第1の実施形態では、動画像シーンを表示する画面において、タッチパネル上の操作によって被写体が被写体軌跡線外に移動されると、CPU109は動画像の再生を一旦停止する。そして、被写体が再度被写体軌跡線上に位置すると、CPU109は被写体が位置づけられた被写体軌跡線上の位置に対応する動画像シーンを再生する。これによって、被写体が撮影画面の中央に位置するように、カメラをパンニングしつつ撮影した結果得られた動画像シーンにおいても、被写体の移動軌跡を容易に視認して、ユーサーは所望のシーンに再生送りを直観的に行うことができる。   As described above, in the first embodiment of the present invention, when the subject is moved outside the subject locus line by the operation on the touch panel on the screen displaying the moving image scene, the CPU 109 temporarily stops the reproduction of the moving image. . When the subject is again positioned on the subject locus line, the CPU 109 reproduces a moving image scene corresponding to the position on the subject locus line where the subject is located. As a result, even in a moving image scene obtained as a result of shooting while panning the camera so that the subject is positioned at the center of the shooting screen, the user can easily see the movement path of the subject and reproduce it in the desired scene. Feeding can be done intuitively.

[第2の実施形態]
続いて、本発明の第2の実施形態による画像再生装置の一例について説明する。なお、第2の実施形態による画像再生装置のハードウェア構成は、図1に示す画像再生装置と同様であるので、ここでは説明を省略する。
[Second Embodiment]
Next, an example of an image reproduction device according to the second embodiment of the present invention will be described. Note that the hardware configuration of the image playback apparatus according to the second embodiment is the same as that of the image playback apparatus shown in FIG.

図7は、本発明の第2の実施形態による画像再生装置で行われる動画像シーン送り再生を示す図である。なお、ここでは、図3に示す表示画面において再生表示中のScene5からScene7に送り再生(つまり、シーンジャンプ)を行う場合について説明する。   FIG. 7 is a diagram showing moving image scene feed playback performed by the image playback apparatus according to the second embodiment of the present invention. Here, a case will be described in which playback is performed from Scene 5 to Scene 7 during playback display on the display screen shown in FIG. 3 (ie, scene jump).

Scene5が画面表示されている状態で、ユーザーは被写体201をタッチパネル105上で、指501などによって選択(ドラッグ)する。この際には、CPU109は動画像の再生シーンを更新することなく、表示画面にはScene5を表示する。そして、CPU109はユーザーが被写体201を選択していることを示すため、選択された被写体201の画像を半透過アイコン502として表示画面上に合成描画する。   In a state where Scene 5 is displayed on the screen, the user selects (drags) the subject 201 on the touch panel 105 with the finger 501 or the like. At this time, the CPU 109 displays Scene 5 on the display screen without updating the playback scene of the moving image. Then, in order to indicate that the user has selected the subject 201, the CPU 109 compositely draws the image of the selected subject 201 as a semi-transparent icon 502 on the display screen.

ユーザーは被写体201(つまり、ここでは、半透明アイコン502)を選択した状態でジャンプしたい動画像シーン(ここでは、Scene7)を示す被写体軌跡線301上の位置(つまり、プロット点307)に半透明アイコン502を移動させる。そして、ユーザーはScene7を示す被写体軌跡線301上の位置(プロット点307)で半透明アイコンを解除(ドロップ)する。   The user is translucent to a position on the subject trajectory line 301 (that is, plot point 307) indicating a moving image scene (here, Scene 7) to be jumped with the subject 201 (that is, translucent icon 502 here) selected. The icon 502 is moved. Then, the user releases (drops) the translucent icon at a position (plot point 307) on the subject locus line 301 indicating Scene7.

半透明アイコン502がScene7を示す被写体軌跡線301上の位置(プロット点307)にドロップされると、CPU109は、ドロップされた被写体軌跡線上の位置に対応するScene7を画面に再生表示する。   When the semi-transparent icon 502 is dropped at a position (plot point 307) on the object locus line 301 indicating Scene 7, the CPU 109 reproduces and displays Scene 7 corresponding to the dropped position on the object locus line on the screen.

このようにして、ユーザーが被写体201を選択して、被写体201を示す半透明アイコン502を被写体軌跡線301上の所望の動画像シーン(例えば、Scene7)を示す位置に移動させると、CPU109は半透明アイコン502が移動した位置に対応する被写体201が存在するScene7を画面表示する。   In this way, when the user selects the subject 201 and moves the translucent icon 502 indicating the subject 201 to a position indicating a desired moving image scene (for example, Scene 7) on the subject locus line 301, the CPU 109 performs a semi-transition. Scene 7 in which the subject 201 corresponding to the position to which the transparent icon 502 has moved is displayed on the screen.

図8は、本発明の第2の実施形態による画像再生装置で行われる動画像シーン送り再生を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、CPU109の制御下で行われる。そして、ここでは、画面上に動画像シーンにおける1つのシーンが表示されているものとし、当該画面には前述の被写体軌跡線が描画されているものとする。   FIG. 8 is a flowchart for explaining moving image scene feed playback performed by the image playback apparatus according to the second embodiment of the present invention. Note that the processing according to the illustrated flowchart is performed under the control of the CPU 109. Here, it is assumed that one scene in the moving image scene is displayed on the screen, and the above-described subject locus line is drawn on the screen.

動画像シーン送り再生を開始すると、CPU109は、被写体選択判別処理によって、画面に表示中の動画像シーンにおいてタッチパネル105上のタッチ操作で被写体が選択(ドラッグ)されているか否かを判別する(ステップS801)。被写体が選択されていると(ステップS801において、YES)、つまり、被写体の選択が解除されていないと、CPU109は動画像シーンの再生更新を停止する(ステップS802)。そして、CPU109はステップS801の処理に戻る。   When the moving image scene playback is started, the CPU 109 determines whether or not a subject is selected (dragged) by a touch operation on the touch panel 105 in the moving image scene displayed on the screen by subject selection determination processing (step). S801). If the subject has been selected (YES in step S801), that is, if the selection of the subject has not been canceled, the CPU 109 stops the reproduction update of the moving image scene (step S802). Then, the CPU 109 returns to the process of step S801.

一方、被写体が選択されていないと(ステップS801において、NO)、つまり、被写体の選択が解除されると、CPU109は、タッチパネル105におけるタッチ位置(検出位置)をタッチパネル105から取得する(ステップS803)。そして、CPU109は、軌跡座標判別処理によってタッチパネル105上の検出位置が画面に表示されている被写体軌跡線301上に位置するか否かを判別する(ステップS804)。   On the other hand, if no subject is selected (NO in step S801), that is, if the selection of the subject is canceled, CPU 109 obtains the touch position (detected position) on touch panel 105 from touch panel 105 (step S803). . Then, the CPU 109 determines whether or not the detection position on the touch panel 105 is located on the subject locus line 301 displayed on the screen by the locus coordinate determination process (step S804).

検出位置が被写体軌跡線301上に位置すると(ステップS804において、YES)、CPU109は被写体軌跡線301上の位置に対応する被写体が存在する動画像シーン(つまり、フレーム)をデコーダ106によってデコードし画面表示して再生表示画像を更新する(ステップS805)。   When the detected position is located on the subject locus line 301 (YES in step S804), the CPU 109 decodes a moving image scene (that is, a frame) in which the subject corresponding to the position on the subject locus line 301 exists by the decoder 106 and displays the screen. Display and update the reproduction display image (step S805).

続いて、CPU109は、更新後の再生表示画像に応じて当該再生表示画像に対応する被写体軌跡線を画面に描画して被写体軌跡線を更新する(ステップS806)。この際、CPU109は、例えば、図3で説明したようにして被写体軌跡線を描画することになる。そして、CPU109は、現在画面表示されている動画像シーンから動画像再生を再開し(ステップS807)、動画像シーン送り再生を終了する。   Subsequently, the CPU 109 draws a subject locus line corresponding to the reproduced display image on the screen according to the updated reproduced display image, and updates the subject locus line (step S806). At this time, the CPU 109 draws the subject locus line, for example, as described in FIG. Then, the CPU 109 resumes the moving image reproduction from the moving image scene currently displayed on the screen (step S807), and ends the moving image scene feed reproduction.

検出位置が被写体軌跡線301上に位置しないと(ステップS804において、NO)、CPU109は、ステップS807の処理に進んで、再生停止を解除して現在画面表示されている動画像シーンから動画像再生を行う。   If the detected position is not on the subject locus line 301 (NO in step S804), the CPU 109 proceeds to the process in step S807, cancels the reproduction stop, and reproduces the moving image from the moving image scene currently displayed on the screen. I do.

このように、本発明の第2の実施形態では、動画像シーンを表示する画面において、タッチパネル上の操作によって被写体が選択されると、CPU109は動画像シーンの再生を一旦停止する。そして、被写体が被写体軌跡線上の任意の位置でその選択が解除されると、CPU109は被写体の選択が解除された位置に対応する動画像シーンから再生を開始する。これによって、被写体が撮影画面の中央に位置するように、カメラをパンニングしつつ撮影した結果得られた動画像シーンにおいても、被写体の軌跡を容易に視認して、ユーサーは所望のシーンに再生送りを直観的に行うことができる。   As described above, in the second embodiment of the present invention, when a subject is selected by an operation on the touch panel on the screen for displaying a moving image scene, the CPU 109 temporarily stops the reproduction of the moving image scene. When the subject is released at any position on the subject locus line, the CPU 109 starts playback from the moving image scene corresponding to the position where the subject is released. As a result, even in a moving image scene obtained as a result of shooting while panning the camera so that the subject is positioned at the center of the shooting screen, the user can easily see the locus of the subject and send the playback to the desired scene. Can be done intuitively.

上述の説明から明らかなように、図1に示す例においては、被写体位置検出部103、動きベクトル検出部113、およびCPU109が被写体検出手段として機能し、CPU109が移動判定手段、第1の描画手段、第2の描画手段、および表示制御手段として機能する。   As is apparent from the above description, in the example shown in FIG. 1, the subject position detection unit 103, the motion vector detection unit 113, and the CPU 109 function as subject detection means, and the CPU 109 serves as movement determination means and first drawing means. , Function as second drawing means and display control means.

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。   As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像再生装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像再生装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。   For example, the function of the above embodiment may be used as a control method, and the control method may be executed by the image reproduction apparatus. In addition, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the image reproduction apparatus. The control program is recorded on a computer-readable recording medium, for example.

上記の制御方法および制御プログラムの各々は、少なくとも被写体検出ステップ、移動判定ステップ、第1の描画ステップ、第2の描画ステップ、および表示制御ステップを有している。   Each of the control method and the control program has at least a subject detection step, a movement determination step, a first drawing step, a second drawing step, and a display control step.

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed.

103 被写体検出部
104 被写体認証部
105 タッチパネル
106 デコーダ
107 メディアインターフェース
109 CPU
111 ROM
112 RAM
113 動きベクトル検出部
200 記録媒体
103 Subject Detection Unit 104 Subject Authentication Unit 105 Touch Panel 106 Decoder 107 Media Interface 109 CPU
111 ROM
112 RAM
113 motion vector detection unit 200 recording medium

Claims (10)

所定の被写体が存在する複数の画像を連続的に再生する画像再生装置であって、
前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出手段と、
前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定手段と、
前記移動判定手段によって前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第1の描画手段と、
前記移動判定手段によって前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第2の描画手段と、
前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御手段と、
を有することを特徴とする画像再生装置。
An image reproduction device for continuously reproducing a plurality of images in which a predetermined subject exists,
Subject detection means for obtaining subject position information by detecting the position of the subject in each of the plurality of images;
Movement determining means for determining whether or not the subject is moving in the plurality of images according to the subject position information;
A first drawing unit that draws a locus line indicating a movement locus of the subject based on the subject position information in an image displayed on the display unit when the movement determination unit determines that the subject is moving; ,
When the movement determining means determines that the subject is not moving, the position of a predetermined region excluding the subject is detected in each of the plurality of images to obtain region position information and displayed on the display unit Second drawing means for drawing a movement locus indicating the position of the subject in each of the plurality of images as a locus line in accordance with the region position information,
Display control means for reproducing and displaying an image corresponding to the position of the subject specified by the locus line on the display unit;
An image reproducing apparatus comprising:
前記表示制御手段は、前記表示部に表示された画像において前記被写体が選択された際、当該選択された前記被写体の位置が前記軌跡線の上に位置していると、前記被写体の前記軌跡線の位置に応じた画像を表示部に再生表示することを特徴とする請求項1に記載の画像再生装置。   When the subject is selected in the image displayed on the display unit and the position of the selected subject is positioned on the locus line, the display control unit is configured to detect the locus line of the subject. The image reproducing apparatus according to claim 1, wherein an image corresponding to the position of the image is reproduced and displayed on a display unit. 前記表示制御手段は、前記被写体の前記軌跡線の位置に応じた画像を前記表示部に再生表示した際、当該再生表示された画像に応じて前記被写体の位置を示す軌跡線を更新することを特徴とする請求項2に記載の画像再生装置。   When the display unit reproduces and displays an image corresponding to the position of the trajectory line of the subject on the display unit, the display control unit updates the trajectory line indicating the position of the subject according to the reproduced and displayed image. The image reproducing device according to claim 2, wherein 前記表示制御手段は、前記表示部に表示された画像において前記被写体が選択された際、当該選択された前記被写体の位置が前記軌跡線の上に位置していないと、前記画像の再生を一旦停止して前記表示部に表示中の画像の表示を継続することを特徴とする請求項2又は3に記載の画像再生装置。   When the subject is selected in the image displayed on the display unit and the position of the selected subject is not located on the locus line, the display control means once reproduces the image. 4. The image reproducing apparatus according to claim 2, wherein the image reproduction apparatus stops and continues displaying the image being displayed on the display unit. 前記表示制御手段は、前記表示部に表示された画像において前記被写体が選択された際、前記画像の再生を一旦停止して前記表示部に表示中の画像の表示を継続し、前記被写体が選択された後に当該選択が解除された場合に、当該選択が解除された前記被写体の位置が前記軌跡線の上に位置していると、前記被写体の前記軌跡線の位置に応じた画像を表示部に再生表示することを特徴とする請求項1に記載の画像再生装置。   When the subject is selected in the image displayed on the display unit, the display control unit temporarily stops the reproduction of the image and continues displaying the image being displayed on the display unit, and the subject is selected. When the selection is canceled after the selection, if the position of the subject for which the selection has been released is positioned on the locus line, an image corresponding to the position of the locus line of the subject is displayed. The image reproduction apparatus according to claim 1, wherein the image reproduction apparatus displays and reproduces the image. 前記表示制御手段は、前記被写体の前記軌跡線の位置に応じた画像を前記表示部に再生表示した際、当該再生表示された画像に応じて前記被写体の位置を示す軌跡線を更新することを特徴とする請求項5に記載の画像再生装置。   When the display unit reproduces and displays an image corresponding to the position of the trajectory line of the subject on the display unit, the display control unit updates the trajectory line indicating the position of the subject according to the reproduced and displayed image. 6. The image reproducing apparatus according to claim 5, wherein 前記表示制御手段は、前記軌跡線を更新した後、前記再生表示された画像から連続的に再生を再開することを特徴とする請求項6に記載の画像再生装置。   The image reproduction apparatus according to claim 6, wherein the display control unit continuously resumes reproduction from the reproduced and displayed image after updating the locus line. 前記表示制御手段は、前記被写体が選択された後に当該選択が解除された場合に、当該選択が解除された前記被写体の位置が前記軌跡線の上に位置していないと、再生を停止した画像から連続的に再生を再開することを特徴とする請求項5〜7のいずれか1項に記載の画像再生装置。   When the selection is canceled after the subject is selected, the display control means stops the reproduction if the position of the subject whose selection has been canceled is not located on the locus line. The image reproduction apparatus according to claim 5, wherein the reproduction is continuously resumed from the beginning. 所定の被写体が存在する複数の画像を連続的に再生する画像再生装置の制御方法であって、
前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出ステップと、
前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定ステップと、
前記移動判定ステップで前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第1の描画ステップと、
前記移動判定ステップで前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第2の描画ステップと、
前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御ステップと、
を有することを特徴とする制御方法。
A method for controlling an image reproducing apparatus for continuously reproducing a plurality of images in which a predetermined subject exists,
A subject detection step of obtaining subject position information by detecting the position of the subject in each of the plurality of images;
A movement determination step for determining whether or not the subject is moving in the plurality of images according to the subject position information;
A first drawing step of drawing a locus line indicating a movement locus of the subject on the image displayed on the display unit based on the subject position information when it is determined in the movement determination step that the subject is moving; ,
If it is determined in the movement determination step that the subject has not moved, the position of a predetermined region excluding the subject is detected in each of the plurality of images to obtain region position information and displayed on the display unit A second drawing step of drawing a movement trajectory indicating the position of the subject in each of the plurality of images as a trajectory line in accordance with the region position information on the obtained image;
A display control step of reproducing and displaying an image corresponding to the position of the subject specified by the locus line on the display unit;
A control method characterized by comprising:
所定の被写体が存在する複数の画像を連続的に再生する画像再生装置で用いられる制御プログラムであって、
前記画像再生装置が備えるコンピュータに、
前記複数の画像の各々において前記被写体の位置を検出して被写体位置情報を得る被写体検出ステップと、
前記被写体位置情報に応じて前記複数の画像において前記被写体が移動しているか否かを判定する移動判定ステップと、
前記移動判定ステップで前記被写体が移動している判定されると、表示部に表示された画像に前記被写体位置情報に基づいて前記被写体の移動軌跡を示す軌跡線を描画する第1の描画ステップと、
前記移動判定ステップで前記被写体が移動してないと判定されると、前記複数の画像の各々において前記被写体を除く所定の領域の位置を検出して領域位置情報を得て、前記表示部に表示された画像に前記領域位置情報に応じて前記複数の画像の各々における前記被写体の位置を示す移動軌跡を軌跡線として描画する第2の描画ステップと、
前記軌跡線で指定された前記被写体の位置に対応する画像を前記表示部に再生表示する表示制御ステップと、
を実行させることを特徴とする制御プログラム。
A control program used in an image reproduction device that continuously reproduces a plurality of images in which a predetermined subject exists,
In the computer provided in the image reproduction device,
A subject detection step of obtaining subject position information by detecting the position of the subject in each of the plurality of images;
A movement determination step for determining whether or not the subject is moving in the plurality of images according to the subject position information;
A first drawing step of drawing a locus line indicating a movement locus of the subject on the image displayed on the display unit based on the subject position information when it is determined in the movement determination step that the subject is moving; ,
If it is determined in the movement determination step that the subject has not moved, the position of a predetermined region excluding the subject is detected in each of the plurality of images to obtain region position information and displayed on the display unit A second drawing step of drawing a movement trajectory indicating the position of the subject in each of the plurality of images as a trajectory line in accordance with the region position information on the obtained image;
A display control step of reproducing and displaying an image corresponding to the position of the subject specified by the locus line on the display unit;
A control program characterized by causing
JP2013249181A 2013-12-02 2013-12-02 Image reproduction apparatus, control method thereof, and control program Active JP6214365B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013249181A JP6214365B2 (en) 2013-12-02 2013-12-02 Image reproduction apparatus, control method thereof, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013249181A JP6214365B2 (en) 2013-12-02 2013-12-02 Image reproduction apparatus, control method thereof, and control program

Publications (2)

Publication Number Publication Date
JP2015106874A true JP2015106874A (en) 2015-06-08
JP6214365B2 JP6214365B2 (en) 2017-10-18

Family

ID=53436753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013249181A Active JP6214365B2 (en) 2013-12-02 2013-12-02 Image reproduction apparatus, control method thereof, and control program

Country Status (1)

Country Link
JP (1) JP6214365B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288840A (en) * 1994-04-18 1995-10-31 Matsushita Electric Ind Co Ltd Method for detecting change point of video image
JP2012151817A (en) * 2010-12-28 2012-08-09 Olympus Imaging Corp Reproduction apparatus and image-capturing apparatus
JP2012191544A (en) * 2011-03-14 2012-10-04 Olympus Imaging Corp Reproduction apparatus, imaging apparatus, and moving image reproduction program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288840A (en) * 1994-04-18 1995-10-31 Matsushita Electric Ind Co Ltd Method for detecting change point of video image
JP2012151817A (en) * 2010-12-28 2012-08-09 Olympus Imaging Corp Reproduction apparatus and image-capturing apparatus
JP2012191544A (en) * 2011-03-14 2012-10-04 Olympus Imaging Corp Reproduction apparatus, imaging apparatus, and moving image reproduction program

Also Published As

Publication number Publication date
JP6214365B2 (en) 2017-10-18

Similar Documents

Publication Publication Date Title
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
JP7053869B2 (en) Video generation methods, devices, electronics and computer readable storage media
JP2020123962A (en) Apparatus and method for gaze tracking
US9851894B2 (en) Display control device, display control method, and program
KR20200087746A (en) Assist to orient the camera at different zoom levels
JP6787394B2 (en) Information processing equipment, information processing methods, programs
KR20190039774A (en) Apparatus, method and program for information processing relating to generation of virtual viewpoint image
JP2016201714A (en) Display control device and display control method
TW201119368A (en) Image processing device, image processing method, and computer program
JP6176991B2 (en) Information processing apparatus, control method thereof, and program
KR102089624B1 (en) Method for object composing a image and an electronic device thereof
US20160103574A1 (en) Selecting frame from video on user interface
KR102128955B1 (en) Method for generating a spin image and apparatus thereof
JP5220157B2 (en) Information processing apparatus, control method therefor, program, and storage medium
JP6494358B2 (en) Playback control device and playback control method
JP6214365B2 (en) Image reproduction apparatus, control method thereof, and control program
JP7271276B2 (en) Display control device, display control method, and program
KR20200005593A (en) Methods, Systems, and Media for Presenting Media Content Previews
JP2014109885A (en) Display device and notification method
JP6501665B2 (en) INFORMATION PROCESSING APPARATUS AND ITS CONTROL METHOD AND PROGRAM
JP2015109497A (en) Moving image reproduction device, moving image reproduction method, and program
JP2016092691A (en) Image processing device, method for controlling the same, program, and storage medium
JP6968454B2 (en) Image processing equipment, image processing methods, programs, and systems
JP2005266471A (en) Image projection method and apparatus with pointing function, and program
JP2009175467A (en) Recording and reproducing device, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170919

R151 Written notification of patent or utility model registration

Ref document number: 6214365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151