JP2016201713A - Imaging device and playback device - Google Patents

Imaging device and playback device Download PDF

Info

Publication number
JP2016201713A
JP2016201713A JP2015081335A JP2015081335A JP2016201713A JP 2016201713 A JP2016201713 A JP 2016201713A JP 2015081335 A JP2015081335 A JP 2015081335A JP 2015081335 A JP2015081335 A JP 2015081335A JP 2016201713 A JP2016201713 A JP 2016201713A
Authority
JP
Japan
Prior art keywords
event item
event
video
item
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015081335A
Other languages
Japanese (ja)
Inventor
悠貴 福井
Yuki Fukui
悠貴 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015081335A priority Critical patent/JP2016201713A/en
Publication of JP2016201713A publication Critical patent/JP2016201713A/en
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

PROBLEM TO BE SOLVED: To select a candidate for a reliable event item as an event item to be added to video to which no event item is added.SOLUTION: An imaging device comprises: imaging means of imaging video; event item adding means of relating an event item to the video imaged by the imaging means; image processing means of analyzing contents of the video; first event image extracting means of extracting an event item based upon an analysis result of the image processing means; second event item extracting means of extracting an event item based upon a photographic state of recorded event video; and event item selecting means of selecting a candidate for the event item based upon results of the first event item extracting means and second event item extracting means. When video to which no event item is added by the event item adding means is imaged, the event item selecting means selects a candidate for an event item to be added to the video.SELECTED DRAWING: Figure 1

Description

本発明は、ビデオカメラ等の撮像装置や再生装置を用いて、各種テーマのシナリオに基づいて構成されるイベントを、シナリオに従って撮影するシナリオモードを有する撮像装置及び再生装置に関する。   The present invention relates to an imaging device and a playback device having a scenario mode for shooting an event configured based on a scenario of various themes according to a scenario using an imaging device such as a video camera or a playback device.

近年、デジタルカメラやビデオカメラの普及に伴い、子供の運動会や友人の結婚式などと言った場において、多くのユーザが自身の望む映像を撮影している風景を見る機会が増えた。   In recent years, with the widespread use of digital cameras and video cameras, opportunities to see landscapes where many users are shooting their own images have increased in places such as children's athletic meet and friends' weddings.

しかし、このような場での撮影において、「運動会」や「結婚式」と言った各テーマの流れに沿ったストーリー性且つ完成度の高い動画撮影を行いたいというニーズがある。   However, there is a need to shoot movies with high storyline and high degree of perfection in accordance with the flow of each theme such as “athletic meet” and “wedding” in shooting in such a place.

このようなニーズに対する手段として、各テーマの流れに基づいて構成されるイベントの情報をデジタルカメラやデジタルビデオカメラなどの撮像装置に与え、そのイベントの情報に従って映像を撮影することで、ストーリー性に優れ且つ完成度の高い動画撮影を行うことができる「シナリオモード」を有する撮像装置が知られている。   As a means to meet such needs, event information configured based on the flow of each theme is given to an imaging device such as a digital camera or a digital video camera, and video is taken according to the information of the event. An imaging apparatus having a “scenario mode” capable of performing excellent and high-quality video shooting is known.

例えば、結婚式のテーマの流れにおけるイベントとしては、新郎新婦入場、乾杯、ケーキ入刀、新郎新婦退場などがあり、これらのイベントをイベント情報として撮像装置に記録する。   For example, events in the wedding theme flow include the entrance of the bride and groom, the toast, the entrance of the cake, the exit of the bride and groom, etc., and these events are recorded as event information in the imaging device.

これにより、各テーマの流れに基づいて進行しているイベントをイベント情報に従ってユーザは撮影を行うことで、そのテーマで撮影すべきイベントを取り逃すことなく、ストーリー性且つ完成度の高い動画撮影を行うことができる。   This allows the user to shoot events that are progressing based on the flow of each theme according to the event information, so that the shooting of a video with a high degree of storylines and completeness can be performed without missing the events that should be shot with that theme. It can be carried out.

ところで、このような撮像装置では、撮影者は、撮影操作を行う前に、予め、テーマとイベント情報を指定する。いずれかのテーマにおけるイベント情報が指定された状態で撮影が行われると、撮影した映像に、指定されたテーマとイベント情報が関連付けられて記録される。   By the way, in such an imaging apparatus, a photographer designates a theme and event information in advance before performing a photographing operation. When shooting is performed in a state where event information in any theme is specified, the specified theme and event information are recorded in association with the shot video.

そのため、撮影者が、撮影操作を行う前にテーマやイベント情報の指定を忘れてしまった場合には、映像にイベント情報が付加されず、ストーリー性に優れ且つ完成度の高い動画にはならなくなってしまう。これを回避するため、テーマやイベント項目の付加を忘れて撮影された映像に対して、撮影終了後にイベント項目を付加する必要がある。   Therefore, if the photographer forgets to specify the theme and event information before performing the shooting operation, the event information will not be added to the video, and the video will not be excellent in story and high in completeness. End up. In order to avoid this, it is necessary to add an event item to the video that has been shot without adding the theme or event item after shooting.

特許文献1では、撮影した映像に対し映像解析を用いてイベントを識別し、識別結果のイベントに対応するシナリオを選定し、選定されたシナリオに関連付けられている編集内容に基づいて編集処理を施す映像編集装置が提案されている。   In Patent Document 1, an event is identified for a captured video using video analysis, a scenario corresponding to the event of the identification result is selected, and editing processing is performed based on the editing content associated with the selected scenario. Video editing devices have been proposed.

特開2010−232813号公報JP 2010-232813 A

イベント項目の付加を忘れて映像を撮影し、イベント項目が関連付けられているイベント映像を記録できなかった場合に、撮影後において、映像に付加するためのイベント項目の候補を簡単に付加したい。   If you forget to add an event item and shoot a video, and you cannot record the event video associated with the event item, you want to easily add event item candidates to be added to the video after shooting.

しかしながら、上記特許文献1に記載の方法では、付加するイベント項目として信頼性のあるイベント項目を選定することができない。   However, with the method described in Patent Document 1, a reliable event item cannot be selected as an event item to be added.

上記目的は、
撮影された映像にイベント項目を関連づけたイベント映像を撮影する撮像装置であって、
映像を撮像する撮像手段と、
前記撮像手段によって撮像された映像にイベント項目を関連付けるイベント項目付加手段と、
前記映像の内容を解析しイベント項目を抽出する第1のイベント項目抽出手段と、
記録されているイベント映像の撮影状況に基づいてイベント項目を抽出する第2のイベント項目抽出手段と、
前記第1のイベント項目抽出手段と前記第2のイベント項目抽出手段の結果に基づいてイベント項目の候補を選定するイベント項目選定手段と、
を備え、
前記イベント項目付加手段によってイベント項目が付加されていない映像が前記撮像手段によって撮像された場合に、
前記イベント項目選定手段は、前記第1のイベント項目抽出手段と前記第2のイベント項目抽出手段の結果に基づいて前記映像に付加するためのイベント項目の候補を選定することを特徴とする撮像装置によって達成される。
The above purpose is
An imaging device for capturing an event video in which an event item is associated with a captured video,
Imaging means for imaging video;
Event item addition means for associating an event item with the video imaged by the imaging means;
First event item extraction means for analyzing the content of the video and extracting event items;
A second event item extracting means for extracting an event item based on the recorded shooting situation of the event video;
Event item selection means for selecting event item candidates based on the results of the first event item extraction means and the second event item extraction means;
With
When a video to which no event item is added by the event item adding means is imaged by the imaging means,
The event item selecting means selects an event item candidate to be added to the video based on the results of the first event item extracting means and the second event item extracting means. Achieved by:

本発明の撮像装置によれば、イベント項目の付加を忘れて映像を撮影し、イベント項目が関連付けられているイベント映像を記録できなかった場合に、撮影後において、映像に付加するためのイベント項目の候補として信頼性のあるイベント項目を選定することができる。具体的には、映像解析結果の結果と記録済みのイベント映像の撮影状況から、すでに撮影済みのイベント項目や撮影した映像の内容とは異なるイベント項目を選定の候補外にすることにより、信頼性のあるイベント項目を選定することができる。   According to the imaging apparatus of the present invention, when an image is shot without forgetting to add an event item, and the event image associated with the event item cannot be recorded, the event item for adding to the image after shooting Reliable event items can be selected as candidates. Specifically, reliability can be improved by excluding event items that have already been shot or event items that are different from the content of the shot video from the results of video analysis and the shooting status of recorded event video. You can select event items with

第1の実施形態に係る撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on 1st Embodiment. 第1の実施形態に係るテーマ情報の管理データ示すである。It is management data of the theme information which concerns on 1st Embodiment. 第1の実施形態に係るテーマ/イベント選択画面である。It is a theme / event selection screen concerning a 1st embodiment. 第1の実施形態に係るイベント項目情報の管理データを示す図である。It is a figure which shows the management data of the event item information which concerns on 1st Embodiment. 第1の実施形態に係るイベント映像の管理データを示す図である。It is a figure which shows the management data of the event image | video which concerns on 1st Embodiment. 第1の実施形態に係るイベント項目選定部の処理過程を説明する図である。It is a figure explaining the process of the event item selection part which concerns on 1st Embodiment. 第2の実施形態に係る再生装置の構成を示すブロック図である。It is a block diagram which shows the structure of the reproducing | regenerating apparatus concerning 2nd Embodiment.

以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。   EMBODIMENT OF THE INVENTION Below, the form for implementing this invention with reference to an accompanying drawing is demonstrated in detail. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration of the apparatus to which the present invention is applied and various conditions. The present invention is described below. The form is not limited.

<第1の実施形態>
図1は本発明に係る実施の形態における撮像装置100の一例である概略構成を示すブロック図である。撮像装置100は、撮影して得られた映像にイベント項目が付加されていない場合に、映像解析と記録済みのイベント映像の撮影状況からイベント項目を抽出し、付加するためのイベント項目の候補を選定する機能を有する。
<First Embodiment>
FIG. 1 is a block diagram showing a schematic configuration as an example of an imaging apparatus 100 according to an embodiment of the present invention. When no event item is added to the video obtained by shooting, the imaging apparatus 100 extracts the event item from the video analysis and the shooting situation of the recorded event video, and selects event item candidates to be added. Has a function to select.

ここで、テーマ情報の構成の詳細を、図2を参照して説明する。図2は第1の実施形態に係る撮像装置100が有するシナリオモードにおけるテーマ情報の管理データを示す図である。   Here, the details of the configuration of the theme information will be described with reference to FIG. FIG. 2 is a diagram illustrating theme information management data in the scenario mode of the imaging apparatus 100 according to the first embodiment.

テーマとは、「運動会」、「結婚式」、「旅行」と言った大まかな概念を表し、テーマ毎にテーマ情報として、各テーマの名前201とテーマの全編を構成する主要なイベントを定めるイベント項目202が関連付けられている。例えば、「結婚式」のテーマ情報におけるイベント項目は、「新郎新婦入場」、「乾杯」、「ケーキ入刀」などがある。   Themes represent general concepts such as “athletic meet”, “wedding”, and “travel”, and events that determine the main events that make up the theme name 201 and the entire theme as theme information for each theme. Item 202 is associated. For example, event items in the theme information of “wedding” include “bride and groom entrance”, “toast”, “cake sword”, and the like.

撮像レンズ101によって被写体像を表す光線が集光され、CCDイメージセンサやCMOSイメージセンサのような撮像素子102に入射する。撮像素子102は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。撮像素子102から出力された映像信号は、アナログ信号処理部103において相関二重サンプリング(CDS)等のアナログ信号処理が行われる。   A light beam representing a subject image is collected by the imaging lens 101 and is incident on an imaging element 102 such as a CCD image sensor or a CMOS image sensor. The image sensor 102 outputs an electrical signal corresponding to the intensity of the incident light beam in units of pixels. This electrical signal is a video signal. The video signal output from the image sensor 102 is subjected to analog signal processing such as correlated double sampling (CDS) in the analog signal processing unit 103.

アナログ信号処理部103から出力された映像信号は、A/D変換部104においてデジタルデータの形式に変換され、デジタル化された画像が生成される。デジタル化された画像は処理対象の画像として制御部105および画像処理部106に入力される。   The video signal output from the analog signal processing unit 103 is converted into a digital data format by the A / D conversion unit 104, and a digitized image is generated. The digitized image is input to the control unit 105 and the image processing unit 106 as an image to be processed.

制御部105は、CPU(Central Processing Unit)やマイクロコントローラなどであり、撮像装置100の動作を中央制御する。具体的には、制御部105は、ROM(Read Only Memory)に記憶されたプログラムコードをRAM(Random Access Memory)の作業領域に展開して順次実行することで、撮像装置100の各部を制御する。   The control unit 105 is a CPU (Central Processing Unit), a microcontroller, or the like, and centrally controls the operation of the imaging apparatus 100. Specifically, the control unit 105 controls each unit of the imaging apparatus 100 by developing program codes stored in a ROM (Read Only Memory) in a work area of a RAM (Random Access Memory) and sequentially executing the program codes. .

また、制御部105は、撮像素子102で撮像する際の焦点状況や露出状況などの撮像条件を制御する。具体的には、制御部105は、A/D変換部104から出力された映像信号に基づいて、撮像レンズ101の焦点制御機構や露出制御機構(いずれも図示しない)を制御する。例えば、焦点制御機構は撮像レンズ101を光軸方向へ駆動させるアクチュエータなどであり、露出制御機構は絞りやシャッターを駆動させるアクチュエータなどである。   In addition, the control unit 105 controls imaging conditions such as a focus situation and an exposure situation when imaging with the imaging device 102. Specifically, the control unit 105 controls a focus control mechanism and an exposure control mechanism (neither shown) of the imaging lens 101 based on the video signal output from the A / D conversion unit 104. For example, the focus control mechanism is an actuator that drives the imaging lens 101 in the optical axis direction, and the exposure control mechanism is an actuator that drives an aperture or a shutter.

画像処理部106においては、入力された処理対象の画像についてガンマ補正、ホワイトバランス処理などの画像処理が行われる。なお、画像処理部106は通常の画像処理に加え、後述する第1のイベント項目抽出部111によるイベント項目の抽出を行う場合に、入力された処理対象の画像に対して映像解析を行う。画像処理部106から出力された映像信号は、表示部107に送られる。表示部107は、例えばLCDや有機ELディスプレイであり、映像信号を表示する。時系列的に連続撮影した画像を逐次表示部107に表示することで、表示部107を電子ビューファインダ(EVF)として機能させることができる。また、映像信号は記録媒体108(例えば着脱可能なメモリカード)に記録される。なお、記録先はカメラの内蔵メモリやカメラに装着されたメモリであってもよいし、通信可能に接続された外部装置であっても良い。   The image processing unit 106 performs image processing such as gamma correction and white balance processing on the input image to be processed. In addition to normal image processing, the image processing unit 106 performs video analysis on an input image to be processed when an event item is extracted by a first event item extraction unit 111 described later. The video signal output from the image processing unit 106 is sent to the display unit 107. The display unit 107 is, for example, an LCD or an organic EL display, and displays a video signal. By sequentially displaying images taken continuously in time series on the display unit 107, the display unit 107 can function as an electronic viewfinder (EVF). The video signal is recorded on a recording medium 108 (for example, a removable memory card). The recording destination may be a built-in memory of the camera or a memory attached to the camera, or may be an external device connected to be communicable.

操作部109は、シャッターボタンや十字キー、モード切り替えスイッチなど、ユーザが撮像装置100に対して指示する際に使用するものである。ここで述べた、モード切り替えスイッチは、制御部105の動作モードを静止画記録モード、動画記録モード、再生モードなどのいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモードなどがある。   The operation unit 109 is used when the user gives an instruction to the imaging apparatus 100, such as a shutter button, a cross key, and a mode switch. The mode switching switch described here switches the operation mode of the control unit 105 to any one of a still image recording mode, a moving image recording mode, a reproduction mode, and the like. As modes included in the still image recording mode, there are an auto shooting mode, an auto scene discrimination mode, a manual mode, various scene modes serving as shooting settings for each shooting scene, a program AE mode, a custom mode, and the like.

本実施形態における撮像装置の制御部105は動画記録モードに含まれるモードとしてシナリオモードを有する。   The control unit 105 of the imaging apparatus in the present embodiment has a scenario mode as a mode included in the moving image recording mode.

本実施形態では、撮像装置100があらかじめ定義されたテーマ情報を複数有し、各々のテーマ情報には、テーマ名とテーマに基づいた複数のイベント項目が関連付けられている。   In the present embodiment, the imaging apparatus 100 has a plurality of predefined theme information, and each theme information is associated with a plurality of event items based on the theme name and the theme.

本実施形態が有するシナリオモードでは、イベント付加手段110を用いて撮影した映像にテーマ情報に関連付けられたイベント項目を付加し、記録媒体108などに記録する。ここで述べたテーマ情報は、例えば制御部105に含まれるROMなどに記録されている。   In the scenario mode of the present embodiment, an event item associated with the theme information is added to the video shot using the event adding unit 110 and recorded on the recording medium 108 or the like. The theme information described here is recorded in, for example, a ROM included in the control unit 105.

イベント項目付加部110は、制御部105に入力された処理対象の画像で構成される映像にテーマ情報に関連付けられているイベント項目を付加する。イベント項目付加部110によるイベント項目の付加方法としては、操作部109を操作して選択してユーザが付加したいイベント項目を付加したり、後述するイベント項目選定手段によって選定されたイベント項目を手動もしくは自動で選択して付加したりする方法がある。   The event item adding unit 110 adds an event item associated with the theme information to the video composed of the processing target images input to the control unit 105. As an event item adding method by the event item adding unit 110, an event item that the user wants to add is selected by operating the operation unit 109, or an event item selected by an event item selecting unit described later is manually or There is a method of automatically selecting and adding.

ユーザが選択したイベント項目を付加する際の手順として、例えばテーマ情報「結婚式」における「新郎新婦入場」のイベント項目を付加する場合について、図3を参照して説明する。図3はイベント項目を付加する際のテーマ情報選択画面とイベント項目選択画面を示す図である。   As a procedure for adding the event item selected by the user, for example, a case of adding the event item “Bride and Groom Entrance” in the theme information “wedding” will be described with reference to FIG. FIG. 3 is a diagram showing a theme information selection screen and an event item selection screen when adding event items.

ユーザは、操作部109を操作して表示部107にテーマ選択画面301を表示する。テーマ選択画面には、例えば制御部105に含まれるROMなどに記録されている複数のテーマ情報302が表示されている。このテーマ情報302の中から、操作部109を操作して目的とするテーマ情報の「結婚式」を選択する。目的とするテーマを選択した後、続いて、操作部109を操作してイベント項目選択画面303を表示部107に表示する。イベント項目選択画面には、選択されたテーマ情報「結婚式」に関連付けられているイベント項目304が表示されている。このイベント項目情報304から、目的とするイベント項目情報の「新郎新婦入場」を選択する。   The user operates the operation unit 109 to display the theme selection screen 301 on the display unit 107. On the theme selection screen, for example, a plurality of theme information 302 recorded in a ROM or the like included in the control unit 105 is displayed. From the theme information 302, the operation unit 109 is operated to select “wedding” as the target theme information. After selecting the target theme, the operation unit 109 is operated to display the event item selection screen 303 on the display unit 107. On the event item selection screen, an event item 304 associated with the selected theme information “wedding” is displayed. From this event item information 304, the desired event item information “Bride and groom entrance” is selected.

これにより、撮影した映像にテーマ情報に関連付けられているイベント項目情報を付加することができる。   Thereby, event item information associated with the theme information can be added to the photographed video.

ここで、イベント項目選定部113によって選定されたイベント項目を手動もしくは自動で付加する際の構成及び動作の詳細を、図4及び図5を参照して説明する。   Here, the details of the configuration and operation when the event item selected by the event item selection unit 113 is added manually or automatically will be described with reference to FIGS.

図4は第1の実施形態おけるイベント項目情報のデータ構造を示す図である。当該のイベント項目情報は、例えば、制御部105に含まれるROMなどに記録されている。図4は、例えば、図2に示すテーマ情報における「結婚式」に関するイベント項目を示すデータである。当該のイベント項目情報には、例えば図4に示すように、「登録被写体情報」及び撮影順番を示す「時間的関係情報」が含まれている。   FIG. 4 is a diagram showing a data structure of event item information in the first embodiment. The event item information is recorded in, for example, a ROM included in the control unit 105. FIG. 4 shows, for example, data indicating event items related to “wedding” in the theme information shown in FIG. For example, as shown in FIG. 4, the event item information includes “registered subject information” and “temporal relationship information” indicating the shooting order.

図5は第1の実施形態のシナリオモードにおいて、既に撮影されたイベント映像の管理データを示す図である。本実施例においては、当該のイベント映像管理データは、上述のイベント項目情報が関連付けられた状態で、記録媒体108に記録されている。図5に示すように、本実施例におけるイベント映像管理データは、「映像ID」、「テーマ名」、「イベント項目」、「撮影場所情報」、及び、「撮影日時情報」を含む。   FIG. 5 is a diagram showing management data of event videos that have already been taken in the scenario mode of the first embodiment. In this embodiment, the event video management data is recorded on the recording medium 108 in a state in which the event item information described above is associated. As shown in FIG. 5, the event video management data in this embodiment includes “video ID”, “theme name”, “event item”, “shooting location information”, and “shooting date information”.

図6は第1の実施形態に係るイベント項目選定部113の処理の説明図である。第1のイベント項目抽出部111は、制御部105に入力された処理対象の画像で構成される映像にイベント項目付加部110によってイベント項目が付加されていない場合に、イベント項目の候補を抽出する。この時、第1のイベント項目抽出部111は、画像処理部106の画像解析の結果を用いて、イベント項目の候補を抽出する。第1イベント項目抽出部111の処理については、後段で図6を用いて具体的に説明する。   FIG. 6 is an explanatory diagram of processing of the event item selection unit 113 according to the first embodiment. The first event item extraction unit 111 extracts a candidate event item when the event item addition unit 110 does not add an event item to the video composed of the processing target images input to the control unit 105. . At this time, the first event item extraction unit 111 extracts event item candidates using the image analysis result of the image processing unit 106. The processing of the first event item extraction unit 111 will be specifically described later with reference to FIG.

画像処理部106における画像解析は、撮影された映像に写っている被写体を識別する被写体識別などがある。本実施形態では、図4に示したように、テーマ情報に関連付けられているイベント項目に被写体情報を関連付けしておく(以降、登録被写体情報と呼ぶ)。被写体情報とは、撮影するイベントに登場する想定被写体の顔画像や被写体名などである。この登録被写体情報は、画像処理部106の画像解析結果との比較に使用される。   The image analysis in the image processing unit 106 includes subject identification for identifying a subject in a captured video. In the present embodiment, as shown in FIG. 4, subject information is associated with event items associated with theme information (hereinafter referred to as registered subject information). The subject information is a face image or subject name of an assumed subject that appears in an event to be photographed. This registered subject information is used for comparison with the image analysis result of the image processing unit 106.

また、本実施形態における撮像装置の画像処理部106は処理対象の画像に対し、画像に写っている被写体を識別する被写体識別機構を有する(図示しない)。   Further, the image processing unit 106 of the imaging apparatus according to the present embodiment has a subject identification mechanism (not shown) that identifies a subject appearing in the image with respect to the processing target image.

本実施形態の被写体識別機構における、顔認証機能を用いた場合の被写体識別方法について述べる。当該顔認証機能においては、まず、撮影された映像に対し顔領域が検出され、検出された顔領域について個人毎に異なる特徴データが抽出される。次に、抽出された特徴データと予め登録してある特徴データとを比較することにより、検出した顔領域が、登録されている人物か否かが識別される。本実施形態における撮像装置100では、識別したい被写体に関する特徴データが登録されているが、前述した登録被写体情報における想定被写体の画像から特徴データを算出し、この特徴データを用いて識別処理を行っても良い。   A subject identification method using the face authentication function in the subject identification mechanism of the present embodiment will be described. In the face authentication function, first, a face area is detected from a captured video, and feature data different for each individual is extracted for the detected face area. Next, by comparing the extracted feature data with previously registered feature data, it is identified whether or not the detected face area is a registered person. In the imaging apparatus 100 according to the present embodiment, feature data related to a subject to be identified is registered. Feature data is calculated from an image of an assumed subject in the registered subject information described above, and identification processing is performed using this feature data. Also good.

以降の説明では、予め識別したい被写体の特徴データとその被写体の名前を関連付けて登録しておき、登録被写体情報として被写体名を登録した場合について述べる。   In the following description, a case will be described in which feature data of a subject to be identified in advance is registered in association with the name of the subject, and the subject name is registered as registered subject information.

第1のイベント項目抽出部は、このイベント項目に関連付けられている登録被写体情報と、画像処理部106により入力された処理対象の画像に対する被写体識別結果との照合を行い、イベント項目の候補を抽出する。   The first event item extraction unit compares registered subject information associated with the event item with subject identification results for the processing target image input by the image processing unit 106, and extracts event item candidates. To do.

第2のイベント項目抽出部112は、制御部105に入力された処理対象の画像で構成される映像にイベント項目付加部110によってイベント項目が付加されていない場合に、記録媒体108に記録されているイベント映像の撮影状況からイベント項目の候補を抽出する。第2のイベント項目抽出部112における処理については、図6を用いて後段で具体的に説明する。   The second event item extraction unit 112 is recorded on the recording medium 108 when an event item is not added by the event item addition unit 110 to the video composed of the processing target image input to the control unit 105. Candidate event items are extracted from the shooting status of the event video. The processing in the second event item extraction unit 112 will be specifically described later with reference to FIG.

本実施形態では、図4に示したように、テーマ情報に関連付けられているイベント項目に時間的関係を表す情報を関連付けしておく(以降、時間的関係情報と呼ぶ)。また、図5に示したように、撮影した映像にイベント名、及び撮影情報として撮影場所情報、撮影日時情報を関連付けて記録する。   In the present embodiment, as shown in FIG. 4, information representing a temporal relationship is associated with the event item associated with the theme information (hereinafter referred to as temporal relationship information). Further, as shown in FIG. 5, the recorded video is recorded in association with the event name and shooting location information and shooting date / time information as shooting information.

撮影場所情報は、特開2003−018506号公報に開示されているように、GPS(Global Positioning System)から取得し、映像に関連付けて記録することができる。   The shooting location information can be acquired from GPS (Global Positioning System) and recorded in association with video, as disclosed in Japanese Patent Laid-Open No. 2003-018506.

時間的関係情報は、各テーマに関連付けられているイベント項目の流れを表すものである。例えば「結婚式」の流れにおいては、「新郎新婦入場」の前に「ケーキ入刀」や「新郎新婦退場」などのイベントは発生することはなく、「新郎新婦退場」の前に「ケーキ入刀」のイベントは発生する。このような「新郎新婦入場」→「ケーキ入刀」→「新郎新婦退場」と言った「結婚式」の流れを、時間的関係を表す情報をイベント項目に関連付けてしておく。   The temporal relationship information represents the flow of event items associated with each theme. For example, in the “wedding” flow, events such as “cake sword” and “leave the bride and groom” do not occur before “the bride and groom enter”. The “sword” event occurs. Such a flow of “wedding” such as “Bride and groom entrance” → “Cake entry” → “Bride and groom exit” is associated with event items with information representing temporal relationships.

第2のイベント項目抽出部112は、記録媒体108に記録されているイベント映像の撮影場所情報と撮影日時情報を用いて、制御部105に入力された処理対象の画像で構成される映像に対応するテーマ情報を抽出する。   The second event item extraction unit 112 uses the shooting location information and shooting date / time information of the event video recorded on the recording medium 108 to handle the video composed of the processing target image input to the control unit 105. To extract theme information.

また、第2のイベント項目抽出部112は、抽出されたテーマ情報において、記録媒体108に記録されている抽出された同一テーマ情報のイベント動画に関連付けられているイベント項目以外から、制御部105に入力された処理対象の画像で構成される映像に付加するためのイベント項目の候補を抽出する。   Further, the second event item extraction unit 112 sends the control information to the control unit 105 from the extracted theme information other than the event items associated with the extracted event video of the same theme information recorded in the recording medium 108. Event item candidates to be added to the video composed of the input images to be processed are extracted.

また、第2のイベント項目抽出部112は、記録媒体108に記録されているイベント映像に関連付けられている時間的関係情報と制御部105に含まれるROMなどに記録されているテーマ情報に関連付けられているイベント項目情報の時間的関係情報との比較から、制御部105に入力された処理対象の画像で構成される映像に付加するためのイベント項目の候補を抽出する。この時、抽出されたイベント項目において、時間的関係情報と記録媒体108に記録されている同一テーマ情報のイベント映像の撮影状況に基づいて、優先度を設定する。   The second event item extraction unit 112 is associated with the temporal relationship information associated with the event video recorded in the recording medium 108 and the theme information recorded in the ROM or the like included in the control unit 105. The event item candidates to be added to the video composed of the processing target image input to the control unit 105 are extracted from the comparison of the event item information with the temporal relationship information. At this time, in the extracted event item, priority is set based on the temporal relationship information and the shooting situation of the event video of the same theme information recorded on the recording medium 108.

上記したような、第2のイベント項目抽出部112におけるテーマ情報の抽出動作、及び、イベント項目の抽出動作に関しては、後段で図6を用いて具体的に説明する。   The theme information extraction operation and the event item extraction operation in the second event item extraction unit 112 as described above will be specifically described later with reference to FIG.

第2のイベント項目抽出部112における優先度付けの方法は、同一テーマ情報のイベント映像に関連付けられている時間的関係情報と、例えば制御部105に含まれるROMなどに記録されているイベント項目情報に関連付けられている時間的関係情報に基づいて行う。   The prioritization method in the second event item extraction unit 112 includes temporal relationship information associated with the event video of the same theme information, and event item information recorded in a ROM or the like included in the control unit 105, for example. Based on the temporal relationship information associated with

本実施例の優先度付け動作を、図4、及び、図5を用いて説明する。本実施例では、例えば、図4のテーマ情報に関連付けられているイベント項目情報が制御部105に含まれるROMなどに記録されているとともに、図5の映像情報が記録媒体108に記録されている。   The prioritizing operation of this embodiment will be described with reference to FIGS. 4 and 5. FIG. In this embodiment, for example, event item information associated with the theme information in FIG. 4 is recorded in a ROM or the like included in the control unit 105, and video information in FIG. .

図5の映像情報においては、テーマ情報「結婚式」における「新郎新婦入場」と「乾杯」のイベント項目が関連付けられているイベント映像が、既に記録されている。この「新郎新婦入場」と「乾杯」のイベント項目は、付与されている時間的関係情報が、図4のイベント項目情報に示されているように、「1番目」と「2番目」である。このような状況において、第2のイベント項目抽出部112が「ケーキ入刀」と「新郎新婦退場」を映像に付加するためのイベント項目の候補として抽出したと仮定する。この場合には、第2のイベント項目抽出部112は、この2つのイベント項目の候補の時間的関係情報から、「新郎新婦退場」よりも「ケーキ入刀」のイベント項目を優先度高く設定する。   In the video information of FIG. 5, an event video in which event items “entering bride and groom” and “cheers” in the theme information “wedding” are already recorded. The event items of “Bride and groom admission” and “Cheers” are “first” and “second” as shown in the event item information of FIG. . In this situation, it is assumed that the second event item extraction unit 112 has extracted “cake entry” and “leave the bride and groom” as event item candidates for adding to the video. In this case, the second event item extraction unit 112 sets the event item “cake entry” higher in priority than “leave the bride and groom” from the temporal relationship information of the candidates for the two event items. .

イベント項目選定部113は、第1のイベント項目抽出部111と第2のイベント項目抽出部112が抽出したイベント項目の中から、制御部105に入力された処理対象の画像で構成される映像に付加するためのイベント項目の候補を選定する。この時、選定されるイベント項目は、第1のイベント項目抽出部111及び第2のイベント項目抽出部112の両方で抽出された同一のイベント項目である。   The event item selection unit 113 converts the event item extracted by the first event item extraction unit 111 and the second event item extraction unit 112 into a video composed of the processing target image input to the control unit 105. Select candidate event items to add. At this time, the selected event item is the same event item extracted by both the first event item extraction unit 111 and the second event item extraction unit 112.

また、第1のイベント項目抽出部111及び第2のイベント項目抽出部112の両方で抽出された同一のイベント項目が複数ある場合には、第2のイベント項目抽出部112によって設定された優先度に基づいてイベント項目を選定する。ここで、第1のイベント項目抽出部111及び第2のイベント項目抽出部112、イベント項目選定部113の処理の詳細に関して、図6を参照して説明する。   Further, when there are a plurality of the same event items extracted by both the first event item extraction unit 111 and the second event item extraction unit 112, the priority set by the second event item extraction unit 112 Select event items based on Here, the details of the processes of the first event item extraction unit 111, the second event item extraction unit 112, and the event item selection unit 113 will be described with reference to FIG.

図6中の601は、イベント項目付加部110でイベント項目が付加されていない映像を示している。602は、例えば制御部105に含まれるROMなどに記録されている各テーマ情報に関連付けられているイベント項目のイベント項目情報を示している。606は、記録媒体108に記録されている映像に関連付けられている映像情報を示している。   Reference numeral 601 in FIG. 6 denotes a video to which no event item is added by the event item adding unit 110. Reference numeral 602 denotes event item information of an event item associated with each theme information recorded in a ROM or the like included in the control unit 105, for example. Reference numeral 606 denotes video information associated with the video recorded on the recording medium 108.

イベント項目が付加されていない映像601は、画像処理部106にも入力される。入力された映像601は、画像処理部106で被写体識別処理により、友人A(新郎)と友人B(新婦)が映像601に写っていると識別される。   The video 601 to which no event item is added is also input to the image processing unit 106. The input video 601 is identified by the image processing unit 106 by subject identification processing that friend A (the groom) and friend B (the bride) are shown in the video 601.

603、604、605は、第1のイベント項目抽出部111が、画像処理部106の識別結果である友人A(新郎)と友人B(新婦)と、602のイベント項目情報における登録被写体情報の比較から、映像601に付加する為のイベント項目の候補として抽出されたイベント項目である。   In 603, 604, and 605, the first event item extraction unit 111 compares the registered subject information in the event item information 602 with the friend A (the groom) and the friend B (the bride), which are identification results of the image processing unit 106. Event items extracted as candidates for event items to be added to the video 601.

第2のイベント項目抽出部112は、映像601が撮影された撮影場所情報と撮影日時情報を取得し、記録媒体106に記録されている映像の撮影場所情報と撮影日時情報から映像601に対応するテーマ情報を抽出する。この時、第2のイベント項目抽出部112は、撮影場所情報である「△△プリンスホテル」と撮影日時情報「2010/6/1 PM3:30」を取得したとする。この時、取得した撮影情報と記録媒体108に記録されているイベント映像の撮影情報を比較し、同一の撮影場所であり、撮影日時が近い607、608のテーマ情報「結婚式」を抽出する。   The second event item extraction unit 112 acquires shooting location information and shooting date / time information where the video 601 was shot, and corresponds to the video 601 from the shooting location information and shooting date / time information of the video recorded in the recording medium 106. Extract theme information. At this time, it is assumed that the second event item extraction unit 112 has acquired the shooting location information “ΔΔ Prince Hotel” and the shooting date / time information “2010/6/1 PM 3:30”. At this time, the acquired shooting information and the shooting information of the event video recorded in the recording medium 108 are compared, and the theme information “wedding” of 607 and 608 having the same shooting location and the same shooting date and time is extracted.

607、608は、抽出されたテーマ情報「結婚式」における、記録媒体106に記録されているテーマ情報「結婚式」のイベントである。第2のイベント抽出部112は、テーマ情報「結婚式」における607、608(「新郎新婦入場」、「乾杯」)以外のイベント項目から映像601に付加するためのイベント項目の候補を抽出する。これにより、第2のイベント項目抽出部112は、604、605、609のイベント項目を抽出する。   Reference numerals 607 and 608 denote events of the theme information “wedding” recorded on the recording medium 106 in the extracted theme information “wedding”. The second event extracting unit 112 extracts event item candidates to be added to the video 601 from event items other than 607 and 608 (“Bride and groom entrance” and “Cheers”) in the theme information “wedding”. Accordingly, the second event item extraction unit 112 extracts event items 604, 605, and 609.

また、第2のイベント項目抽出部112は、イベント項目情報602に関連付けられている時間的関係情報から604→609→605の順に優先度を高く設定する。   Further, the second event item extraction unit 112 sets the priority higher in the order of 604 → 609 → 605 from the temporal relation information associated with the event item information 602.

イベント項目選定部113は、第1のイベント項目抽出部111の抽出結果である603、604、605と第2のイベント項目抽出部112の抽出結果である604、605、609から、映像601に付加するためのイベント項目の候補を選定する。イベント項目選定部113は、第1のイベント項目抽出部111と第2のイベント項目抽出部112の両方で抽出され、且つ第2のイベント項目抽出手段によって設定された優先度に基づいてイベント項目を選定するため、604が選定される。   The event item selection unit 113 adds to the video 601 from the extraction results 603, 604, and 605 of the first event item extraction unit 111 and the extraction results 604, 605, and 609 of the second event item extraction unit 112. Select event item candidates to do. The event item selection unit 113 extracts event items based on the priority level extracted by both the first event item extraction unit 111 and the second event item extraction unit 112 and set by the second event item extraction unit. To select, 604 is selected.

これにより、選定されたイベント項目の604を映像601に付加するイベント項目として選定することができた。この選定されたイベント項目の604は、イベント項目付加部110によって映像601に自動で付加されても良いし、イベント項目選定部113で選定されたイベント項目を優先度順に表示部107に表示してユーザに選択するよう促しても良い。   As a result, the selected event item 604 can be selected as an event item to be added to the video 601. The selected event item 604 may be automatically added to the video 601 by the event item adding unit 110, or the event items selected by the event item selecting unit 113 are displayed on the display unit 107 in order of priority. The user may be prompted to make a selection.

以上の実施形態によれば、イベント項目が付加されていない映像に対して映像解析とイベント映像の撮影状況に基づいて信頼性のあるイベント項目を抽出することができる。   According to the above embodiment, it is possible to extract reliable event items based on video analysis and event video shooting status for videos to which event items are not added.

また、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。   Moreover, the description in embodiment mentioned above shows an example, and is not limited to this. The configuration and operation in the embodiment described above can be changed as appropriate.

<第2の実施形態>
第2の実施形態に係る再生装置の構成及び動作に関して図7を参照し、第1の実施形態との差異を中心に説明する。なお、第1の実施形態と同一の構成及び動作については、その説明を省略する。
<Second Embodiment>
The configuration and operation of the playback apparatus according to the second embodiment will be described with reference to FIG. 7, focusing on the differences from the first embodiment. Note that the description of the same configuration and operation as in the first embodiment is omitted.

図7は第2の実施の形態に係る再生装置700の一例である概略構成を示すブロック図である。   FIG. 7 is a block diagram showing a schematic configuration which is an example of the playback apparatus 700 according to the second embodiment.

再生装置700では、イベント項目の付加されていない再生されている映像に対して、第1のイベント項目抽出部707と第2のイベント項目抽出部708で抽出されたイベント項目の結果に基づき、イベント項目選定部709が映像に付加するためのイベント項目の候補を選定する場合について説明する。   In the playback device 700, an event is added to the video being played back without an event item based on the result of the event item extracted by the first event item extraction unit 707 and the second event item extraction unit 708. A case where the item selection unit 709 selects event item candidates to be added to the video will be described.

第2の実施形態に係る再生装置700の構成及び動作として、第1の実施形態との差異があるのは、第2のイベント項目抽出部708である。また、第1の実施形態における撮像レンズ101、撮像素子102、アナログ信号処理部103、A/D変換部104を有しないことである。第2の実施形態の例としては、外部機器や記録媒体などから供給される画像(再生データ)を再生する再生装置などである。   The configuration and operation of the playback apparatus 700 according to the second embodiment are different from the first embodiment in the second event item extraction unit 708. Also, the imaging lens 101, the imaging element 102, the analog signal processing unit 103, and the A / D conversion unit 104 in the first embodiment are not provided. An example of the second embodiment is a playback device that plays back an image (playback data) supplied from an external device or a recording medium.

この再生装置では、再生されている記録媒体704などに記録されている映像を第1の実施形態における撮影された映像とし、イベント項目が付加されていない記録済みの映像が再生されている場合に、付加するためのイベント項目の候補の抽出及び選定を行うこととなる。   In this playback apparatus, when the video recorded in the playback recording medium 704 or the like is taken as the video shot in the first embodiment, and a recorded video to which no event item is added is being played back. The candidate event items to be added are extracted and selected.

記録媒体704に記録されているデジタル化された画像で構成される映像は、制御部701と画像処理部702に処理対象の画像として入力される。   A video composed of digitized images recorded on the recording medium 704 is input to the control unit 701 and the image processing unit 702 as an image to be processed.

画像処理部702は、第1のイベント項目抽出部707によるイベント項目の抽出を行う場合に、入力された処理対象の画像に対して映像解析を行う。画像処理部702から出力された映像信号は、表示部703に送られる。   When the event item is extracted by the first event item extraction unit 707, the image processing unit 702 performs video analysis on the input image to be processed. The video signal output from the image processing unit 702 is sent to the display unit 703.

この再生装置におけるマイクロコントローラなどの制御部701は、入力された処理対象の画像で構成される映像にイベント項目が付加されていない場合に、第1のイベント項目抽出部707と第2のイベント項目抽出部708により、映像に付加するためのイベント項目の候補を抽出するよう制御を行う。   A control unit 701 such as a microcontroller in the playback apparatus includes a first event item extraction unit 707 and a second event item when no event item is added to the video composed of the input images to be processed. The extraction unit 708 performs control to extract event item candidates to be added to the video.

第1のイベント項目抽出部707は、第1の実施形態同様、制御部701に入力された処理対象の画像で構成される映像にイベント項目が付加されていない場合に、画像処理部702の画像解析の結果を用いて、イベント項目の候補を抽出する。   Similar to the first embodiment, the first event item extraction unit 707 displays the image of the image processing unit 702 when no event item is added to the video composed of the processing target image input to the control unit 701. Candidate event items are extracted using the analysis results.

第2のイベント項目抽出部708は、第1の実施形態同様、制御部701に入力された処理対象の画像で構成される映像にイベント項目が付加されていない場合に、記録媒体704に記録されているイベント映像の撮影状況からイベント項目の候補を抽出する。   Similar to the first embodiment, the second event item extraction unit 708 is recorded on the recording medium 704 when no event item is added to the video composed of the processing target images input to the control unit 701. Candidate event items are extracted from the shooting status of the event video.

第2の実施形態における第2のイベント項目抽出部708は、処理対象の画像で構成される映像が記録媒体704に記録済みの映像において、第1の実施形態とは異なり、その映像よりも時間的に前に撮影された映像に加え、その映像よりも時間的に後に撮影された映像の情報も使用することができる。よって、第2のイベント項目抽出部708は、入力された処理対象の画像で構成される映像に関連付けられている撮影日時情報及び撮影場所情報とその前後に撮影されているイベント映像の撮影日時情報及び撮影場所情報からテーマ情報を抽出する。   Unlike the first embodiment, the second event item extraction unit 708 in the second embodiment is different from the first embodiment in that the video composed of the images to be processed is recorded in the recording medium 704. In addition to the previously captured image, information on the image captured later in time than the image can also be used. Therefore, the second event item extraction unit 708 captures shooting date / time information and shooting location information associated with the video composed of the input image to be processed, and shooting date / time information of the event video shot before and after that. The theme information is extracted from the shooting location information.

また、第2のイベント項目抽出部708は時間的関係情報を用いたイベント項目の抽出においても、入力された処理対象の画像で構成される映像に関連付けられている時間的関係情報とその前後に撮影されているイベント映像の時間的関係情報から、イベント項目の候補を抽出する。この時、第2のイベント項目抽出部708が抽出したイベント項目に優先度を設定する方法に関しては、第1の実施形態と同様の方法で行う。   Further, the second event item extraction unit 708 also extracts the time relationship information associated with the video composed of the input image to be processed, before and after the event item extraction using the time relationship information. Candidate event items are extracted from the temporal relationship information of the event video being shot. At this time, the method for setting the priority to the event item extracted by the second event item extraction unit 708 is performed in the same manner as in the first embodiment.

イベント項目選定部709は、第1の実施形態同様、第1のイベント項目抽出部707と第2のイベント項目抽出部708の両方で抽出された同一のイベント項目の中から第2のイベント項目抽出部708によって設定された優先度に基づいてイベント項目を選定する。   As in the first embodiment, the event item selection unit 709 extracts the second event item from the same event items extracted by both the first event item extraction unit 707 and the second event item extraction unit 708. The event item is selected based on the priority set by the unit 708.

以上の実施形態によれば、記録媒体に記録されているイベント項目が付加されていない映像を再生している場合において、映像解析とイベント映像の撮影状況に基づいて信頼性のあるイベント項目を抽出することができる。   According to the above embodiment, when playing a video to which event items recorded on a recording medium are not added, reliable event items are extracted based on video analysis and event video shooting conditions. can do.

また、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。   Moreover, the description in embodiment mentioned above shows an example, and is not limited to this. The configuration and operation in the embodiment described above can be changed as appropriate.

上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。   The above-described embodiment can also be realized in software by a computer of a system or apparatus (or CPU, MPU, etc.). Therefore, the computer program itself supplied to the computer in order to implement the above-described embodiment by the computer also realizes the present invention. That is, the computer program itself for realizing the functions of the above-described embodiments is also one aspect of the present invention.

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。   The computer program for realizing the above-described embodiment may be in any form as long as it can be read by a computer. For example, it can be composed of object code, a program executed by an interpreter, script data supplied to the OS, but is not limited thereto. A computer program for realizing the above-described embodiment is supplied to a computer via a storage medium or wired / wireless communication. Examples of the storage medium for supplying the program include a magnetic storage medium such as a flexible disk, a hard disk, and a magnetic tape, an optical / magneto-optical storage medium such as an MO, CD, and DVD, and a nonvolatile semiconductor memory.

有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。   As a computer program supply method using wired / wireless communication, there is a method of using a server on a computer network. In this case, a data file (program file) that can be a computer program forming the present invention is stored in the server. The program file may be an executable format or a source code. Then, the program file is supplied by downloading to a client computer that has accessed the server. In this case, the program file can be divided into a plurality of segment files, and the segment files can be distributed and arranged on different servers. That is, a server apparatus that provides a client computer with a program file for realizing the above-described embodiment is also one aspect of the present invention.

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するOSの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。   In addition, a storage medium in which the computer program for realizing the above-described embodiment is encrypted and distributed is distributed, and key information for decrypting is supplied to a user who satisfies a predetermined condition, and the user's computer Installation may be allowed. The key information can be supplied by being downloaded from a homepage via the Internet, for example. Further, the computer program for realizing the above-described embodiment may use an OS function already running on the computer. Further, a part of the computer program for realizing the above-described embodiment may be configured by firmware such as an expansion board attached to the computer, or may be executed by a CPU provided in the expansion board. Good.

100 撮像装置、101 撮像レンズ、102 撮像素子、
103 アナログ信号処理部、104 A/D変換部、105 制御部、
106 画像処理部、107 表示部、108 記憶媒体、109 操作部、
110 イベント項目付加部、111 第1のイベント項目抽出部、
112 第2のイベント項目抽出部、113 イベント項目選定部、701 制御部、
702 画像処理部、703 表示部、704 記録媒体、705 操作部、
706 イベント項目付加部、707 第1のイベント項目抽出部、
708 第2のイベント項目抽出部、709 イベント項目選定部
100 imaging device, 101 imaging lens, 102 imaging device,
103 analog signal processing unit, 104 A / D conversion unit, 105 control unit,
106 image processing unit, 107 display unit, 108 storage medium, 109 operation unit,
110 event item adding unit, 111 first event item extracting unit,
112 second event item extraction unit, 113 event item selection unit, 701 control unit,
702 Image processing unit, 703 display unit, 704 recording medium, 705 operation unit,
706 event item adding unit, 707 first event item extracting unit,
708 Second event item extraction unit, 709 event item selection unit

Claims (10)

撮影された映像にイベント項目を関連づけたイベント映像を撮影する撮像装置であって、
映像を撮像する撮像手段と、
前記撮像手段によって撮像された映像にイベント項目を関連付けるイベント項目付加手段と、
前記映像の内容を解析する画像処理手段と、
前記画像処理手段の解析結果に基づきイベント項目を抽出する第1のイベント項目抽出手段と、
記録されているイベント映像の撮影状況に基づいてイベント項目を抽出する第2のイベント項目抽出手段と、
前記第1のイベント項目抽出手段と前記第2のイベント項目抽出手段の結果に基づいてイベント項目の候補を選定するイベント項目選定手段と、
を備え、
前記イベント項目付加手段によってイベント項目が付加されていない映像が前記撮像手段によって撮像された場合に、
前記イベント項目選定手段は、前記映像に付加するためのイベント項目の候補を選定することを特徴とする撮像装置。
An imaging device for capturing an event video in which an event item is associated with a captured video,
Imaging means for imaging video;
Event item addition means for associating an event item with the video imaged by the imaging means;
Image processing means for analyzing the content of the video;
First event item extraction means for extracting an event item based on the analysis result of the image processing means;
A second event item extracting means for extracting an event item based on the recorded shooting situation of the event video;
Event item selection means for selecting event item candidates based on the results of the first event item extraction means and the second event item extraction means;
With
When a video to which no event item is added by the event item adding means is imaged by the imaging means,
The imaging apparatus according to claim 1, wherein the event item selection means selects a candidate event item to be added to the video.
前記イベント項目は、テーマ情報に関連付けられてあり、テーマ情報は少なくとも1つのイベント項目が関連付けられている構成であることを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the event item is associated with theme information, and the theme information is configured to be associated with at least one event item. 前記第2のイベント項目抽出手段は、
前記テーマ情報に関連付けられているイベント項目情報において、記録済みのイベント映像に対応するイベント項目以外から、前記映像に関連付けるイベント項目を抽出することを特徴とする請求項1又は請求項2に記載の撮像装置。
The second event item extraction means includes:
The event item associated with the video is extracted from the event item information associated with the theme information other than the event item corresponding to the recorded event video. Imaging device.
前記イベント項目に時間的関係が関連付けられてあり、
前記第2のイベント項目抽出手段は、
記録済みのイベント映像の時間的関係から、前記映像に関連付けるイベント項目を抽出することを特徴とする請求項1又は請求項2に記載の撮像装置。
A temporal relationship is associated with the event item;
The second event item extraction means includes:
The imaging apparatus according to claim 1, wherein an event item associated with the video is extracted from a temporal relationship of the recorded event video.
前記第2のイベント項目抽出手段は、
記録済みのイベント映像に関連付けられているイベント項目との時間的関係に基づいて、抽出したイベント項目に優先度を設定することを特徴とする請求項4に記載の撮像装置。
The second event item extraction means includes:
5. The imaging apparatus according to claim 4, wherein a priority is set for the extracted event item based on a temporal relationship with the event item associated with the recorded event video.
前記イベント映像は撮影場所、撮影日時が関連付けられてあり、
前記第2のイベント項目抽出手段は、
記録済みのイベント映像に関連付けられている少なくとも撮影場所、撮影日時のいずれか1つを用いて、前記映像に対応するテーマ情報を選定することを特徴とする請求項1乃至請求項5の何れか一項に記載の撮像装置。
The event video is associated with a shooting location and shooting date and time,
The second event item extraction means includes:
6. The theme information corresponding to the video is selected using at least one of the shooting location and the shooting date / time associated with the recorded event video. The imaging device according to one item.
前記イベント項目は登録被写体情報が関連付けられてあり、
前記撮像手段によって撮影された被写体を識別する被写体識別手段を有し、
前記第1のイベント項目抽出手段は、前記被写体識別手段による識別結果と、前記登録被写体情報から、前記映像に関連付けるイベント項目を抽出することを特徴とする請求項1乃至請求項6の何れか一項に記載の撮像装置。
The event item is associated with registered subject information,
Subject identification means for identifying a subject photographed by the imaging means;
The first event item extracting unit extracts an event item associated with the video from the identification result by the subject identifying unit and the registered subject information. The imaging device according to item.
前記イベント項目選定手段は、
前記第1のイベント項目抽出手段と前記第2のイベント項目抽出手段の両方で抽出された同一のイベント項目を、前記映像に付加するためのイベント項目の候補として選定することを特徴とする請求項1乃至請求項7の何れか一項に記載の撮像装置。
The event item selection means includes:
The same event item extracted by both the first event item extracting unit and the second event item extracting unit is selected as a candidate event item to be added to the video. The imaging device according to any one of claims 1 to 7.
前記イベント項目選定手段は、
前記第1のイベント項目抽出手段と前記第2のイベント項目抽出手段の両方で抽出されたイベント項目が複数抽出された場合に、
前記第2のイベント項目抽出手段で設定された優先度に基づいて選定することを特徴とする請求項5又は請求項8に記載の撮像装置。
The event item selection means includes:
When a plurality of event items extracted by both the first event item extracting means and the second event item extracting means are extracted,
9. The imaging apparatus according to claim 5, wherein the selection is made based on the priority set by the second event item extraction unit.
再生されている映像にイベント項目を関連づけたイベント映像を作成する再生装置であって、
映像を再生する再生手段と、
前記再生手段によって再生されている映像にイベント項目を関連付けるイベント項目付加手段と、
前記映像の内容を解析する映像解析手段と、
前記映像解析手段が解析した結果に基づきイベント項目を抽出する第1のイベント項目抽出手段と、
記録されているイベント映像の撮影状況に基づいてイベント項目を抽出する第2のイベント項目抽出手段と、
前記第1のイベント項目抽出手段と前記第2のイベント項目抽出手段の結果に基づいてイベント項目の候補を選定するイベント項目選定手段と、
を備え、
前記イベント項目付加手段によってイベント項目が付加されていない映像が前記再生手段によって再生された場合に、
前記イベント項目選定手段は、前記第1のイベント項目抽出手段と前記第2のイベント項目抽出手段の結果に基づいて前記映像に付加するためのイベント項目の候補を選定することを特徴とする再生装置。
A playback device for creating an event video in which an event item is associated with a video being played back,
Playback means for playing back video,
Event item addition means for associating an event item with the video being played by the playback means;
Video analysis means for analyzing the content of the video;
First event item extraction means for extracting an event item based on the result of analysis by the video analysis means;
A second event item extracting means for extracting an event item based on the recorded shooting situation of the event video;
Event item selection means for selecting event item candidates based on the results of the first event item extraction means and the second event item extraction means;
With
When a video to which no event item is added by the event item adding means is reproduced by the reproducing means,
The event item selecting means selects event item candidates to be added to the video based on the results of the first event item extracting means and the second event item extracting means. .
JP2015081335A 2015-04-13 2015-04-13 Imaging device and playback device Pending JP2016201713A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015081335A JP2016201713A (en) 2015-04-13 2015-04-13 Imaging device and playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015081335A JP2016201713A (en) 2015-04-13 2015-04-13 Imaging device and playback device

Publications (1)

Publication Number Publication Date
JP2016201713A true JP2016201713A (en) 2016-12-01

Family

ID=57424663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015081335A Pending JP2016201713A (en) 2015-04-13 2015-04-13 Imaging device and playback device

Country Status (1)

Country Link
JP (1) JP2016201713A (en)

Similar Documents

Publication Publication Date Title
JP5056061B2 (en) Imaging device
JP6324063B2 (en) Image reproducing apparatus and control method thereof
JP4640456B2 (en) Image recording apparatus, image recording method, image processing apparatus, image processing method, and program
JP4931845B2 (en) Imaging apparatus and captured image display control method
JP5401420B2 (en) Imaging device
JP5888614B2 (en) IMAGING DEVICE, VIDEO CONTENT GENERATION METHOD, AND PROGRAM
JP6402934B2 (en) MOVIE GENERATION DEVICE, MOVIE GENERATION METHOD, AND PROGRAM
KR101737086B1 (en) Digital photographing apparatus and control method thereof
KR20090131220A (en) Imaging apparatus and method of controlling the same
JP6355333B2 (en) Imaging apparatus, image processing apparatus, image processing method, and program
JP2010237911A (en) Electronic apparatus
JP2007267309A (en) Electronic camera
JP2016201713A (en) Imaging device and playback device
JP2012175170A (en) Camera
JP6146108B2 (en) Information processing apparatus, image display system, image display method, and program
JP6249771B2 (en) Image processing apparatus, image processing method, and program
JP2012256985A (en) Imaging device and reproducing device
US20230385245A1 (en) Image processing apparatus capable of efficiently converting image file, control method therefor, and storage medium
JP2010288212A (en) Camera and program for editing motion picture
JP2008244976A (en) Imaging device, and method and program for recording photographic image
JP2022187301A (en) Image capture apparatus, control method, and program
KR101643604B1 (en) A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium
JP2005094407A (en) Device and program for photographing image
JP5613285B2 (en) IMAGING DEVICE, IMAGING METHOD, DISPLAY DEVICE, AND DISPLAY METHOD
JP2015192336A (en) Image processing device and digital camera