JP2012004745A - 電子機器及び画像処理方法 - Google Patents

電子機器及び画像処理方法 Download PDF

Info

Publication number
JP2012004745A
JP2012004745A JP2010136534A JP2010136534A JP2012004745A JP 2012004745 A JP2012004745 A JP 2012004745A JP 2010136534 A JP2010136534 A JP 2010136534A JP 2010136534 A JP2010136534 A JP 2010136534A JP 2012004745 A JP2012004745 A JP 2012004745A
Authority
JP
Japan
Prior art keywords
image
still image
style
still
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010136534A
Other languages
English (en)
Other versions
JP4988011B2 (ja
Inventor
Toshisuke Takayama
俊輔 高山
Kohei Momozaki
浩平 桃崎
Koetsu Wada
光悦 和田
Kenichi Tanabe
謙一 田部
Tomonori Sakaguchi
智典 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010136534A priority Critical patent/JP4988011B2/ja
Priority to US13/116,786 priority patent/US8488914B2/en
Publication of JP2012004745A publication Critical patent/JP2012004745A/ja
Application granted granted Critical
Publication of JP4988011B2 publication Critical patent/JP4988011B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185—Image output
    • H04N1/00198—Creation of a soft photo presentation, e.g. digital slide-show
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract


【課題】思いがけない静止画像等を含むユーザの要求に合った動画像をユーザに提示できる電子機器を実現する。
【解決手段】実施形態によれば、インデキシング手段は、複数の静止画像のそれぞれについて属性を示すインデックス情報を生成する。画像選択手段は、前記複数の静止画像から第１の静止画像を選択する。選択手段は、スタイルを選択する。画像抽出手段は、前記インデックス情報に基づいて、前記第１の静止画像と関連する第１の静止画像群と前記スタイルに応じた条件に該当する第２の静止画像群を抽出する。再生手段は、前記第１の静止画像群と前記第２の静止画像群とを用いて動画像を再生する。
【選択図】図１

Description

本発明の実施形態は、画像を表示する電子機器及び画像処理方法に関する。
近年、パーソナルコンピュータ、デジタルカメラ、ＰＤＡのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された日時データに基づいて、写真を複数のグループに分類する方法が知られている。
また、最近では、写真のような静止画像群を用いて動画像（例えば、フォトムービー、スライドショー等）を作成する動画作成技術が注目されている。動画作成技術としては、例えば、静止画像群を複数の撮影日時に対応する複数のディレクトリに分類して格納し、ユーザによって指定されたディレクトリ内の静止画像群を用いて動画を作成する技術が知られている。
スライドショーを表示する電子機器は、例えば格納された画像の特徴量を抽出し、この特徴量を用いて心理情報と物理情報との関係に基づいて画像を分類しておく。そして、心理情報と物理情報とを組み合わせた指定に応じて、対応する画像を選択してスライドショーを再生する。
特開２００５−２０４０２１号公報
しかし、画像の特徴量を用いて予め分類しておき、その分類を指定してスライドショーを表示させる方法では、表示される静止画像は、その指定された分類内の静止画像に限定される。したがって、例えば、思いがけない静止画像（ユーザが意識していない静止画像）や、同一のディレクトリ内に格納されていないものの関連性が高い静止画像等を含む動画をユーザに提示することは困難である。
本発明の目的は、思いがけない静止画像等を含むユーザの要求に合った動画像をユーザに提示できる電子機器及び画像処理方法を提供することである。
実施形態によれば、電子機器は、インデキシング手段と、画像選択手段と、選択手段と、第１の画像抽出手段と、再生手段とを具備する。インデキシング手段は、複数の静止画像のそれぞれについて属性を示すインデックス情報を生成する。画像選択手段は、前記複数の静止画像から第１の静止画像を選択する。選択手段は、スタイルを選択する。画像抽出手段は、前記インデックス情報に基づいて、前記スタイルに応じた条件に該当する第１の静止画像群を抽出する。再生手段は、前記第１の静止画像群を用いて動画像を再生する。
実施形態に係る電子機器の外観を示す斜視図。 実施形態の電子機器のシステム構成を示すブロック図。 実施形態の電子機器によって実行される動画像再生アプリケーションプログラムの機能構成を示すブロック図。 実施形態の電子機器によって実行される動画像再生アプリケーションプログラムが用いるインデックス情報の例を示す図。 実施形態の電子機器によって表示されるメイン画面の例を示す図。 実施形態の電子機器によって表示されるキー画像選択画面の例を示す図。 実施形態の電子機器によって表示されるスタイル選択画面の例を示す図。 実施形態におけるスタイルと画像特徴との関係の一例を示す図。 実施形態の電子機器によって実行されるフォトムービー作成処理の例を示す概念図。 実施形態の電子機器によって実行されるスタイル選択処理の例を示すフローチャート。 実施形態におけるスタイル別の画像抽出条件の一例を示す図。 実施形態の電子機器によって実行されるフォトムービー作成処理の手順を説明するフローチャート。 実施形態の電子機器におけるエフェクトの一例を示す図。 実施形態の電子機器によって表示される、エフェクトが施されたフォトムービーの例を示す図。 実施形態の電子機器によって表示される、エフェクトが施されたフォトムービーの例を示す図。
以下、図面を参照して、実施形態を説明する。
図１は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、パーソナルコンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。
コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、パーソナルコンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。
また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。さらに、コンピュータ本体１１の背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子（図示せず）が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
図２は、パーソナルコンピュータ１０のシステム構成を示す図である。
パーソナルコンピュータ１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４等を備える。
ＣＰＵ１０１は、パーソナルコンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及び動画像作成アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。動画像作成アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツを再生するソフトウェアである。この動画像作成アプリケーションプログラム２０２は、動画像生成機能を有している。この動画像生成機能は、例えば、ＨＤＤ１０９等に格納された静止画像等の素材（デジタルコンテンツ）を用いて、動画像（スライドショー（第１の動画像）、フォトムービー（第２の動画像））を作成する機能である。さらに、この動画像生成機能は、動画像の作成に用いる素材を分析する機能を含む。動画像作成アプリケーションプログラム２０２は、素材を用いて作成された動画像を再生し、画面（ＬＣＤ１７）に表示する。
また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ１にデジタル映像信号を送出することもできる。
ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、ＵＳＢコントローラ１１１Ａは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じてパーソナルコンピュータ１０を電源オン／電源オフする機能を有している。
次に、図３を参照して、動画像作成アプリケーションプログラム２０２の機能構成を説明する。
ここでは、動画像作成アプリケーションプログラム２０２が有する機能のうち、動画像生成機能を実現するための構成例について説明する。動画像生成機能は、ＨＤＤ１０９内の所定のディレクトリ（フォルダ）に格納された複数の静止画像（静止画像データ）５１を用いて動画像（フォトムービー、スライドショー）を作成し、その作成した動画像を再生する。静止画像５１は、例えば、デジタル写真、他の各種静止画像ファイル（例えば、ＪＰＥＧ（Joint Photographic Experts Group）ファイル）等である。用語「フォトムービー」は、複数の静止画像（例えば写真）を用いて生成される動画像（ムービー）を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクトまたはトランジションが施される。エフェクトまたはトランジションが施された静止画像群は、楽曲と並行して再生される。動画像作成アプリケーションプログラム２０２は、ある静止画像（キー画像）に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。用語「スライドショー」は、静止画像を１枚ずつ順次表示する動画像（ムービー）を意味する。
動画像作成アプリケーションプログラム２０２は、ユーザが設定したＨＤＤ１０９内のフォルダ（写真フォルダ）を監視し、１以上の新しい静止画像（写真ファイル）が写真フォルダに格納されたことを感知すると、それら１以上の新しい静止画像に対するインデキシングを行うと同時に、それら１以上の新しい静止画像のスライドショーを開始する。インデキシングが完了すると、動画像作成アプリケーションプログラム２０２は、１以上の新しい静止画像を用いたフォトムービーを作成して再生する。この場合、例えば、１以上の新しい静止画像のみからフォトムービーを作成して再生しても良い。代わりに、１以上の新しい静止画像に関連する静止画像群を写真フォルダ内の静止画像群から抽出し、１以上の新しい静止画像と、それら抽出された静止画像群とを用いてフォトムービーを作成して再生しても良い。
フォトムービーの作成は、１枚の静止画像（キー画像）を基に行われる。つまり、選択されたキー画像に関連する複数の静止画像からなる静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、楽曲、注目する人物（顔）の各々を選択指定することができる。スタイルが選択されることにより、スタイルに応じた静止画像の抽出方法（画像抽出条件）、使用されるエフェクト／トランジション等が決定され、スタイルに合った動画像が生成される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、動画像作成アプリケーションプログラム２０２は、写真フォルダ内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。
なお、実施形態では、スタイルを選択するものとして説明するが、テーマ、キーワード、ジャンルなど、ユーザが概念を把握できる他の表現を用いた選択肢を選択するものであれば良い。
抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。さらに、イベントグループ分け技術を用いて写真群を複数のイベントに分けてもよい。この場合、あるイベント内の登場人物と別のイベント内の登場人物との関係に基づいてイベント同士の関連性を推定し、その推定結果を抽出処理に使用しても良い。例えば、同一の人物が登場するイベント同士は関連性があると推定しても良い。また、例えば、ある人物Ａと別の人物Ｂが同じ写真に写っている頻度（共起頻度）が高いならば、人物Ａを含む写真が属するイベントは、人物Ｂを含む写真が属するイベントに関連するイベントであると推定してもよい。
動画像作成アプリケーションプログラム２０２は、監視部２１、インデキシング部２２、及び再生制御部２３を備える。
監視部２１は、ＨＤＤ１０９内の素材データベース３０１を常時監視し、新たな静止画像５１が例えばＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ等のインタフェース部を介してＨＤＤ１０９内の素材データベース３０１に格納されたか否かを判定する。素材データベース３０１はＨＤＤ１０９内の所定のディレクトリ（上述の写真フォルダ）に相当する。素材データベース３０１に格納された各静止画像５１は、動画像（フォトムービー、スライドショー）の素材候補として用いられる。素材データベース３０１には、静止画像のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。
インデキシング部２２は、素材データベース３０１内の複数の静止画像５１を分析し、それら複数の静止画像５１それぞれの属性を示すインデックス情報を生成する。インデキシング部２２によるインデキシングは、例えば、１以上の新しい静止画像（写真ファイル）が素材データベース３０１に格納されたことをトリガに開始される。つまり、素材データベース３０１に１以上の新しい静止画像が格納された時に、インデキシング部２２は、その新しい静止画像に対応するインデックス情報を生成する。
インデキシング部２２は、顔認識機能を有している。インデックス情報には、複数の静止画像５１に含まれる複数の顔画像それぞれの認識結果も含まれている。
インデキシング部２２は、顔画像検出部２２１、クラスタリング部２２２、イベント検出部２２３、及びインデックス情報生成部２２４を備える。
顔画像検出部２２１は、インデキシング対象の静止画像５１（例えば、写真フォルダに新たに格納された静止画像）から顔画像を検出する。顔画像は、例えば、その静止画像５１の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、その静止画像５１に含まれる顔画像に対応する領域が検出され、当該領域の位置（座標）及びサイズが検出される。
また、顔画像検出部２２１は検出した顔画像を分析する。顔画像検出部２２１は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である（例えば、ぼけがない）度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。顔画像検出部２２１は、検出した顔画像を示す情報をクラスタリング部２２２に出力する。
クラスタリング部２２２は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。類似する顔画像特徴を有する顔画像同士は同一の人物として認識される。クラスタリング部２２２は、クラスタリング処理の結果に基づいて、各顔画像に対して人物の識別情報（人物ＩＤ）を付与する。同一人物の顔画像群に対しては同一の人物ＩＤが付与される。クラスタリング部２２２は、各顔画像の属性（笑顔度、鮮明度、正面度、人物ＩＤ）をインデックス情報生成部２２４に出力する。
イベント検出部２２３は、インデキシング対象の静止画像５１に対応するイベントを検出する。イベント検出部２２３は、例えば、そのインデキシング対象の静止画像５１の生成日時（撮影日時）に基づいて、そのインデキシング対象の静止画像５１を、所定の期間内（例えば、１日）に生成された他の静止画像と同一のイベントに分類する。そして、イベント検出部２２３は、インデキシング対象の静止画像５１に対して、そのインデキシング対象の静止画像５１が分類されたイベントの識別情報（イベントＩＤ）を付与する。そして、イベント検出部２２３は、インデキシング対象の静止画像５１に付与されたイベントＩＤをインデックス情報生成部２２４に出力する。
インデックス情報生成部２２４は、顔画像検出部２２１及びクラスタリング部２２２による処理結果に基づいて、インデックス情報３０２Ａを生成する。
図４は、インデックス情報３０２Ａの一構成例を示す。インデックス情報３０２Ａは、複数の静止画像５１にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ＩＤ、生成日時（撮影日時）、生成場所（撮影場所）、イベントＩＤ、笑顔度、人数、顔画像情報を含む。ある静止画像に対応するエントリにおいて、画像ＩＤは、その静止画像に固有の識別情報を示す。生成日時は、その静止画像が生成された日時（その静止画像の撮影日時）を示す。生成場所は、その静止画像が生成（撮影）された場所（位置）を示す。生成日時及び生成場所には、例えば、その静止画像データに付加されている情報が用いられる。生成場所は、例えば、その静止画像データが生成されるときに（例えば、静止画像データに対応する写真が撮影されるときに）、ＧＰＳレシーバによって検出された位置情報を示す。イベントＩＤは、その静止画像に対応するイベントに一意に付与される識別情報を示す。笑顔度は、静止画像に含まれる各人物の笑顔度を総合して決定された情報を示す。人数は、静止画像に含まれる顔画像の数の合計を示す。顔画像情報は、その静止画像に含まれる顔画像の認識結果情報である。顔画像情報は、例えば、顔画像（例えば、その顔画像の格納場所を示すパス）、人物ＩＤ、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、一つの静止画像５１に複数の顔画像が含まれるときは、その一つの静止画像５１に対応するインデックス情報３０２Ａは、複数の顔画像の各々に対応する顔画像情報を含む。
インデックス情報生成部２２４は、生成したインデックス情報３０２Ａを素材情報データベース３０２に格納する。
以上の構成により、インデキシング部２２は、入力された静止画像５１に対応するインデックス情報３０２Ａを生成し、素材情報データベース３０２に格納することができる。
再生制御部２３は、インデックス情報３０２Ａに基づき、ある選択された静止画像（キー画像）に関連する静止画像を含む静止画像群を、素材データベース３０１内の静止画像５１から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。
再生制御部２３は、例えば、スタイル選択部２３０、キー画像選択部２３１、カレンダー表示部２３２、関連画像選択部２３３、シナリオ作成部２３４、動画像生成部２３５、及び動画像再生部２３６を備える。
スタイル選択部２３０は、予め用意された複数のスタイルから何れかを選択する。スタイル選択部２３０は、例えばスタイル選択画面を通じてユーザにより指定されたスタイルを選択する他、ユーザにより特定のスタイルが指定されなかった場合に、動画像の表示に用いられる複数の静止画像の特徴を判別し、この特徴に応じたスタイルを選択する。
キー画像選択部２３１は、素材データベース３０１に格納された複数の静止画像５１からキー画像（キー静止画像）を選択する。キー画像選択部２３１は、再生中の動画像（フォトムービーまたはスライドショー）に含まれる静止画像をキー画像に決定することもできる。つまり、キー画像選択部２３１は、再生中のフォトムービー又はスライドショー内のある画像がユーザによって指示された時、その指示された画像をキー画像に決定する。なお、フォトムービー又はスライドショーの再生中にユーザによるキー画像の指示が行われないとき、キー画像選択部２３１は、例えば、再生されたフォトムービー又はスライドショーに含まれる最後の静止画像をキー画像に決定してもよい。
キー画像選択部２３１は、静止画像が作成（撮影）された日をカレンダーに明示したカレンダー画面を用いてキー画像を選択してもよい。キー画像選択部２３１は、例えば、カレンダー画面からユーザによって指定された日に作成された静止画像をキー画像に決定する。
キー画像選択部２３１は、さらに、例えばユーザによって選択された顔画像を、キー顔画像に決定することもできる。この場合、そのキー顔画像に対応する人物に関連する静止画像が素材データベース３０１から抽出され、それら抽出された静止画像を含む静止画像群が動画像（フォトムービー又はスライドショー）の作成に用いられる。
関連画像選択部２３３は、素材データベース３０１に格納されている複数の静止画像５１から、キー画像（キー顔画像）に関連する１つ以上の静止画像（静止画像群）、及びスタイル選択部２３０により選択されたスタイルに応じた１つ以上の静止画像（静止画像群）のうち、何れかあるいは両方の条件を満たす静止画像を選択（抽出）する。キー画像に関連する静止画像は、キー画像に対して、例えば、日時、人物又は場所について関連性を有する。スタイルに応じた静止画像は、スタイル毎に決められた画像抽出条件（日時、人物又は場所を組み合わせて指定する）に該当する。関連画像選択部２３３は、例えば、素材情報データベース３０２に格納されたインデックス情報３０２Ａを用いて、キー画像に関連する静止画像を抽出する。関連画像選択部２３３は、日時関連画像選択部２３３Ａ、人物関連画像選択部２３３Ｂ及び場所関連画像選択部２３３Ｃを備える。
日時関連画像選択部２３３Ａは、素材データベース３０１に格納された静止画像群５１から、キー画像の生成日時に関連する生成日時を有する静止画像を選択（抽出）する。日時関連画像選択部２３３Ａは、例えば、インデックス情報３０２Ａに基づいて、キー画像の生成日時と同一の期間内（例えば、日、月、時期、季節、年等で指定される期間内）に生成された静止画像を選択（抽出）する。また、日時関連画像選択部２３３Ａは、例えば、インデックス情報３０２Ａに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等（例えば、１年前の同じ日や２年後の同じ月等）に生成された静止画像を選択（抽出）する。
人物関連画像選択部２３３Ｂは、素材データベース３０１に格納された複数の静止画像５１から、キー顔画像（キー画像に含まれる顔画像）に関連する静止画像を選択（抽出する）する。キー顔画像に関連する静止画像は、例えば、キー顔画像と同じ人物の顔画像を含む静止画像、キー顔画像に対応する人物に関連する別の人物の顔画像を含む静止画像、等を含む。キー顔画像に対応する人物に関連する別の人物には、例えば、キー顔画像と同じ静止画像内に含まれる人物等が含まれる。
場所関連画像選択部２３３Ｃは、素材データベース３０１に格納された静止画像５１から、キー画像の生成場所に関連する場所で生成された静止画像を選択（抽出）する。
シナリオ作成部２３４は、作成対象の動画像（例えば、フォトムービー）のシナリオを決定する。シナリオは、例えば、作成対象の動画像シーケンス内の複数のチャプタ（タイムセグメント）のそれぞれにおいて使用するエフェクトと静止画像の属性とを示す情報（シナリオ情報）を含む。つまり、シナリオ作成部２３４は、シナリオ中のチャプタと称されるタイムセグメント毎に、エフェクトと静止画属性とを選択する。
本実施形態においては、例えば、２４種類のシナリオ情報がシナリオデータ３０３Ｂとして予めエフェクトデータベース３０３内に格納されている。シナリオ作成部２３４は、２４種類のシナリオ情報の内の１つのシナリオ情報を、動画像（例えば、フォトムービー）の作成に使用するシナリオとして決定する。
シナリオの決定は、ユーザによって選択されたスタイルに従って実行してもよい。つまり、選択されたスタイルに従って、使用すべきシナリオ情報が決定される。本実施形態では、例えば８種類のスタイル（Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography）が予め用意されている。さらに、スタイル毎に、例えば３種類のシナリオ情報が予め用意されている。シナリオ作成部２３４は、例えば、ユーザによって選択されたスタイルに対応する３種類のシナリオ情報の内の任意の１つを自動的に選択し、その選択したシナリオ情報を作成対象の動画像（例えば、フォトムービー）のシナリオに決定する。従って、スタイルに応じたエフェクトと静止画属性とを含むシナリオ情報を設定することができる。また、ユーザがスタイルを選択する代わりに、シナリオ作成部２３４が、８種類のスタイル内の任意の１つを自動的に選択してもよい。この場合、使用するスタイルは、例えば、関連画像選択部２３３によって抽出された静止画像それぞれの特徴（例えば、登場人物数（顔画像数）、顔画像の笑顔度、等）に基づいて決定してもよい。
上述のように、選択されたスタイルに対応する３種類のシナリオ情報の内の１つが作成対象の動画像（例えば、フォトムービー）のシナリオとして選択されるが、このシナリオの選択には、例えば、乱数を使用してもよい。これにより、たとえ同じスタイルが選択された場合でも、毎回異なるシナリオを使用してフォトムービーを作成できる。フォトムービーの作成に使用される静止画像群それぞれの属性は使用されるシナリオによって変わる。したがって、使用されるシナリオを変えることは、思いがけない静止画像を掘り起こしてユーザに見せることができる可能性を高めることを可能にし得る。
さらに、シナリオ作成部２３４は、フォトムービーの作成に使用する楽曲（楽曲）も決定する。本実施形態では、複数の楽曲が楽曲データ３０４Ａとして楽曲データベース３０４に格納されている。シナリオ作成部２３４は、例えば、選択されたスタイルに応じて、または関連画像選択部２３３によって抽出された静止画像それぞれの特徴（例えば、登場人物数（顔画像数）に応じて、使用する楽曲を決定する。なお、使用する楽曲はユーザが指定するようにしてもよい。楽曲データベース３０４には、複数のスタイルのそれぞれに対応して、複数の楽曲を含む楽曲セットが用意されている。楽曲セットには、スタイルにあった特徴を有する楽曲が含まれる。また、ユーザが楽曲を追加する場合には、楽曲のジャンル（ロック、ポップス等）やユーザの印象に応じて何れかのスタイルに分類して、楽曲データベース３０４に格納されるものとする。また、動画像作成アプリケーションプログラム２０２に楽曲の特徴を解析する機能を設け、ユーザが追加する楽曲について解析を施すようにしても良い。動画像作成アプリケーションプログラム２０２は、解析結果に応じて、何れかのスタイルの楽曲セットに分類する。
また、ユーザによってスタイルが選択された場合、関連画像選択部２３３は、スタイル毎に決められた画像抽出条件に応じて、素材データベース３０１に格納されている複数の静止画像５１からスタイルに関連する静止画像を選択（抽出）することもできる。
動画像生成部２３５は、素材データベース３０１に格納された静止画像をもとに、表示モードに応じてスライドショーあるいはフォトムービーを生成する。
動画像生成部２３５は、表示モードがフォトムービーである場合、シナリオ作成部２３４により決定されたシナリオ情報に基づいてフォトムービーを生成する。この場合、動画像生成部２３５は、関連画像選択部２３３によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画属性に合致する少なくとも１つの静止画像を抽出する。そして、動画像生成部２３５は、抽出された少なくとも１つの静止画像を各チャプタに割り当てることによって、フォトムービーを作成する。
また、動画像生成部２３５は、表示モードがスライドショーである場合には、関連画像選択部２３３によって抽出された静止画像群から表示対象とする静止画像を例えばランダムに抽出する。
なお、動画像生成部２３５は、スライドショーを作成する場合に、フォトムービーの作成と同様にして、シナリオ情報を使用してもよい。この場合、動画像生成部２３５は、関連画像選択部２３３によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画属性に合致する少なくとも１つの静止画像を抽出する。そして、動画像生成部２３５は、抽出された少なくとも１つの静止画像を各チャプタに割り当てることによってスライドショーを作成、つまり使用する静止画像それぞれとその再生順を決定する。
動画像再生部２３６は、フォトムービーについては、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによってフォトムービーを再生する。また、動画像再生部２３６は、スライドショーについては、動画像生成部２３５により順次抽出される静止画像を再生する。
図５は、動画像作成アプリケーションプログラム２０２によって表示されるメイン画面４０の例を示す。
メイン画面４０は、例えば、「スタイル」ボタン４０１、「楽曲」ボタン４０２、「主人公」ボタン４０３、「スタート」ボタン４０４、ムービー再生画面４０５、及び「カレンダー」ボタン４０６を備える。
ムービー再生画面４０５は、生成されたフォトムービー又はスライドショーを表示するための画面である。ムービー再生画面４０５では、再生制御部２３（動画像生成部２３５）によって生成されたフォトムービー又はスライドショーが順次再生され、表示される。図５においては、再生中のフォトムービー又はスライドショーの画像に、例えば、人物４０Ａ〜４０Ｆが登場する例が示されている。
動画像作成アプリケーションプログラム２０２は、起動されるとスライドショーの再生を開始する。スライドショーの再生中にフォトムービーの再生を開始するタイミングになると、再生制御部２３は、スライドショーの最後に表示された静止画像をキー画像に決定し、このキー画像をもとにフォトムービーを生成し、スライドショーに代えてフォトムービーの再生を開始する。また、フォトムービーの再生が終了すると、フォトムービーの最後に表示された静止画像をキー画像に決定し、このキー画像をもとにスライドショーを生成し、スライドショーの再生を開始する。
また、フォトムービー又はスライドショーの再生中にムービー再生画面４０５がユーザによるポインティングデバイスの操作によってクリックされた時、動画像作成アプリケーションプログラム２０２は、フォトムービー（スライドショー）の再生を一時停止し、現在再生中の画像をキー画像に決定する。現在再生中の画像が複数の静止画像を合成することによって生成された画像であるならば、動画像作成アプリケーションプログラム２０２は、それら複数の静止画像の一つをキー画像に決定しても良い。もちろん、それら複数の静止画像の内、ユーザによってクリックされた静止画像をキー画像に決定しても良い。
「主人公」ボタン４０３は、生成されるフォトムービー（またはスライドショー）内で注目される人物（主人公）の選択を開始するためのボタンである。キー画像選択部２３１は、「主人公」ボタン４０３が押されたことに応答して、キー画像に登場する人物のリスト（顔画像選択画面）を表示する。ユーザは、例えば、ムービー再生画面４０５を用いてキー画像を選択した後に、「主人公」ボタン４０３を押して、キー顔画像の選択開始（すなわち、顔画像選択画面の表示）を指示する。
図６は、キー顔画像を選択するための顔画像選択画面４１の例を示す。顔画像選択画面４１では、キー画像に含まれる顔画像のリスト（顔画像４１Ａ〜４１Ｄ）が表示されている。キー画像選択部２３１は、キー画像に登場する人物４０Ａ〜４０Ｆから、例えば、その人物が出現する静止画像数がしきい値以上である人物（例えば、人物４０Ａ〜４０Ｄ）を選択し、その選択した人物に対応する顔画像４１Ａ〜４１Ｄをムービー再生画面４０５上に表示する。
ユーザは、顔画像選択画面４１を用いて、顔画像４１Ａ〜４１Ｄから注目する人物の顔画像（ここでは、顔画像４１Ａ）を選択する。キー画像選択部２３１は、選択された顔画像４１Ａをキー顔画像（主人公）に決定する。なお、選択される顔画像は複数であってもよい。また、顔画像選択画面４１を用いて顔画像を選択する操作が行われないとき（例えば、「主人公」ボタン４０３が押されないとき）、キー画像選択部２３１は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に選択してもよい。
図５のメイン画面４０上の「スタイル」ボタン４０１は、フォトムービーのスタイルの選択を開始するためのボタンである。動画像作成アプリケーションプログラム２０２は、「スタイル」ボタン４０１が押されたことに応答して、スタイル選択画面を表示する。
図７は、スタイル選択画面の一例を示している。スタイル選択画面には、「おまかせ」ボタン５０Ａの他、上述した８種類のスタイル（Happy，Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography）のそれぞれに対応する複数のボタン５０Ｂ〜５０Ｉが表示されている。ユーザは、希望するボタンを選択することにより、スタイルを指定することができる。なお、「おまかせ」ボタン５０Ａを指定することにより、動画像の表示に用いられる複数の静止画像の特徴に応じたスタイルが自動的に選択される。
「楽曲」ボタン４０２は、フォトムービーに用いられる楽曲の選択を開始するためのボタンである。動画像作成アプリケーションプログラム２０２は、「楽曲」ボタン４０２が押されたことに応答して、楽曲のリスト（楽曲選択画面）を表示する。ユーザは、希望する楽曲を選択することができる。
「スタート」ボタン４０４は、フォトムービーの生成及び再生を開始するためのボタンである。動画像作成アプリケーションプログラム２０２は、「スタート」ボタン４０４が押されたことに応答して、フォトムービーの作成を開始する。そして、動画像作成アプリケーションプログラム２０２は、作成したフォトムービーを再生して、ムービー再生画面４０５に表示する。
図８は、スタイルと画像特徴との関係の一例を示している。
例えば、人数が多く、笑顔度が高い静止画像は、幸せな印象や元気な印象を想起させる傾向がある。このため、スタイル「Happy」が選択された場合に、人数が多く、笑顔度が高い静止画像を動画像の再生に使用されやすくする。また、人数が多く、笑顔度が低い静止画像は、セレモニーを想起させる傾向がある。このため、スタイル「Ceremonial」が選択された場合に、人数が多く、笑顔度が低い静止画像を動画像の再生に使用されやすくする。また、人数が少なく、笑顔度が低い静止画像は、クールな印象や近未来的な印象を想起させる傾向がある。このため、スタイル「Cool」が選択された場合に、人数が少なく、笑顔度が低い静止画像を動画像の再生に使用されやすくする。また、人数が少なく、笑顔度が高い静止画像は、ファンタジーや魔法といった印象を想起させる傾向がある。このため、スタイル「Fantastic」が選択された場合に、人数が少なく、笑顔度が高い静止画像を動画像の再生に使用されやすくする。
次に、図９を参照して、フォトムービー作成処理の手順の概要について説明する。
動画像作成アプリケーションプログラム２０２は、まず、インデックス情報に基づいて、キー画像（キー顔画像）に関連する静止画像、スタイルに応じた画像抽出条件に該当する静止画像を素材データベース３０１から抽出（一次抽出）する（ブロックＢ１０１）。
次に、動画像作成アプリケーションプログラム２０２は、フォトムービーの作成に用いるシナリオを選定する（ブロックＢ１０２）。ブロックＢ１０２では、動画像作成アプリケーションプログラム２０２は、選択されたスタイルや、ブロックＢ１０１で抽出した複数の静止画像の特徴値等に応じて、予め用意された複数のシナリオ情報の一つを選択する。各シナリオ情報は、フォトムービーのシーケンスを構成する複数のチャプタ（シーン）において使用されるエフェクトの順番（エフェクト列）、静止画像の属性（静止画属性）、及び楽曲とを規定する。
図９では、フォトムービーのシーケンスが５つのチャプタ（チャプタ１、２、３、４、５）から構成される場合が想定されている。チャプタ１はフォトムービーのオープニングシーンであり、チャプタ５はフォトムービーのエンディングシーンである。各チャプタには、１以上のエフェクトが定義され、さらにエフェクト毎に静止画属性が定義される。
静止画属性としては、例えば、人物属性（顔属性）を使用してもよい。この人物属性としては、例えば、主人公（主役）、脇役、笑顔度、鮮明度、登場人数等を使用することができる。ここで、用語「主役」は、フォトムービーの主人公となるべき人物、つまり、注目すべき人物（顔）を意味する。例えば、上述のキー顔画像に対応する人物を、主役に決定してもよい。用語「脇役」は、主人公に関連する別の人物を意味する。例えば、主人公との共起頻度の高い人物（顔）を脇役に決定してもよい。人物属性は、複数の脇役を指定することもできる。主人公との共起頻度の高い複数の人物（顔）が脇役となり得る。
また、静止画属性としては、スタイルに応じた属性を使用する。例えば、スタイル「Happy」に対応するシナリオでは、幸せな印象や元気な印象を想起させるため、人数が多い、あるいは笑顔度が高い静止画像が多く選択されるように、静止画属性が設定されている。
なお、静止画属性としては、人物属性のみならず、例えば、場所属性を使用してもよい。この場所属性は、使用する静止画像の撮影場所を指定する。
図９のシナリオ情報１では、例えば、チャプタ１に２つのエフェクト（エフェクト＃１、エフェクト＃２）が規定されており、さらに、エフェクト＃１には静止画属性「主人公」「笑顔度高」が、エフェクト＃２には静止画属性「大人数、笑顔度高」が関連付けられている。静止画属性「主人公」は、主人公が登場する静止画像が使用されるべきであることを指定する。静止画属性「大人数」は、静止画像に含まれる人数が、予め決められたしきい値以上であることを指定する。静止画属性の他の幾つかの例は以下の通りである。
チャプタ２のエフェクト＃１１に関連付けられた静止画属性「主人公、脇役、笑顔度高」は、主人公と脇役の双方が登場し、笑顔度が高い静止画像が使用されるべきであることを指定する。チャプタ３のエフェクト＃６に関連付けられた静止画属性「脇役１、脇役２、脇役３、笑顔度高」は、３人の脇役（脇役１、脇役２、脇役３）の全てが登場し、笑顔度が高い静止画像が使用されるべきであることを指定する。チャプタ５のエフェクト＃３に関連付けられた静止画属性「多人数、笑顔度高」は、しきい値以上の人物が登場し且つ笑顔度の高い人物の頻度がしきい値以上である静止画像が使用されるべきであることを指定する。チャプタ５のエフェクト＃４に関連付けられた静止画属性「主人公、笑顔度高」は、主人公が登場し、且つ主人公の笑顔度がしきい値以上である静止画像が使用されるべきであることを指定する。このように、静止画属性により、スタイルに応じた静止画像が各キャプチャに割り当てられるように指定できる。
次いで、動画像作成アプリケーションプログラム２０２は、ブロックＢ１０１で抽出した静止画像群から、選定されたシナリオ情報によって示される各チャプタの静止画属性に合致する１以上の静止画像をさらに抽出（本抽出）する（ブロックＢ１０３）。そして、動画像作成アプリケーションプログラム２０２は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成し、作成されたフォトムービーを再生する（ブロックＢ１０４）。ブロックＢ１０４では、動画像作成アプリケーションプログラム２０２は、シナリオ情報によって示される各チャプタに対応するエフェクトを、各チャプタに割り当てられた静止画像に施す。
なお、シナリオ情報に設定されるエフェクト列には、スタイルに応じたエフェクトが用意されている。すなわち、色、形状、動き（モーション）、オブジェクト等を変更することによって、ユーザに対してスタイルに合った印象を与えられるようにエフェクトが設計されている。したがって例えば、スタイル「Happy」が選択された場合には、幸せな印象や元気な印象を想起させるように、例えば、明るい色や鮮やかな色を用いたエフェクトが設定される。また、例えば、スタイル「Cool」が選択された場合には、クールな印象や近未来的な印象を想起させるように、例えば幾何学的な形状を用いたエフェクトが設定される。
また、図９には示していないが、シナリオ情報には、動画像の再生と平行して再生する楽曲を示す楽曲属性が含まれる。楽曲属性は、スタイルに応じた楽曲セットを指定する。例えば、スタイル「Happy」が選択された場合には、スタイル「Happy」に対応する楽曲セットに含まれる複数の楽曲から、例えばランダムに何れかを選択して割り当てる。
次に、図１０のフローチャートを参照して、スタイル選択処理を説明する。
メイン画面４０上の「スタイル」ボタン４０１が押されると、動画像作成アプリケーションプログラム２０２のスタイル選択部２３０は、スタイル選択処理を開始し、スタイル選択画面を表示させる（ブロックＢ１１１）。図７に示すスタイル選択画面からユーザによってボタン５０Ａ〜５０Ｉの何れかが指定されると（ブロックＢ１１２）、スタイル選択部２３０は、「おまかせ」ボタン５０Ａが指定されたか判別する。
ここで、スタイル（Happy，Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography）の何れかに対応するボタン５０Ｂ〜５０Ｉが指定された場合（ブロックＢ１１３のＮｏ）、スタイル選択部２３０は、選択されたスタイルに応じて、静止画像の抽出条件（画像抽出条件）を決定する（ブロックＢ１１５）。なお、スタイル毎の画像抽出条件の詳細については後述する。
一方、「おまかせ」ボタン５０Ａが指定された場合（ブロックＢ１１３のＹｅｓ）、スタイル選択部２３０は、素材データベース３０１に格納された動画像の素材候補とする複数の静止画像の特徴を、インデックス情報３０２Ａをもとに判別する。そして、スタイル選択部２３０は、静止画像の特徴に応じて何れかのスタイルを選択する（ブロックＢ１１４）。
「おまかせ」が選択された場合の別のスタイル選択方法として、キー画像と関連する静止画像群を抽出しておき、この静止画像群の特徴をもとにスタイルを選択してもよい。素材データベースに登録されている全静止画像を用いるのに比べ、この方法ではキー画像の特徴をより反映したスタイルを選択できる。
例えば、笑顔度がしきい値以上の静止画像が予め決められた割合以上ある場合（笑顔の写真が多い場合）には、スタイル「Happy」を選択する。また、連続する生成日の静止画像が予め決められた割合以上ある場合（連日に渡って撮影された画像が多い場合）には、スタイル「Travel」を選択する。また、同じ生成日で人数がしきい値以上の静止画像が予め決められた割合以上ある場合（顔が多く写っている画像が多い場合）には、スタイル「Party」を選択する。
なお、静止画像の特徴に応じたスタイルの選択方法は、前述したものに限らず、スタイル毎に様々な判定条件を設定しておくことが可能である。
スタイル選択部２３０は、静止画像の特徴に応じてスタイルを選択すると、このスタイルに応じて、静止画像の抽出条件（画像抽出条件）を決定する（ブロックＢ１１５）。
図１１には、スタイル選択部２３０によって選択されたスタイルに応じた画像抽出条件の一例を示している。
例えば、スタイル「Happy」に対しては、幸せな印象や元気な印象を想起させる画像が抽出されるように、「笑顔度が高い」「人数が多い」が設定される。また、スタイル「Party」に対しては、「生成日が同じ」「人数が多い」が設定され、スタイル「Travel」に対しては、「生成日が連続」「生成場所が異なる」が設定される。
以下、スタイル別に、スタイルに合った静止画像を抽出することができる条件が設定される。画像抽出条件には、１つのスタイルに対して１つ以上の条件が設定される。複数の条件を組み合わせることにより、スタイルに適した静止画像が抽出されやすくすることができる。
これにより、例えば画像抽出条件に応じた抽出により、例えば「同じ日に撮影された静止画像セット」（Party）、「撮影日が複数年に渡った静止画像セット」（Biography、Gallery）、「特定人物を含む写真のみからなる静止画像セット」（Biography）、「特定人物と関連の高い人物を含む静止画像セット」（Travel, Party）、「笑顔を多く含む静止画像セット」（Happy）、「連日に渡って撮影された静止画像セット」（Travel）など、動画像の再生に使用する静止画像群を抽出することができる。
次に、図１２のフローチャートを参照して、フォトムービー作成処理の手順の例を説明する。
「スタート」ボタン４０４が押されたことに応答して、動画像作成アプリケーションプログラム２０２は、以下のフォトムービー作成処理を開始する。
まず、動画像作成アプリケーションプログラム２０２の関連画像選択部２３３は、インデックス情報に基づいて、スタイル選択処理により決定された画像抽出条件に従って、条件に該当する静止画像を抽出する（ブロックＢ１）。また、関連画像選択部２３３は、インデックス情報に基づいて、キー画像選択部２３１により選択されたキー画像と関連する静止画像を抽出する（ブロックＢ２）。例えば、人物関連画像選択部２３３Ｂにより、キー画像に含まれる人物の顔画像（主人公）が登場する静止画像群や主人公に関連する別の人物が登場する静止画像群、キー画像が属するイベント（イベントグループ）内の他の静止画像群を素材データベース３０１に格納されている静止画像群５１から抽出する。
これらブロックＢ１〜Ｂ２の処理によって、図９のブロックＢ１０１の一次抽出処理が実行される。
Ｂ１０１の別の構成として、スタイルに応じた画像抽出条件とキー画像に関連するという条件の両方を満たす画像を抽出するようにしてもよい。
次いで、動画像作成アプリケーションプログラム２０２のシナリオ決定部２３４は、スタイル選択部２３０により選択されたスタイルに応じたシナリオ情報を決定する。すなわち、動画像の再生に用いる画像枚数と楽曲を決定し（ブロックＢ３）、また各キャプチャにおいて使用するエフェクトと静止画属性を、スタイルに応じて決定する（ブロックＢ４）。なお、画像枚数は、スタイル毎に複数の枚数セットが用意されており、何れかの枚数をランダムに選択したり、楽曲の長さに応じて決定しても良い。
次いで、動画像生成部２３５は、一次抽出された静止画像群から、各チャプタの静止画属性（人物属性、場所属性等）に合致する静止画像を抽出する（ブロックＢ５）。静止画属性には、スタイルに応じた条件が設定されているため、スタイルに合った静止画像が各キャプチャについて抽出される。例えば、スタイル「Happy」が選択されている場合には、笑顔度が高い静止画像が抽出される。
次いで、動画像再生部２３６は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成する（ブロックＢ６）。そして、動画像再生部２３６は、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによって、フォトムービーを再生する（ブロックＢ７）。
図１３にはスタイル別のシナリオ情報に設定されるエフェクトの一例を示している。
シナリオ情報には、各スタイルに特有のエフェクト、何れのスタイルでも利用されるエフェクトを定義することができる。
例えばスタイル「Happy」が選択された場合には、明るい色や鮮やかな色を用いた花柄を画像に付加するエフェクトを施す。なお、楽曲は、明るい調子のものが選択される。また、スタイル「Party」が選択された場合には、派手なエフェクト、例えば花柄の外枠、９面マルチ画面などが用いられる。楽曲は、明るい調子のものが選択される。また、スタイル「Biography」が選択された場合には、時代を感じさせるエフェクト、例えば画像全体をセピア色にするなどのエフェクトが用いられる。楽曲は、ゆったりとした調子のものが選択される。また、スタイル「Travel」が選択された場合には、多く画像が同時に表示されるもの、例えばフィルムロール、写真が降り積もるようなエフェクトが用いられる。楽曲にはゆったりとした調子のものが用いられる。
その他、スタイルに合った、各種のエフェクトを単独で、あるいは複数を組み合わせて施すことが可能である。
図１４、図１５は、エフェクトが付加されたフォトムービーの表示例を示している。
図１４は、スタイル「Party」が選択された場合のフォトムービーの一例を示すもので、多くの人物を含む静止画像が用いられている。画面４３では、主役となる人物４３Ａの顔画像に対して、人物４３Ａを強調するためのエフェクト４３Ｂが施されている。エフェクト４３Ｂは、顔画像を囲むイラストを顔画像に重畳している。また、静止画像４４では、人物４４Ａの顔画像にスポットを当てるエフェクト４４Ｂが施されている。エフェクト４４Ｂは、人物４４Ａの顔画像以外の領域を暗くしている。
図１５は、スタイル「Happy」が選択された場合のフォトムービーの一例を示すもので、笑顔度の高い静止画像が用いられている。画面４７では、複数の静止画像から笑顔度の高い顔画像４７Ａ〜４７Ｄが切り出されて表示されている例を示している。画面４７では、元気な雰囲気を表すために、顔画像４７Ａ〜４７Ｄの表示位置を躍動感があるように変化させている。
なお、本実施形態では、フォトムービーを作成する場合に、使用するエフェクト列と使用する静止画の属性とを指定するシナリオ情報を例示して説明したが、スライドショーを作成する場合には、使用する静止画の属性のみ指定するシナリオ情報を使用しても良い。また、スライドショーを作成する場合には、使用するエフェクトを指定する代わりに、使用するトランジションを指定するようにしてもよい。
また、本実施形態の再生処理の手順は全てソフトウェアによって実行することができる。このため、再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
また、図３に示した各部の機能は、例えば、専用ＬＳＩ、ＤＳＰのようなハードウェアによって実現しても良い。
このようにして、実施形態の動画像作成アプリケーションプログラム２０２では、ユーザにスタイルを指定させることにより、思いがけない静止画像等を含むユーザの要求に合った動画像をユーザに提示することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０９…ＨＤＤ、２０２…動画像作成アプリケーションプログラム、２１…監視部、２２…インデキシング部、２２１…顔画像検出部、２２２…クラスタリング部、２２３…イベント検出部、２２４…インデックス情報生成部、２３…再生制御部、２３０…スタイル選択部、２３１…キー画像選択部、２３２…カレンダー表示部、２３３…画像抽出部、２３３Ａ…日時関連画像抽出部、２３３Ｂ…人物関連画像抽出部、２３３Ｃ…場所関連画像抽出部、２３４…シナリオ作成部、２３５…動画像生成部、２３６…動画像再生部、３０１…素材データベース、５１…静止画像データ、３０２…素材情報データベース、３０２Ａ…インデックス情報、３０３…エフェクトデータベース、３０３Ａ…エフェクトデータ、３０３Ｂ…シナリオデータ、３０４…楽曲データベース、３０４Ａ…楽曲データ。

Claims (7)

  1. 複数の静止画像のそれぞれについて属性を示すインデックス情報を生成するインデキシング手段と、
    スタイルを選択する選択手段と、
    前記インデックス情報に基づいて、前記スタイルに応じた条件に該当する第１の静止画像群を抽出する第１の画像抽出手段と、
    前記第１の静止画像群を用いて動画像を再生する再生手段と
    を具備する電子機器。
  2. 前記複数の静止画像から静止画像を選択する画像選択手段を更に備え、
    前記第１の画像抽出手段は、前記スタイルに応じた条件と、前記選択された静止画像との関連性に基づく条件とに基づき前記第１の静止画像群を抽出すること、を特徴とする請求項１記載の電子機器。
  3. 前記スタイルに応じて、複数のタイムセグメントにおいて使用する静止画像の属性を示すシナリオ情報を作成するシナリオ作成手段と、
    前記第１の静止画像群から、前記複数のタイムセグメントのそれぞれについて前記属性に合致する少なくとも１つの静止画像を抽出し、前記複数のタイムセグメントのそれぞれに割り当てることによって動画像を作成する動画像作成手段とをさらに具備し、
    前記再生手段は、前記作成された動画像を再生する請求項１記載の電子機器。
  4. 前記シナリオ情報は、各タイムセグメントで使用するエフェクトを示す情報を含み、
    前記シナリオ作成手段は、前記スタイルに応じたエフェクトを示す情報を含むシナリオ情報を作成し、
    前記再生手段は、前記エフェクトを示す情報に応じて、前記タイムセグメントに割り当てられた前記静止画像に対してエフェクトを施して前記動画像を再生する請求項３記載の電子機器。
  5. 前記インデックス情報に基づいて、前記複数の静止画像の特徴を判別する特徴判別手段とをさらに具備し、
    前記選択手段は、前記特徴に応じて前記スタイルを選択する請求項１記載の電子機器。
  6. 前記複数の静止画像から１の静止画像を選択する画像選択手段と、
    前記選択された静止画像と関連する第２の静止画像群を抽出する第２の画像抽出手段と、
    前記第２の静止画像群の特徴を判別する特徴判別手段とをさらに具備し、
    前記選択手段は、前記特徴に応じて前記スタイルを選択し、
    前記再生手段は、前記第２の静止画像群を用いて動画像を再生する、請求項１記載の電子機器。
  7. 複数の静止画像のそれぞれについて属性を示すインデックス情報を生成し、
    前記複数の静止画像から第１の静止画像を選択し、
    スタイルを選択し、
    前記インデックス情報に基づいて、前記第１の静止画像と関連する第１の静止画像群と前記スタイルに応じた条件に該当する第２の静止画像群を抽出し、
    前記第１の静止画像群と前記第２の静止画像群とを用いて動画像を再生する画像処理方法。
JP2010136534A 2010-06-15 2010-06-15 電子機器及び画像処理方法 Active JP4988011B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010136534A JP4988011B2 (ja) 2010-06-15 2010-06-15 電子機器及び画像処理方法
US13/116,786 US8488914B2 (en) 2010-06-15 2011-05-26 Electronic apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010136534A JP4988011B2 (ja) 2010-06-15 2010-06-15 電子機器及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2012004745A true JP2012004745A (ja) 2012-01-05
JP4988011B2 JP4988011B2 (ja) 2012-08-01

Family

ID=45096262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010136534A Active JP4988011B2 (ja) 2010-06-15 2010-06-15 電子機器及び画像処理方法

Country Status (2)

Country Link
US (1) US8488914B2 (ja)
JP (1) JP4988011B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182570A (ja) * 2012-03-05 2013-09-12 Canon Inc 映像生成装置及びその制御方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050747A1 (en) * 2011-08-31 2013-02-28 Ronald Steven Cok Automated photo-product specification method
US20130050745A1 (en) * 2011-08-31 2013-02-28 Ronald Steven Cok Automated photo-product specification method
US8831360B2 (en) 2011-10-21 2014-09-09 Intellectual Ventures Fund 83 Llc Making image-based product from digital image collection
US8917943B2 (en) 2012-05-11 2014-12-23 Intellectual Ventures Fund 83 Llc Determining image-based product from digital image collection
JP2014110469A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 電子機器、画像処理方法、及びプログラム
US8897556B2 (en) * 2012-12-17 2014-11-25 Adobe Systems Incorporated Photo chapters organization
US8983150B2 (en) 2012-12-17 2015-03-17 Adobe Systems Incorporated Photo importance determination
WO2015001384A1 (en) * 2013-07-02 2015-01-08 Sony Corporation Smart feeling sensing tag for pictures
JP6149015B2 (ja) * 2014-09-10 2017-06-14 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20160077675A1 (en) * 2014-09-16 2016-03-17 Magisto Ltd. Method and a mobile device for automatic selection of footage for enriching the lock-screen display
KR101623523B1 (ko) * 2015-01-06 2016-05-23 (주)퍼셉션 이미지 단어 해석에 기반한 사용자 니즈 파악 방법
US10699684B2 (en) 2017-02-06 2020-06-30 Kodak Alaris Inc. Method for creating audio tracks for accompanying visual imagery
JP7128665B2 (ja) * 2018-06-11 2022-08-31 富士フイルム株式会社 画像処理装置，画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体
EP4221192A4 (en) * 2020-09-25 2024-03-06 Panasonic Ip Man Co Ltd SLIDESHOW GENERATION METHOD, PROGRAM AND SLIDESHOW GENERATION DEVICE
US11144767B1 (en) * 2021-03-17 2021-10-12 Gopro, Inc. Media summary generation

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204021A (ja) * 2004-01-15 2005-07-28 Matsushita Electric Ind Co Ltd 静止画再生装置
JP2005303907A (ja) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd 画像編集装置，方法およびプログラム
JP2005340987A (ja) * 2004-05-25 2005-12-08 Fuji Photo Film Co Ltd スライドショー作成装置および方法ならびにプログラム
JP2006140559A (ja) * 2004-11-10 2006-06-01 Matsushita Electric Ind Co Ltd 画像再生装置及び画像再生方法
JP2006166208A (ja) * 2004-12-09 2006-06-22 Fuji Photo Film Co Ltd コマ分類情報付与装置及びプログラム
JP2008124666A (ja) * 2006-11-09 2008-05-29 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2009081733A (ja) * 2007-09-26 2009-04-16 Fujifilm Corp 画像再生装置、及びプログラム
JP2009188761A (ja) * 2008-02-06 2009-08-20 Canon Inc コンテンツ表示装置及びその制御方法
JP2010081305A (ja) * 2008-09-26 2010-04-08 Olympus Corp 画像表示装置、通信装置、および画像表示システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303906A (ja) 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd フォトムービーのフレーム検出方法及び装置
US20080155422A1 (en) 2006-12-20 2008-06-26 Joseph Anthony Manico Automated production of multiple output products

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204021A (ja) * 2004-01-15 2005-07-28 Matsushita Electric Ind Co Ltd 静止画再生装置
JP2005303907A (ja) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd 画像編集装置，方法およびプログラム
JP2005340987A (ja) * 2004-05-25 2005-12-08 Fuji Photo Film Co Ltd スライドショー作成装置および方法ならびにプログラム
JP2006140559A (ja) * 2004-11-10 2006-06-01 Matsushita Electric Ind Co Ltd 画像再生装置及び画像再生方法
JP2006166208A (ja) * 2004-12-09 2006-06-22 Fuji Photo Film Co Ltd コマ分類情報付与装置及びプログラム
JP2008124666A (ja) * 2006-11-09 2008-05-29 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2009081733A (ja) * 2007-09-26 2009-04-16 Fujifilm Corp 画像再生装置、及びプログラム
JP2009188761A (ja) * 2008-02-06 2009-08-20 Canon Inc コンテンツ表示装置及びその制御方法
JP2010081305A (ja) * 2008-09-26 2010-04-08 Olympus Corp 画像表示装置、通信装置、および画像表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182570A (ja) * 2012-03-05 2013-09-12 Canon Inc 映像生成装置及びその制御方法

Also Published As

Publication number Publication date
US20110305395A1 (en) 2011-12-15
JP4988011B2 (ja) 2012-08-01
US8488914B2 (en) 2013-07-16

Similar Documents

Publication Publication Date Title
JP4988011B2 (ja) 電子機器及び画像処理方法
JP4988012B2 (ja) 電子機器およびインデキシング制御方法
JP4987943B2 (ja) 電子機器及び画像表示方法
US20140050422A1 (en) Electronic Apparatus and Image Processing Method
WO2003073756A1 (fr) Systeme de generation de donnes d'images animees, procede de generation de donnees d'images animees, programme de generation de donnees d'images animees et support d'enregistrement d'informations
JP5017424B2 (ja) 電子機器及び画像処理方法
JP5870742B2 (ja) 情報処理装置、システムおよび情報処理方法
JP4892074B2 (ja) 電子機器、画像出力方法及びプログラム
JP4768846B2 (ja) 電子機器及び画像表示方法
JP2011065277A (ja) 電子機器、画像表示方法およびコンテンツ再生プログラム
JP4940333B2 (ja) 電子機器及び動画像再生方法
JP5225330B2 (ja) 電子機器及び画像処理方法
JP2012004747A (ja) 電子機器および画像表示方法
JP5060636B1 (ja) 電子機器、画像処理方法及びプログラム
JP2011065278A (ja) 電子機器、画像検索方法およびコンテンツ再生プログラム
JP2011193386A (ja) 電子機器及び画像処理方法
JP5550688B2 (ja) 電子機器、コンテンツ送信方法及びプログラム
JP5550447B2 (ja) 電子機器及び方法
JP5050115B2 (ja) 電子機器、画像表示方法およびコンテンツ再生プログラム
JP5414842B2 (ja) 電子機器、画像表示方法およびコンテンツ再生プログラム
JP2012231470A (ja) 電子機器及び画像処理方法
JP2011243212A (ja) 電子機器、画像表示方法およびコンテンツ再生プログラム
JP2011199906A (ja) 電子機器及び画像表示方法並びにプログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120425

R151 Written notification of patent or utility model registration

Ref document number: 4988011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350