JP2013077982A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2013077982A
JP2013077982A JP2011216582A JP2011216582A JP2013077982A JP 2013077982 A JP2013077982 A JP 2013077982A JP 2011216582 A JP2011216582 A JP 2011216582A JP 2011216582 A JP2011216582 A JP 2011216582A JP 2013077982 A JP2013077982 A JP 2013077982A
Authority
JP
Japan
Prior art keywords
frame
image
content
information processing
display data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011216582A
Other languages
English (en)
Other versions
JP5817400B2 (ja
JP2013077982A5 (ja
Inventor
Masatomo Kurata
雅友 倉田
Koji Sato
浩司 佐藤
Yusuke Sakai
祐介 阪井
Tomohiro Ishii
智裕 石井
Makoto Murata
誠 村田
Naoki Shibuya
直樹 澁谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011216582A priority Critical patent/JP5817400B2/ja
Priority to US13/589,440 priority patent/US10380773B2/en
Priority to CN2012103572376A priority patent/CN103197850A/zh
Publication of JP2013077982A publication Critical patent/JP2013077982A/ja
Publication of JP2013077982A5 publication Critical patent/JP2013077982A5/ja
Application granted granted Critical
Publication of JP5817400B2 publication Critical patent/JP5817400B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】静止画や動画を含むコンテンツから生成された漫画的なダイジェストコンテンツに対して、容易にレイアウトの編集処理を実施することが可能な情報処理装置、情報処理方法及びプログラムを提供すること。
【解決手段】本開示に係る情報処理装置は、静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、コマ割り又はコマへの画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理部を備える。
【選択図】図１１

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、静止画や動画を撮像可能な撮像装置の普及に伴い、ユーザ個人が撮りためた静止画コンテンツや動画コンテンツの数が増加し、静止画・動画アーカイブの検索やこれらアーカイブの新たな閲覧方法としての要約閲覧技術のニーズが高まっている。
また、情報処理技術の発達に伴い、電子書籍や電子コミック等が一般的になりつつあり、ユーザ個人が撮像した静止画や動画から、このような電子コミックを容易に生成したい、というニーズが高まってきている。
このようなニーズに鑑み、静止画や動画からなるコンテンツの要約閲覧方法として、静止画や動画を含むコンテンツから画像を自動抽出し、抽出した画像を漫画的に配置することで、コンテンツの要約（ダイジェスト）をユーザに提供する技術が開示されている（以下の特許文献１を参照。）。
特開２０１０−１９１９３４号公報
しかしながら、上記特許文献１に記載の技術では、コンテンツの要約を自動的に生成することは可能であるが、自動生成されたコンテンツの要約は、コンテンツを特徴づける特徴量に基づいて生成されるため、ユーザの意図するものとならない可能性がある。
そのため、静止画や動画を含むコンテンツから生成された、漫画的なコンテンツの要約に対し、ユーザ自身により、コマの追加・削除・修正といったレイアウトの編集作業を容易に実施可能な技術が希求されていた。
そこで、本開示では、上記事情に鑑み、静止画や動画を含むコンテンツから生成された漫画的なダイジェストコンテンツに対して、容易にレイアウトの編集処理を実施することが可能な情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理部を備える情報処理装置が提供される。
また、本開示によれば、静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集することを含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理機能を実現させるためのプログラムが提供される。
本開示によれば、ユーザ操作に応じて、ダイジェストコンテンツにおけるコマ割り又はコマへの画像の配置の少なくとも何れかが編集される。
以上説明したように本開示によれば、静止画や動画を含むコンテンツから生成された漫画的なダイジェストコンテンツに対して、容易にレイアウトの編集処理を実施することが可能となる。
コンテンツの要約を漫画的に示したダイジェストコンテンツについて説明するための説明図である。 本開示の実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置の構成の一例を示したブロック図である。 同実施形態に係るコミック表示データの一例を示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコマ画像の差し替え処理の流れの一例を示した流れ図である。 同実施形態に係るコマ画像の差し替え処理の流れの一例を示した流れ図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 本実施形態に係る情報処理装置の第１変形例を示した説明図である。 本開示の実施形態に係る情報処理装置のハードウェア構成を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は、以下の順序で行うものとする。
（１）漫画的なレイアウトを有するダイジェストコンテンツについて
（２）第１の実施形態
（２−１）ユーザインタフェースの一例について
（２−２）情報処理装置の構成について
（２−３）第１変形例
（３）本開示の実施形態に係る情報処理装置のハードウェア構成について
（４）まとめ
（漫画的なレイアウトを有するダイジェストコンテンツについて）
本開示の実施形態に係る情報処理装置及び情報処理方法について説明するに先立ち、図１を参照しながら、本開示の実施形態で着目する漫画的なレイアウトを有するダイジェストコンテンツ（以下、単に「ダイジェストコンテンツ」ともいう。）について簡単に説明する。図１は、コンテンツの要約を漫画的に示したダイジェストコンテンツについて説明するための説明図である。
本開示の実施形態で着目するダイジェストコンテンツは、単一又は複数の静止画コンテンツや動画コンテンツに基づいて生成されたものである。このダイジェストコンテンツは、図１に例示したように、静止画コンテンツや動画コンテンツに含まれる複数の画像の中から重要なシーンや特徴的なシーンの画像が抽出されて、漫画的に配置変換されたものである。
図１に示したような表示領域７０１を考える。この表示領域７０１は、通常の漫画におけるページに該当するものである。表示領域７０１は、複数のコマ７０３にコマ割りされており、それぞれのコマには、動画データや静止画データに含まれる画像（例えばサムネイル画像）７０５が配置される。
また、サムネイル画像７０５には、動画データや静止画データに関連付けられたメタデータに基づいて、各種の吹き出し７０７や、集中線７０９、効果線７１１などの画面効果（エフェクト）等が自動的に配置されている。吹き出し７０７、集中線７０９、効果線７１１等は、通常の紙媒体における漫画のように、コマ７０３の内外に自由に配置されている。
また、このようなダイジェストコンテンツの視聴者が、あるサムネイル画像７０５がどのようなシーンであるのかを把握したいと考える場合も生じうる。この際には、ユーザはマウスやキーボードやタッチパネル等の入力装置を操作して、マウスポインタ等の位置選択オブジェクト７１３を所望のサムネイル画像７０５まで移動させ、いわゆるマウスオーバーと呼ばれる状態にする。すると、ダイジェストコンテンツでは、位置選択オブジェクト７１３が重ねられたサムネイル画像７０５について、コマ内でサムネイル画像７０５を開始画像とするアニメーションや音声再生が実行される。
図１では、表示領域７０１は１つのみ示しているが、表示画面等の大きさにより、表示領域７０１の大きさを変更することも可能であり、１つの表示画面内に複数の表示領域７０１を配置することも可能である。
また、ダイジェストコンテンツでは、動画や静止画を構成する画像は基本的に各画像に関連付けられた時刻情報順に配置されているため、視聴者は、通常の漫画を読むのと同様にして、動画データや静止画データ等の内容を容易に把握することが可能である。また、サムネイル画像に関連付けられたメタデータに応じて、吹き出し等の画面効果が自動的に配置されているため、視聴者は、動画データや静止画データ等のコンテンツの内容を、楽しみながら確認することができる。
以上のようなダイジェストコンテンツは、静止画コンテンツや動画コンテンツ等のコンテンツに基づいて、コンテンツの要約が自動的に生成されたものである。しかしながら、ダイジェストコンテンツが自動生成される際に基準となっているものは、基となるコンテンツを特徴づける特徴量をスコア化したもの（上記特許文献１におけるダイジェストスコア）である。そのため、自動生成されたままの状態のダイジェストコンテンツは、特徴量にのみ基づいて自動生成されたものであるため、ユーザの意図するものとなっていない可能性がある。
そのため、静止画や動画を含むコンテンツから生成された、漫画的なコンテンツの要約に対し、ユーザ自身により、コマの追加・削除・修正といったレイアウトの編集作業を容易に実施可能な技術が希求されていた。
そこで、本発明者は、上記の点を解決すべく鋭意検討を行った結果、以下で説明するような、本開示の実施形態に係る情報処理装置及び情報処理方法に想到した。以下、図２〜図２３を参照しながら、本開示における技術的思想について、詳細に説明する。
（第１の実施形態）
＜ユーザインタフェースの一例について＞
まず、図２〜図１０を参照しながら、本開示の第１の実施形態に係る情報処理装置で提供されるユーザインタフェースの一例について、簡単に説明する。図２〜図１０は、本実施形態に係る情報処理装置のユーザインタフェースの一例を示した説明図である。
本実施形態に係る情報処理装置は、生成されたダイジェストコンテンツを保管・管理する機能と、ダイジェストコンテンツを再生（実行）する機能と、生成されたダイジェストコンテンツを編集する機能と、を少なくとも有している。また、本実施形態に係る情報処理装置は、動画コンテンツや静止画コンテンツを含む各種のコンテンツに基づいて、ダイジェストコンテンツを生成する機能を更に有していてもよい。
本実施形態に係る情報処理装置が、ダイジェストコンテンツに関する上記の機能をユーザに提供するためのアプリケーションを実行すると、任意のスタート画面に続いて、図２に示したような「ライブラリモード」に対応する表示ウィンドウをユーザに提供する。図２に示した「ライブラリモード」は、ユーザに対して、情報処理装置が管理しているダイジェストコンテンツの一覧を提供するモードである。
ユーザが「ライブラリモード」の表示ウィンドウにおいて、管理されているダイジェストコンテンツに関するアイコン等のオブジェクトを選択すると、表示内容は、選択されたダイジェストコンテンツを再生する際の表示ウィンドウへと変化する。その結果、情報処理装置は、「ライブラリモード」に対応する表示ウィンドウに代えて、ダイジェストコンテンツを再生するモードである「再生モード」に対応する表示ウィンドウをユーザに提供することとなる。
ユーザが「ライブラリモード」の表示ウィンドウにおいて、所定のアイコン等のオブジェクトを操作すると、生成されているダイジェストコンテンツを編集するための表示ウィンドウへと変化する。その結果、情報処理装置は、「ライブラリモード」に対応する表示ウィンドウに代えて、ダイジェストコンテンツを編集するモードである「編集モード」に対応する表示ウィンドウをユーザに提供することとなる。
また、ユーザにより「ライブラリモード」の表示ウィンドウに表示されている所定のアイコン等のオブジェクトが操作されると、情報処理装置は、ダイジェストコンテンツを生成するためのモードである「生成モード」へと移行してもよい。
図３は、「ライブラリモード」における表示ウィンドウの一例を示した説明図である。
図３に示したように、ライブラリモードの表示ウィンドウには、既に生成されているダイジェストコンテンツのサムネイル画像５０１が表示される。各サムネイル画像５０１は、ユーザにより選択されたものであってもよく、ダイジェストコンテンツの自動生成時に自動的に決定されたものであってもよい。また、これらのサムネイル画像５０１は、該当するダイジェストコンテンツがローカル機器（すなわち、情報処理装置）に存在するのか、ネットワーク上に存在する各種サーバ上に存在するのか、といった状況に応じて、異なる表示となってもよい。
ユーザがアイコン等の位置指定オブジェクトを操作したり、タッチパネルを操作したりすることによってサムネイル画像５０１を選択する操作を実施すると、情報処理装置は、選択されたサムネイル画像５０１に対応するダイジェストコンテンツを再生するモードへと移行する。また、例えばマウスの右クリック操作のような操作を行うことでサムネイル画像５０１のプロパティを設定するモードを選択すると、図３の下図に一例を示したようなサブウィンドウが表示される。図３の下図に示したようなセッティングに関するサブウィンドウでは、選択したダイジェストコンテンツの作成者（Ａｕｔｈｏｒ）を入力したり、ダイジェストコンテンツをＳＮＳ等のネットワークでシェアするための設定（ＳＮＳ ｓｅｔｔｉｎｇｓ）等を設定したりすることができる。
また、ユーザがダイジェストコンテンツ生成モードへと移行するためのオブジェクト５０３を選択した場合には、情報処理装置は、ダイジェストコンテンツを生成する「生成モード」へと移行する。
図４は、「生成モード」における表示ウィンドウの一例を示した説明図である。
生成モードに対応する表示ウィンドウでは、ダイジェストコンテンツの作成者（Ａｕｔｈｏｒ）に対応する文字列が入力される作成者入力領域５１１や、ダイジェストコンテンツのタイトル（Ｔｉｔｌｅ）に対応する文字列が入力されるタイトル入力領域５１３が表示される。ユーザは、これらの入力領域に任意の文字列を入力することで、ダイジェストコンテンツの作成者やタイトルといったメタデータを任意に設定することができる。
また、ユーザが生成モードの表示ウィンドウに表示されている、ダイジェストコンテンツの素材指定ボタン５１５を選択すると、図４右側上段に示したような素材選択サブウィンドウが表示される。この素材選択サブウィンドウでは、ダイジェストコンテンツの素材として用いられる静止画コンテンツや動画コンテンツ等がユーザ操作により指定される。ユーザはこのサブウィンドウで任意のコンテンツを指定することで、ダイジェストコンテンツが自動的に生成される。
なお、図４右側上段に示したように、ユーザは、素材となるコンテンツを「ｃｈａｐｔｅｒ」と表示されている編集単位ごとに指定することができる。この「ｃｈａｐｔｅｒ」と表示されている編集単位が、生成されたダイジェストコンテンツにおける章立てに対応する。換言すれば、自動生成されるダイジェストコンテンツは、各ｃｈａｐｔｅｒに対応するダイジェストコンテンツを、ｃｈａｐｔｅｒ番号順につなぎ合わせたものであるといえる。なお、ｃｈａｐｔｅｒ数は、適宜決定することが可能である。
ユーザがｃｈａｐｔｅｒ毎にコンテンツを選択すると、選択されたコンテンツのサムネイル画像や、コンテンツのメタデータ（例えば、ファイル名や、ファイル生成日や、ファイルの再生時間等）が表示される。また、この素材選択サブウィンドウには、一旦選択されたコンテンツを削除するためのボタンや、更にコンテンツを追加するためのボタン等も併せて表示される。
なお、ダイジェストコンテンツの素材として用いられるコンテンツは、図４に示したようにファイル毎に指定されてもよく、フォルダ単位で指定されてもよい。フォルダ単位でコンテンツが指定された場合には、例えばフォルダ内に存在する全てのコンテンツを素材として用いられるように設定することも可能である。また、フォルダ単位でコンテンツが指定された場合、通常は、データが生成された順にフォルダ内のコンテンツが素材として用いられることとなるが、素材として用いられる順序をユーザが指定するようにしてもよい。
以上のようにして素材となるコンテンツが指定された後に、コンテンツの生成開始を指定するための生成開始ボタン（Ｃｒｅａｔｉｏｎ Ｓｔａｒｔ）５１７が操作されると、図４下段に示したような解析処理画面へと表示画面が移行する。この解析処理画面では、現在解析が行われているコンテンツのメタデータが表示されたり、コンテンツのサムネイル画像が表示されたり、解析処理の進行状況を表すオブジェクトが表示されたりする。
このような解析処理画面を経ることで、図２に示したようなダイジェストコンテンツが自動的に生成されることとなる。解析処理が終了してダイジェストコンテンツが生成された場合、情報処理装置は、図４下段に示したような解析処理画面から図２に示したようなライブラリモードの表示ウィンドウへと画面を遷移させてもよい。また、情報処理装置は、ダイジェストコンテンツの生成が終了すると、図２に示したような編集モードの表示ウィンドウへと画面を遷移させてもよい。
図５は、「編集モード」における表示ウィンドウの一例を示した説明図である。
編集モードに対応する表示ウィンドウは、生成されたダイジェストコンテンツのプレビューが表示されるプレビュー表示領域５２１と、ダイジェストコンテンツのあるコマに対応付けられたフレーム画像（コマ画像）が表示される画像表示領域５２３と、ダイジェストコンテンツに対応する特徴量（例えば上記特許文献１におけるダイジェストスコア）が表示される特徴量表示領域５２５と、を含む。また、特徴量表示領域５２５には、コマ画像として選択されたフレーム画像を表すアイコンや、エフェクトが付与されたコマ画像を表すアイコンや、ダイジェストコンテンツのカバー画像として用いられているコマ画像を表すアイコン等のオブジェクト５２７が表示される。
ユーザは、特徴量表示領域５２５に表示されているダイジェストスコア等の特徴量を参照することで、着目しているコンテンツの見どころを、容易に判定することができる。また、プレビュー表示領域５２１においてあるコマが選択されたり、特徴量表示領域５２５において、時系列に沿って配置されたあるフレーム画像が選択されたりすると、このような選択処理によって選択された画像が、画像表示領域５２３に表示される。これにより、ユーザは、自身の選択した画像の詳細を、容易に確認することができる。
ユーザは、プレビュー表示領域５２１や、画像表示領域５２３や、特徴量表示領域５２５や、各種のオブジェクト５２７を操作することで、ダイジェストコンテンツのコマ割りや、コマそのものに対応づけられたフレーム画像等を含むダイジェストコンテンツのレイアウトを、自由に操作することが可能となる。
また、図５に示したような編集モードに対応する表示ウィンドウにおいて、「Ｏｐｔｉｏｎ Ｍｅｎｕ」が選択されると、このような「Ｏｐｔｉｏｎ Ｍｅｎｕ」において、エフェクトを追加する操作や、いわゆる吹き出しを追加する操作等を行うことができる。
図６は、コマ画像にエフェクトを追加するためのサブウィンドウの一例を示した説明図である。図６に示したように、エフェクトを追加するためのサブウィンドウには、エフェクトの名前（例えば、「ｚｏｏｍ」や「ｓｏｕｎｄ ｅｆｆｅｃｔ」等）や、エフェクトに対応する図柄のサムネイル画像等が表示される。
図７は、コマ画像に吹き出しに対応するテキストデータを追加するためのサブウィンドウの一例を示した説明図である。図７に示したように、テキスト入力ウィンドウに任意の文字列を入力することで、ユーザは、指定したコマ画像に対して任意の吹き出しエフェクトを追加することが可能となる。また、指定したコマ画像に付随するメタ情報や、音声認識などの技術により自動入力されたテキストが存在する場合には、これら既に存在するテキストを編集することも可能である。
なお、情報処理装置における「編集モード」については、以下で改めて詳細に説明することとする。
図３に示したようなライブラリモードの表示ウィンドウにおいて、ダイジェストコンテンツに対応するサムネイル画像５０１が選択されると、図８に示したようなタイトル画面が表示され、ページ推移用のオブジェクト５３１が操作されることで、ダイジェストコンテンツのコミック様ページレイアウトをめくることができる。また、ダイジェストコンテンツに音声データが付随している場合には、ダイジェストコンテンツの再生に伴って、対応する音声データが再生される。
また、ユーザ操作によりコミック様ページレイアウトを拡大表示するための操作が実施されると、ユーザ操作に連動して、表示されるコマ画像の大きさが変化することとなる。例えば図９上段に示した点線で囲った領域に対して拡大表示のためのユーザ操作が実施されると、図９下段に示したように、該当部分の拡大画像が表示されることとなる。
また、あるコマ画像が選択されたり、最大拡大率が選択されたりした場合には、情報処理装置は、図１０に示したようなフレーム再生モードに移行する。このフレーム再生モードでは、コマ画像に対応するコンテンツの一部分の動画が再生される。また、表示画面には、図１０に示したように、コンテンツの名前や、データ生成日や、再生時間等といったメタデータが併せて表示される。
以上、図２〜図１０を参照しながら、本実施形態に係る情報処理装置で提供されるユーザインタフェースの一例について、簡単に説明した。
＜情報処理装置の構成について＞
続いて、図１１〜図２１を参照しながら、先だって説明したようなユーザインタフェースを提供する本実施形態に係る情報処理装置の構成について、詳細に説明する。なお、以下の説明では、コミック様ページレイアウトから構成されるダイジェストコンテンツの実体データを、「コミック表示データ」と称することとする。
図１１は、本実施形態に係る情報処理装置１０の構成の一例を示したブロック図である。図１１に示したように、本実施形態に係る情報処理装置１０は、コンテンツデータ取得部１０１と、コミック表示データ生成処理部１０３と、コミック表示データ編集部１０５と、表示制御部１０７と、コミック表示実行部１０９と、記憶部１１１と、を主に備える。これらの処理部が互いに連携して機能することで、図２〜図１０に示したようなユーザインタフェースを備えるアプリケーションが提供される。
コンテンツデータ取得部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、入力装置、通信装置等により実現される。コンテンツデータ取得部１０１は、情報処理装置１０に対してなされたユーザ操作に応じて、ユーザが指定した動画コンテンツや静止画コンテンツ等のコンテンツに対応する実体データ（コンテンツデータ）を、後述する記憶部１１１や、情報処理装置１０に挿入された各種の記録媒体や、ネットワーク等に接続されており情報処理装置１０が通信可能な各種コンピュータ等から取得する。
ここで、動画コンテンツに関するコンテンツデータとは、時刻情報が関連付けられた複数の画像及び音声からなる動画の実体データを意味する。また、静止画コンテンツに関するコンテンツデータには、静止画データが生成された時刻に関する時刻情報が関連付けられているものとする。
コンテンツデータ取得部１０１は、取得した動画コンテンツや静止画コンテンツ等のコンテンツデータを、後述するコミック表示データ生成処理部１０３に出力する。また、コンテンツデータ取得部１０１は、取得したコンテンツデータに当該コンテンツデータを取得した日時等の時刻情報を関連付けて、後述する記憶部１１１等に履歴情報として格納してもよい。
コミック表示データ生成処理部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置等により実現される。コミック表示データ生成処理部１０３は、例えば上記特許文献１に記載されている方法を利用して、図１に示したようなコミック様ページレイアウトから構成されるコミック表示データを生成する。また、コミック表示データの生成処理は、上記特許文献１に記載の方法に限定されるわけではなく、ユーザが自身で選択したコマ画像を利用して、半自動でレイアウト設定を行う方法や、テンプレートレイアウトに従ってユーザがコマ画像を配置することでコミック表示データを生成する方法など、公知の方法を利用することが可能である。また、ユーザがコマのレイアウト（コマ割り）及びコマ画像を全て設定することで、コミック表示データが生成されてもよい。
コミック表示データ生成処理部１０３が、上記特許文献１に記載の方法によりコミック表示データを生成する場合、生成されるコミック表示データは、図１２に示したようなデータ群から構成されることとなる。コミック表示データは、例えば図１２に示したように、例えばＸＭＬ形式で記述されているコマ情報と、フレーム画像データと、音声データと、エフェクトデータとを少なくとも含むように構成されている。情報処理装置１０や他の装置は、ＸＭＬ形式で記述されているコマ情報を読み込んで表示することで、様々なアプリケーションにおいてコミック表示画面を生成することができる。
例えば、Ｖｉｓｕａｌ Ｃ＋＋（登録商標）等を利用したスタンドアロンのネットワークアプリケーション、Ｊａｖａ・Ｂｒｅｗ等の携帯アプリケーション、ＦｌａｓｈやＪａｖａＳｃｒｉｐｔ等を利用したブラウザアプリケーション等でコミック表示を実現できる。例えば、Ａｃｔｉｏｎ Ｓｃｒｉｐｔを利用してＦｌａｓｈ用のファイル（ＳＷＦファイル）を作成し、コミック画像の配置情報ＸＭＬであるコマ情報を読み込ませることで、一般的なＷｅｂブラウザを用いてコミック表示画面を閲覧することが可能である。
また、Ｆｌａｓｈによりコミック表示データを作成することで、よりインタラクティブなコンテンツ表現が可能となる。例えば、ボタンによってページをめくったり、マウスホイールによるスクロールによりページをめくったりするような実装が可能となる。また、コマを時系列順にアニメーション表示することにより、多くのコマが存在した場合であっても、迷うことなくスムーズに読み進めることが可能である。また、サムネイル画像をクリックして音声を再生した際に、クリックされたコマ以外の全てのコマの透明度を上昇させることにより、現在再生中のコマをより分かりやすく強調することができる。このように、コマ情報をＸＭＬ形式のファイルとして出力することで、Ｆｌａｓｈをはじめとする様々なアプリケーションから参照可能となる。
コミック表示データ生成処理部１０３は、生成したコミック表示データを記憶部１１１等に格納してもよく、生成したコミック表示データを後述するコミック表示データ編集部１０５に出力してもよい。また、コミック表示データ生成処理部１０３は、生成したコミック表示データを、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ Ｄｉｓｃといった各種の記録媒体や、ＵＳＢメモリ等の各種のフラッシュメモリ等に格納してもよい。また、コミック表示データ生成処理部１０３は、生成したコミック表示データを、インターネット等の通信網を介して、他の情報処理装置に提供することも可能である。
編集処理部の一例であるコミック表示データ編集部１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置等により実現される。コミック表示データ編集部１０５は、予め生成されているダイジェストコンテンツ（コミック表示データ）に対して、コミック表示データのコマ割り又はコマへのフレーム画像の配置の少なくとも何れかを、ユーザ操作に応じて編集する。
コミック表示データ編集部１０５により実施されるレイアウト編集処理に際して、図５に示したようなプレビュー表示領域５２１に表示されるコミック様ページレイアウトの表示領域は、１又は複数の編集単位区画に予め区画されている。その上で、コミック表示データ編集部１０５は、表示領域内に存在する任意のコマ、又は、互いに隣接するコマ間に対して、コマ割り又はコマへの画像の配置に関するユーザ操作が行われた場合に、当該ユーザ操作が行われたコマ又はコマ間が属する編集単位区画内で、コマ割り又はコマへの画像の配置を再設定することができる。
また、コミック表示データ編集部１０５は、コミック様ページレイアウトの再設定に際して、コマ割りの再設定やコマ画像の選択処理といった、コミック表示データ生成処理部１０３が実施する処理を実施することが求められる場合には、コミック表示データ生成処理部１０３と連携して、レイアウトの編集処理を実施することができる。
なお、上記編集単位区画は、コミック様ページレイアウトのページ単位で規定されるものであってもよく、複数のページにまたがって規定されるものであってもよい。また、編集単位区画は、１又は複数のコマからなるブロック単位で規定されるものであってもよい。このような編集単位区画は、本実施形態に係る情報処理装置１０の初期設定値やユーザ操作等によって、適宜設定することができる。
具体的には、コミック表示データ編集部１０５は、以下のような編集処理をユーザ操作に応じて実施することができる。以下では、図１３Ａ〜図２１を参照しながら、これらの編集処理について、具体的に説明する。
・コマ画像の差し替え
・コマの追加・削除
・コマ形状の変更
・コマ画像の表示領域（クロップ領域）の変更
・コマへのエフェクトの追加／削除
・レイアウト全体に対してのテーマの選択・変更
［コマ画像の差し替え］
まず、図１３Ａ〜図１４Ｂを参照しながら、コマ画像の差し替え処理について、具体的に説明する。
図１３Ａに例示したように、１ページに７つのコマが存在するレイアウトがコミック表示データ中に存在しており、各コマにコマ画像Ａ〜コマ画像Ｇの７つのフレーム画像が割り当てられている場合に着目する。また、このレイアウトに対応付けられているフレーム画像は、以下に示したようなダイジェストスコアを有しているものとする。ここで、上記の編集単位区画は、レイアウトの縦方向の中心位置を境にして、２つ設定されているものとする。このようなレイアウトにおいて、コマ２に割り当てられているコマ画像Ｂを、図１３Ｂ又は図１３Ｃに示したように、時系列の推移においてコマ画像Ｂよりも後に存在するコマ画像Ｘへと差し替えるユーザ操作が行われた場合を考える。
コミック表示データ編集部１０５が、ユーザ操作により指定されたコマに対応付けられたコマ画像を差し替える処理を実施する場合、差し替え前のコマ画像と、差し替え後のコマ画像との時系列の関係をどのように取り扱うかに応じて、２種類の差し替え方法を実施することが可能である。すなわち、コミック表示データ編集部１０５は、（１）コミック表示データの基となったコンテンツ群における時系列の推移を維持しないで、コマ画像の差し替えを行う場合と、（２）コミック表示データの基となったコンテンツ群における時系列の推移を維持したままで、コマ画像の差し替えを行う場合、の２種類の処理を実施することが可能である。
コミック表示データ編集部１０５が、上記２種類の処理のうちどちらの処理を実施するかについては、予め初期設定等で設定しておくことも可能であるし、その都度ユーザ操作に応じてどちらの処理を行うかを決定してもよい。
コミック表示データ編集部１０５は、上記（１）に示したように、時系列の推移を維持しないでコマ画像を差し替える場合、単に、ユーザ操作により指定されたコマに対応付けられている画像Ｂを、ユーザ操作により指定されたコマ画像であるコマ画像Ｘに差し替えればよい。
また、コミック表示データ編集部１０５は、ダイジェストスコアを時系列に沿って表示している特徴量表示領域の表示と、コミック様ページレイアウトのコマ割りにおける時系列の推移との整合を取るために、図１３Ｂに示したように、ダイジェストスコアの表示順を変更してもよい。すなわち、図１３Ｂに示した例では、特徴量表示領域に表示されているダイジェストスコアの配置の整合を取るために、差し替え前のコマ画像Ｂの位置と、差し替え後のコマ画像Ｘの位置と、を入れ替えてもよい。
また、コミック表示データ編集部１０５は、上記（２）に示したように、時系列の推移を維持したままコマ画像を差し替える場合、図１３Ｃに示したように、時系列において差し替えられたコマ画像Ｘよりも後に存在するコマ画像を更に利用して、コマ画像の差し替え処理を行う。すなわち、図１３Ｃに示した場合、コミック表示データ編集部１０５は、ユーザ操作により指定されたコマ画像Ｂをコマ画像Ｘへと差し替える。また、コミック表示データ編集部１０５は、差し替え後のコマ画像Ｘと、コマ３に対応付けられたコマ画像との時系列の推移の整合を取る。図１３Ｃに示した例の場合、コマ４以降は、異なる編集単位区画に属しているため、コミック表示データ編集部１０５は、コマ画像Ｘよりも後に存在し、コマ画像Ｄよりも前に位置するコマ画像を利用して、時系列の推移の整合を取る。その結果、コミック表示データ編集部１０５は、コマ３に対応づけられるコマ画像として、例えばコマ画像Ｙを選択する。
なお、図１３Ｃに示した例では、コマ２及びコマ３について、コマの大きさは維持したままでコマ画像の差し替え処理が実施される場合について図示しているが、コミック表示データ編集部１０５は、差し替え後の画像（図１３Ｃの場合では、画像Ｘ及び画像Ｙ）に対応付けられたダイジェストスコアの値を利用して、編集単位区画内でコマの大きさも含めたレイアウトの再設定を実施してもよい。この場合、コミック表示データ編集部１０５は、コミック表示データ生成処理部１０３と連携しながら、コマの大きさを再設定することとなる。
図１４Ａ及び図１４Ｂは、上記（２）に示した、時系列の推移を維持したままコマ画像を差し替える場合の処理の流れを示した流れ図である。
ユーザ操作により差し替え処理を実施するコマＫｎ及び新たなフレーム画像Ｘが選択されると、コミック表示データ編集部１０５は、差し替えるコマＫｎをコミック表示データの中から選択する（ステップＳ１０１）とともに、新たなフレーム画像Ｘを選択する（ステップＳ１０３）。
続いて、コミック表示データ編集部１０５は、パラメータｎの値が０であるかを判断する（ステップＳ１０５）。コマを特定するためのパラメータｎが０ではない場合、コミック表示データ編集部１０５は、コマＫｎ−ｉのフレーム画像Ａ（Ｋｎ−ｉ）と、画像Ｘとの時系列の関係に整合性があるかを判断する（ステップＳ１０７）。整合性がある場合には、コミック表示データ編集部１０５は、パラメータｎが最後の値であるか否かを判断する（ステップＳ１０９）。ｎが最後の値であった場合、コミック表示データ編集部１０５は、後述するステップＳ１１３を実施する。また、ｎが最後の値ではなかった場合、コミック表示データ編集部１０５は、コマＫｎ＋ｉのフレーム画像Ｃ（Ｋｎ＋ｉ）と、画像Ｘとの時系列の関係に整合性があるかを判断する（ステップＳ１１１）。整合性がある場合には、コミック表示データ編集部１０５は、コマＫｎの画像を画像Ｘに差し替える（ステップＳ１１３）。これにより、ユーザ操作により指定されたコマ画像Ｘの差し替え処理が終了することとなる。
一方、ステップＳ１０７において、コマＫｎ−ｉのフレーム画像Ａ（Ｋｎ−ｉ）と、画像Ｘとの時系列の関係に整合性がないと判断された場合、コミック表示データ編集部１０５は、コマに採用されておらず、かつ、コマＫｎ−ｉに採用可能なフレーム画像が存在するか否かを判断する（ステップＳ１２１）。そのようなフレーム画像が存在する場合、コミック表示データ編集部１０５は、該当するフレーム画像をコマＫｎ−ｉの画像に採用し（ステップＳ１２３）、その後、ステップＳ１０９の処理を実施する。また、コマに採用されておらず、かつ、コマＫｎ−ｉに採用可能なフレーム画像が存在しない場合、コミック表示データ編集部１０５は、コマＫｎ−ｉは削除し、コマＫｎ−ｉより前の部分に対してレイアウトを変更する（ステップＳ１２５）。その後、コミック表示データ編集部１０５は、パラメータｉの値から１を減じた後（ステップＳ１２７）、ステップＳ１０５の処理を実施する。
また、ステップＳ１１１において、コマＫｎ＋ｉのフレーム画像Ｃ（Ｋｎ＋ｉ）と、画像Ｘとの時系列の関係に整合性がないと判断された場合、コミック表示データ編集部１０５は、コマに採用されておらず、かつ、コマＫｎ＋ｉに採用可能なフレーム画像が存在するか否かを判断する（ステップＳ１３１）。そのようなフレーム画像が存在する場合、コミック表示データ編集部１０５は、該当するフレーム画像をコマＫｎ＋ｉの画像に採用し（ステップＳ１３３）、その後、ステップＳ１１３の処理を実施する。また、コマに採用されておらず、かつ、コマＫｎ＋ｉに採用可能なフレーム画像が存在しない場合、コミック表示データ編集部１０５は、コマＫｎ＋ｉは削除し、コマＫｎ＋ｉより後の部分に対してレイアウトを変更する（ステップＳ１３５）。その後、コミック表示データ編集部１０５は、パラメータｉの値に１を加えた後（ステップＳ１３７）、ステップＳ１０９の処理を実施する。
コミック表示データ編集部１０５は、以上のような流れで処理を行うことで、コマ画像の差し替えという編集処理を実施することができる。
［コマの追加］
次に、図１５Ａ〜図１６を参照しながら、コマの追加処理について具体的に説明する。
図１５Ａに例示したように、１ページに７つのコマが存在するレイアウトがコミック表示データ中に存在しており、各コマにコマ画像Ａ〜コマ画像Ｇの７つのフレーム画像が割り当てられている場合に着目する。また、このレイアウトに対応付けられているフレーム画像は、以下に示したようなダイジェストスコアを有しているものとする。
このようなレイアウトにおいて、まず、ユーザが特徴量表示領域における画像Ｘのダイジェストスコアを選択して、画像Ｘを追加する操作を行った場合を考える。換言すれば、以下で説明するコマ追加処理は、ユーザにより選択されたフレーム画像を、新たなコマとして新規にコミック様ページレイアウトに追加する編集処理である。
コミック表示データ編集部１０５は、上記のような状況下においてフレーム画像を追加する処理を実施する場合、図１５Ｂ〜図１５Ｄに示した３種類の方法の何れかを採用することができる。
図１５Ｂに示したコマの追加処理では、コミック表示データ編集部１０５は、ユーザ操作により選択されたフレーム画像のダイジェストスコアを、少なくともコマ採用の要否を判定する際に用いられる閾値以上まで増加させた上で、再レイアウト処理を実施する。以下の説明では、図１５Ｂに示したコミック様ページレイアウトのページ全体が、同一の編集単位区画に属しているものとする。
図１５Ｂに示した場合、レイアウト上に存在するコマ数は７つであるため、コミック表示データ編集部１０５は、上記閾値以上のダイジェストスコアを有するフレーム画像を７つ選択することとなる。図１５Ｂに示した例の場合、フレーム画像Ｂのダイジェストスコアは、フレーム画像Ｘのダイジェストスコアよりも小さな値となっているため、画像Ａ、Ｃ、Ｘ、Ｄ、Ｅ、Ｆ、Ｇの７つのフレーム画像が選択されることとなる。従って、かかる場合においては、コミック表示データ編集部１０５は、コマ２に対応づける画像を、画像Ｂから画像Ｃへと差し替えるとともに、コマ３に対応付ける画像を、画像Ｃから画像Ｘへと差し替える。
また、図１５Ｃに示したコマの追加処理では、コミック表示データ編集部１０５は、ユーザ操作により選択されたフレーム画像の直前までを第１の編集単位区画とし、ユーザ操作により選択されたフレーム画像の直後からを第２の編集単位区画として、それぞれの編集単位区画において、コマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。この際、コミック表示データ編集部１０５は、ユーザ操作により選択されたフレーム画像を、第１の編集単位区画又は第２の編集単位区画のどちらかに属するように取り扱い、レイアウトの再設定を実施する。
図１５Ｃに示した例では、コミック表示データ編集部１０５は、特徴量表示領域において、フレーム画像Ａ〜フレーム画像Ｘまでを第１の編集単位区画とし、フレーム画像Ｘの直後以降に存在するフレーム画像を、第２の編集単位区画として、コマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。その結果、図１５Ｃ上段に示したように、第１の編集単位区画では、フレーム画像Ａ、Ｂ、Ｃ、Ｘの４つの画像が選択され、それぞれに対応付けられたダイジェストスコアの値に応じて、コミック表示データ生成処理部１０３によりコマの大きさが再設定される。また、第２の編集単位区画では、コマの追加前と同様にフレーム画像Ｄ、Ｅ、Ｆ、Ｇの４つの画像が選択されることとなる。
図１５Ｄに示した例では、コミック表示データ編集部１０５は、ユーザ操作により選択されたフレーム画像Ｘ、及び、既に選択されている７つのフレーム画像（画像Ａ〜画像Ｇ）のみを利用して、時系列の推移を維持しながらレイアウトの再設定を行う。この場合において、図１５Ｄの上段に示した１つのページ全体が、一つの編集単位区画に設定されているものとする。
図１５Ｄに示した例では、コミック表示データ編集部１０５は、フレーム画像Ａ、Ｂ、Ｃ、Ｘ、Ｄ、Ｅ、Ｆ、Ｇの８枚のフレーム画像を選択するとともに、これら８枚のフレーム画像に対応付けられたダイジェストスコアの値に応じて、コミック表示データ生成処理部１０３によりコマの大きさが再設定される。
このように、コミック表示データ編集部１０５は、ユーザ操作によりコマの追加が指示された場合、上記３種類の方法の何れかを用いて、コマを追加する処理を実施することができる。
また、例えば図１６に示したように、ユーザ操作により、特定の画像を特定の位置に追加する旨が指定される場合も考えられる。図１６に示した例では、ユーザがコマ２とコマ３との間に、フレーム画像Ｘを追加する操作を行った場合の処理について図示している。
この場合、ユーザ操作によりコマ２とコマ３との間にコマ画像Ｘを追加することが指定されているため、コミック表示データ編集部１０５は、特徴量表示領域における時系列の整合を取るために、コマ画像Ｘを、コマ画像Ｂとコマ画像Ｃとの間の任意の位置へと移動させる。その後、コミック表示データ編集部１０５は、図１６のパターンＡ〜パターンＣに示した３種類の方法の何れかに基づいて、フレーム画像Ｘを追加する処理を実施する。
図１６に示したパターンＡの処理は、ユーザ操作により指定されたコマ順となるようにフレーム画像の並び変えを行った後に、図１５Ｂで説明したようなダイジェストスコアのかさ上げ処理を行って、特定のコマの位置に特定の画像を追加する処理である。
また、図１６に示したパターンＢの処理は、ユーザ操作により指定されたコマ順となるようにフレーム画像の並び変えを行った後に、図１５Ｃで説明したようにユーザにより指定された画像の前後で２つの編集単位区画を設定し、各編集単位区画において、少なくともコマ画像の選択を再設定する処理である。この場合、コミック表示データ編集部１０５は、コマ順の並び変えを行う際に、ユーザにより指定された画像Ｘを、指定されたコマ間の位置に隣接するコマ（図１６の場合では、コマ２及びコマ３）に対応するフレーム画像（画像Ｂ及び画像Ｃ）のほぼ中央に位置するように、コマ順の並び変えを行うことが好ましい。また、ユーザにより指定された画像は、第１の編集単位区画の最後、又は、第２の編集単位区画の先頭の何れかとなるようにすればよい。
また、図１６に示したパターンＣの処理は、ユーザ操作により指定されたコマ順となるようにフレーム画像の並び変えを行った後に、図１５Ｄで説明したような、ユーザに指定された画像及び既に選択されている画像のみを利用して、レイアウトの再設定を行う処理である。
コミック表示データ編集部１０５は、これらパターンＡ〜パターンＣの何れかの処理を行うことで、ユーザにより指定された画像を、ユーザにより指定された位置へ追加することができる。
［コマの削除］
次に、図１７Ａ〜図１７Ｄを参照しながら、コマの削除処理について、具体的に説明する。
図１７Ａに例示したように、１ページに７つのコマが存在するレイアウトがコミック表示データ中に存在しており、各コマにコマ画像Ａ〜コマ画像Ｇの７つのフレーム画像が割り当てられている場合に着目する。また、このレイアウトに対応付けられているフレーム画像は、以下に示したようなダイジェストスコアを有しているものとする。このようなレイアウトにおいて、ユーザがコマＤを選択して、選択したコマを削除する操作を行った場合を考える。
コミック表示データ編集部１０５は、上記のような状況下においてコマを削除する処理を実施する場合、図１７Ｂ〜図１７Ｄに示した３種類の方法の何れかを採用することができる。
図１７Ｂに示したコマの削除処理では、コミック表示データ編集部１０５は、ユーザ操作により選択されたコマに対応するフレーム画像のダイジェストスコアを、少なくともコマ採用の要否を判定する際に用いられる閾値未満まで減少させた上で、再レイアウト処理を実施する。以下の説明では、図１７Ｂに示したコミック様ページレイアウトのページ全体が、同一の編集単位区画に属しているものとする。
図１７Ｂに示した場合において、ダイジェストスコアが閾値以上となるフレーム画像が、フレーム画像Ａ、Ｂ、Ｙ、Ｃ、Ｅ、Ｆ、Ｇの７枚存在したとすると、コミック表示データ編集部１０５は、これら７枚のフレーム画像をコミック様ページレイアウトに利用するコマ画像として選択する。その上で、コミック表示データ編集部１０５は、選択した画像のダイジェストスコアをコミック表示データ生成処理部１０３に出力し、コマ割りの再設定を要請する。このような処理が行われることで、図１７Ｂの上段に示したような新たなレイアウトが生成されることとなる。
また、図１７Ｃに示したコマの削除処理では、コミック表示データ編集部１０５は、ユーザ操作により選択されたフレーム画像の直前までを第１の編集単位区画とし、ユーザ操作により選択されたフレーム画像以降を第２の編集単位区画として、第１の編集単位区画又は第２の編集単位区画の何れかにおいて、コマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。
図１７Ｃに示した例では、コミック表示データ編集部１０５は、特徴量表示領域において、フレーム画像Ａ〜フレーム画像Ｄの直前までを第１の編集単位区画とし、フレーム画像Ｄの直後以降に存在するフレーム画像を、第２の編集単位区画として、何れか一方の編集単位区画でコマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。
第２の編集単位区画でコマ割り及びコマに対応づけられるフレーム画像の再設定が実施されたものとする。その場合、図１７Ｃに示したダイジェストスコアにおいて、フレーム画像Ｅ、Ｆ、Ｇ、Ｈの４枚の画像が閾値以上のダイジェストスコアを有していたとすると、コミック表示データ編集部１０５は、これら４枚のフレーム画像をコマ画像として選択する。その上で、コミック表示データ編集部１０５は、選択した画像のダイジェストスコアをコミック表示データ生成処理部１０３に出力し、コマ割りの再設定を要請する。このような処理が行われることで、図１７Ｃの上段に示したような新たなレイアウトが生成されることとなる。
図１７Ｄに示した例では、コミック表示データ編集部１０５は、既に選択されている７つのフレーム画像（画像Ａ〜画像Ｇ）から、ユーザ操作により選択されたフレーム画像を除いたうえで、これらのフレーム画像のみを利用して、時系列の推移を維持しながらレイアウトの再設定を行う。この場合において、図１７Ｄの上段に示した１つのページ全体が、一つの編集単位区画に設定されているものとする。
図１７Ｄに示した例では、コミック表示データ編集部１０５は、フレーム画像Ａ、Ｂ、Ｃ、Ｅ、Ｆ、Ｇの６枚のフレーム画像を選択するとともに、これら６枚のフレーム画像に対応付けられたダイジェストスコアの値に応じて、コミック表示データ生成処理部１０３によりコマの大きさが再設定される。
このように、コミック表示データ編集部１０５は、ユーザ操作によりコマの削除が指示された場合、上記３種類の方法の何れかを用いて、コマを削除する処理を実施することができる。
［コマ形状の変更］
次に、図１８Ａ〜図１８Ｃを参照しながら、コマ形状の変更処理について、具体的に説明する。
図１８Ａに例示したように、１ページに７つのコマが存在するレイアウトがコミック表示データ中に存在しており、各コマにコマ画像Ａ〜コマ画像Ｇの７つのフレーム画像が割り当てられている場合に着目する。また、このレイアウトに対応付けられているフレーム画像は、以下に示したようなダイジェストスコアを有しているものとする。このようなレイアウトにおいて、ユーザがコマＤを選択して、選択したコマの形状を変更する操作を行った場合を考える。
なお、以下の説明では、ユーザがコマＤの大きさを拡大するユーザ操作を行った場合について説明を行うが、コミック表示データ編集部１０５は、コマの大きさを縮小するユーザ操作が行われた場合であっても同様に処理を行うことが可能である。
ここで、ユーザは、コマの形状を変更する際に、例えば、コマの頂点の何れかを指定してドラッグ操作を行うことで変更後のコマの形状を指定することができる。また、ユーザは、コマの各頂点の座標を数値で指定してもよい。このように、変更後のコマの形状をユーザが指定する方法は特に限定されるわけではなく、公知のあらゆる方法を適用することが可能である。
コミック表示データ編集部１０５は、上記のような状況下においてコマの形状を変更する処理を実施する場合、図１８Ｂ又は図１８Ｃに示した２種類の方法の何れかを採用することができる。
図１８Ｂに示したコマ形状の変更処理では、コミック表示データ編集部１０５は、ユーザ操作によりコマ形状が変更されたコマに対応付けられているフレーム画像の直前までを第１の編集単位区画とし、形状が変更されたコマに対応するフレーム画像以降を第２の編集単位区画として、第１の編集単位区画又は第２の編集単位区画の何れかにおいて、コマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。
図１８Ｂに示した例では、コミック表示データ編集部１０５は、特徴量表示領域において、フレーム画像Ａ〜フレーム画像Ｄの直前までを第１の編集単位区画とし、フレーム画像Ｄの直後以降に存在するフレーム画像を、第２の編集単位区画として、何れか一方の編集単位区画でコマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。
第２の編集単位区画でコマ割り及びコマに対応づけられるフレーム画像の再設定が実施されたものとする。この際、ユーザによって指定されたコマＤの大きさは、ユーザの意図を反映したものであるため、コミック表示データ編集部１０５は、図１８Ｂ上段に示したレイアウトのうちコマＤの右側に位置する領域（図１８Ｂ上段の図において、点線で囲った領域）を利用して、特徴量表示領域における第２の編集単位区画から選択された画像を配置する処理を実施する。
この場合に、コミック表示データ編集部１０５は、例えば、利用可能なレイアウト領域の大きさと、特徴量表示領域における第２の編集単位区画に存在するフレーム画像のダイジェストスコアとをコミック表示データ生成処理部１０３に出力し、再レイアウト処理を要請する。その後、コミック表示データ編集部１０５は、コミック表示データ生成処理部１０３による再レイアウト処理の結果に応じて、現在のコミック表示データを編集する。このような処理が行われることで、例えば図１８Ｂの上段に示したような新たなレイアウトが生成されることとなる。
図１８Ｃに示した例では、コミック表示データ編集部１０５は、既に選択されている７つのフレーム画像（画像Ａ〜画像Ｇ）のみを利用して、時系列の推移を維持しながらレイアウトの再設定を行う。この場合においても、ユーザによって指定されたコマＤの大きさは、ユーザの意図を反映したものであるため、コミック表示データ編集部１０５は、図１８Ｃ上段に示したレイアウトのうち、コマＤを除いた領域を利用して、レイアウトの再設定を実施する。この場合において、図１８Ｃの上段に示した１つのページ全体が、一つの編集単位区画に設定されているものとする。
図１８Ｃに示した例では、コミック表示データ編集部１０５は、フレーム画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇの７枚のフレーム画像を選択するとともに、これら７枚のフレーム画像に対応付けられたダイジェストスコアの値及びコマＤを除いたレイアウト領域の大きさに応じて、コミック表示データ生成処理部１０３によりコマの大きさが再設定される。その結果、図１８Ｃの上段に示したようなレイアウトが生成されることとなる。
このように、コミック表示データ編集部１０５は、ユーザ操作によりコマの形状の変更が指示された場合、上記２種類の方法の何れかを用いて、コマ形状を変更する処理を実施することができる。
［コマ画像の表示領域（クロップ領域）の変更］
次に、図１９を参照しながら、コマに対応付けられたフレーム画像のうちコマの内部に表示される領域（クロップ領域）の変更処理について、具体的に説明する。
本実施形態に係るコミック表示データでは、コマに対応付けられたフレーム画像は、画像全体がコマ内に表示されるように対応付けられる場合もあり、フレーム画像の一部のみがコマ内に表示されるように対応付けられる場合もある。コミック表示データ編集部１０５は、ユーザ操作に応じて、コマ内に表示される画像の表示領域（クロップ領域）を編集することができる。
ユーザ操作により、プレビュー表示領域に記載されているあるコマが選択されると、図１９に例示したように、画像表示領域にはユーザにより選択されたコマのサムネイル画像が表示される。この際、フレーム画像の全域がコマ内に表示されていない場合には、プレビュー表示領域には、図１９に例示したように、コマ内に表示されている画像の部分が、枠で囲まれて強調されている。
そこで、コミック表示データ編集部１０５は、ユーザ操作により、クロップ領域を示す枠囲いの大きさや位置が変更となった場合に、コマ内に表示させる画像領域をユーザ操作に追随させる。これにより、コミック表示データ編集部１０５は、コマ内に表示される画像の領域をユーザ操作に応じて編集することができる。
なお、図１９では、ユーザが枠囲いを編集することでクロップ領域を指定する場合について図示しているが、ユーザは、座標を指定することで、クロップ領域を特定することも可能である。
［コマへのエフェクトの追加／削除］
次に、図２０を参照しながら、コマへのエフェクトの追加処理、及び、コマからのエフェクトの削除処理について、具体的に説明する。
本実施形態に係る情報処理装置１０では、コミック表示データにおけるページレイアウトの任意の箇所に、図６や図７に示したような、吹き出し及び画面効果の少なくとも何れかを含むエフェクトオブジェクトを追加することが可能である。同様に、本実施形態に係る情報処理装置１０では、既に配置されているエフェクトオブジェクトを、ページレイアウトの中から削除することも可能である。
この際、本実施形態に係る情報処理装置１０では、各ページレイアウトにおけるエフェクトオブジェクトの配置位置を、座標に基づいて管理している。エフェクトオブジェクトの配置位置を表す座標系は、例えば、各ページレイアウトの左上に位置する点を原点とする絶対座標系であってもよいし、エフェクトオブジェクトを含むコマとの相対的な位置を表す座標系であってもよい。エフェクトオブジェクトを絶対座標系と相対座標系のどちらで管理するかについては、ユーザが適宜指定することが可能である。
例えば図２０左側に示したようなページレイアウトが存在し、ユーザ操作によりコマ５にエフェクトオブジェクトＺが追加された場合を考える。この場合、エフェクトオブジェクトＺの位置は、コマ１の左上の頂点を基準とする絶対座標系で表記されていてもよく、コマ５に対応付けられた画像に対する相対位置で表記されていてもよい。
図２０左側に示したようなコミック様ページレイアウトにおいて、更なるユーザ操作により、図２０右側に示したようにコマＤを拡大する指示がなされた場合を考える。この際、エフェクトオブジェクトの位置が絶対座標系に基づいて管理されている場合には、コミック表示データ編集部１０５は、ユーザにより行われたユーザ操作に関わらず、エフェクトオブジェクトＺの位置を変更しない。一方、エフェクトオブジェクトの位置がコマに対する相対位置として管理されている場合には、エフェクトオブジェクトが関連付けられたコマの座標系を維持しながら、新たにエフェクトオブジェクトＺが再設定されることとなる。
また、コミック表示データ編集部１０５は、ユーザ操作に応じて、エフェクトオブジェクトが関連付けられているコマをページレイアウト内から削除することとなった場合、エフェクトオブジェクトの位置が絶対座標系に基づいて管理されている場合には、エフェクトオブジェクトは影響を受けないが、コマに対する相対位置として管理されている場合には、コマの削除にあわせてエフェクトオブジェクトもレイアウト上から削除する。
なお、上記説明では、コマ形状の変更処理を例に挙げて説明を行ったが、コマ画像の差し替え、コマの追加又は削除、クロップ領域の変更といった編集処理においても、コミック表示データ編集部１０５は、同様の処理を実施する。
［レイアウト全体に対してのテーマの選択・変更］
次に、図２１を参照しながら、レイアウト全体に対してのテーマの選択・変更処理について簡単に説明する。
コミック表示データ編集部１０５は、既に生成されているコミック表示データのページ背景やコマ形状を、図２１に示したように、予め設定されている各種のテンプレートに従って変更することができる。図２１に示したように、各コマの形状は矩形状に限定されるわけではなく、任意の形状であってもよい。
コミック表示データ編集部１０５は、ユーザ操作によりページ背景を含むコマ割りテンプレートが選択されると、選択されたテンプレートのコマ形状に従って、生成されているコミック表示データのコマ形状にマスク処理を行う。その結果、図２１左側に示したようなページレイアウトが、図２１右側に示したようなページレイアウトへと変更されることとなる。
以上、図１３〜図２１を参照しながら、本実施形態に係るコミック表示データ編集部１０５の機能について、具体的に説明した。
再び図１１に戻って、コミック表示実行部１０７について説明する。
コミック表示実行部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。コミック表示実行部１０７は、コミック表示データ生成部１０３により生成されたコミック表示データや、コミック表示データ編集部１０５による編集処理後のコミック表示データを実行するためのアプリケーションを実行することで、例えば図８〜図１０に示したようなコミック表示を実行する。コミック表示データを実行するためのアプリケーションは、図２〜図１０に示したようなコミック表示用の専用アプリケーションであってもよく、Ｗｅｂブラウザのような一般的なアプリケーションであってもよい。コミック表示実行部１０７は、コミック表示データを実行し、表示制御部１０９を介してコミック表示をディスプレイ等の表示部（図示せず。）に表示させる。
表示制御部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。表示制御部１０９は、記憶部１１１等に格納されている表示画面に表示すべき内容に対応するデータを取得して、表示画面に表示する。また、情報処理装置１０に備えられたマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置から、ポインタ等の位置選択オブジェクトの移動を表す信号が伝送された場合には、表示制御部１０９は、伝送された信号にあわせて位置選択オブジェクトの移動を表示画面に表示させる。また、表示制御部１０７は、コミック表示データ生成処理部１０３、コミック表示データ編集部１０５及びコミック表示実行部１０７から、表示画面に表示されている表示内容の変更を要請された場合には、これらの処理部からの要請に基づき表示画面に表示されている表示内容の変更を行なう。
また、本実施形態に係る表示制御部１０９は、情報処理装置１０に設けられたディスプレイ等の表示装置だけでなく、情報処理装置１０に直接接続された、又は、各種のネットワークを介して接続された各種の表示装置の表示制御を行うことも可能である。これにより、本実施形態に係る表示制御部１０９は、情報処理装置１０の外部に設けられた表示装置の表示制御を実現することが可能となる。
記憶部１１１は、例えば、ＲＡＭやストレージ装置等により実現される。記憶部１１１には、記憶部１１１には、表示画面に表示されるオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース（ＧＵＩ）を構成する任意のパーツ類が含まれる。また、記憶部１１１には、本実施形態に係る情報処理装置１０が、図２〜図１０に示したようなアプリケーションを含む各種のプログラム、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベース等が、適宜記録されてもよい。更に、記憶部１１１には、ビデオカメラや携帯電話等で撮影された動画データやＴＶコンテンツ等の動画コンテンツ等の各種の動画データや、デジタルスチルカメラや携帯電話等で撮影された静止画データが格納されていてもよい。
この記憶部１１１は、コンテンツデータ取得部１０１、コミック表示データ生成処理部１０３、コミック表示データ編集部１０５、表示制御部１０７、コミック表示実行部１０９等の各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜第１変形例＞
図１１に示したコンテンツデータ取得部１０１、コミック表示データ生成処理部１０３、コミック表示データ編集部１０５、コミック表示実行部１０７、表示制御部１０９及び記憶部１１１の機能は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
例えば図２２は、本実施形態に係る情報処理装置１０の機能が、ネットワークを介して相互に通信可能な、コミック表示データ処理サーバ２０、データ管理サーバ３０及びユーザ操作端末４０に分散して実現されている場合における情報処理システムを示している。
コミック表示データ処理サーバ２０は、後述するユーザ操作端末４０からの要請に応じて、コミック表示データの生成処理を実施して、生成したコミック表示データをユーザ操作端末４０に提供する。また、コミック表示データ処理サーバ２０は、既に生成されているコミック表示データを、後述するデータ管理サーバ３０から取得し、ユーザ操作端末４０から出力されるユーザ操作に関するユーザ操作情報に基づいて、コミック表示データの編集処理を実施する。
このコミック表示データ処理サーバ２０は、コンテンツデータ取得部２０１と、コミック表示データ生成処理部２０３と、コミック表示データ編集部２０５と、を主に備える。
ここで、コンテンツデータ取得部２０１及びコミック表示データ生成処理部２０３は、第１の実施形態に係る情報処理装置１０が備えるコンテンツデータ取得部１０１及びコミック表示データ生成処理部１０３と同様の構成を有し、同様の効果を奏するものである。従って、以下では詳細な説明は省略する。
また、本変形例に係るコミック表示データ編集部２０５は、コミック表示データ生成処理部２０３が生成したコミック表示データや、データ管理サーバ３０に格納されているコミック表示データや、ユーザ操作端末４０が保持しているコミック表示データに対して、ユーザ操作端末４０から送信されるユーザ操作情報に基づいて編集処理を実施する以外は、第１の実施形態に係る情報処理装置１０が備えるコミック表示データ編集部１０５と同様の構成を有し、同様の効果を奏するものである。従って、以下では詳細な説明は省略する。
データ管理サーバ３０は、図２２に示したように、コミック表示データ処理サーバ２０により生成されたコミック表示データを格納する記憶部３０１を主に備える。データ管理サーバ３０は、インターネット等のネットワークを介して接続されている１又は複数のコミック表示データ処理サーバ２０やユーザ操作端末４０からコミック表示データの提供を要請された場合に、要請のあったコミック表示データを要請のあった装置に対して出力する。
ユーザ操作端末４０は、図２２に示したように、コミック表示データ提供要請部４０１と、ユーザ操作情報出力部４０３と、コミック表示実行部４０５と、表示制御部４０７と、を主に備える。
コミック表示データ提供要請部４０１は、コミック表示データ処理サーバ２０やデータ管理サーバ３０に対して、コミック表示データの提供を要請する。また、コミック表示データ提供要請部４０１は、既に生成されているコミック表示データに対する編集処理を、コミック表示データ処理サーバ２０に対して要請する。
コミック表示データ処理サーバ２０やデータ管理サーバ３０から、所望のコミック表示データが提供されると、コミック表示データ提供要請部４０１は、取得したコミック表示データを、後述するコミック表示実行部４０５に出力する。
ユーザ操作情報出力部４０３は、ユーザ操作端末４０が備えるマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置に対してユーザが行った操作（ユーザ操作）を表す情報を、ユーザ操作情報として出力する。ユーザ操作情報出力部４０３が、かかるユーザ操作情報をコミック表示データ処理サーバ２０に出力することで、コミック表示データ処理サーバ２０のコミック表示データ編集部２０５は、ユーザの求めるコミック表示データの編集処理を実施することができる。
本変形例に係るコミック表示実行部４０５及び表示制御部４０７は、第１の実施形態に係る情報処理装置１０が備えるコミック表示実行部１０７及び表示制御部１０９と同様の構成を有し、同様の効果を奏するものである。従って、以下では詳細な説明は省略する。
以上、図２２を参照しながら、第１の実施形態に係る情報処理装置１０の第１変形例に関して、簡単に説明した。
（ハードウェア構成について）
次に、図２３を参照しながら、本開示の実施形態に係る情報処理装置１０のハードウェア構成について、詳細に説明する。図２３は、本開示の実施形態に係る情報処理装置１０のハードウェア構成を説明するためのブロック図である。
情報処理装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置１０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、ジェスチャー入力装置、視線入力装置などユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、プロジェクタおよびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に直接各種のデータを提供したりする。
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
（まとめ）
以上説明したように、本開示の実施形態に係る情報処理装置及び情報処理方法では、動画や静止画からなるコンテンツから生成された、画像がコミック風のコマ割りレイアウトに割り当てられたダイジェストコンテンツに対して、簡単なインタラクションでコマ割りレイアウトやコマのエフェクト等を編集することが可能となる。
また、本開示の実施形態に係る情報処理装置では、生成されたダイジェストコンテンツを基に、コマの追加や削除、領域の編集、エフェクトの編集といった、ダイジェストコンテンツの編集作業を、ユーザが容易に行うことが可能な、ユーザインタフェースを提供することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理部を備える、情報処理装置。
（２）
前記表示領域は、１又は複数の編集単位区画に区画されており、
前記編集処理部は、前記表示領域内の一のコマ又は相隣接する前記コマ間に対して、前記コマ割り又はコマへの画像の配置に関する前記ユーザ操作が行われた場合、当該ユーザ操作が行われた前記コマ又は前記コマ間が属する前記編集単位区画内で、前記コマ割り又は前記コマへの画像の配置を再設定する、（１）に記載の情報処理装置。
（３）
前記編集処理部は、前記ユーザ操作に応じて、前記コマに配置された前記画像の差し替え、前記コマの追加もしくは削除、前記コマの形状の変更、前記コマに配置された前記画像の当該コマでの表示範囲の変更、又は、前記表示領域内に対する吹き出し及び画面効果の少なくとも何れかを含むエフェクトオブジェクトの追加もしくは削除を実施する、（１）又は（２）に記載の情報処理装置。
（４）
前記編集処理部は、前記コンテンツでの時間の流れ又は当該コンテンツでの前記画像の並び順の少なくとも何れかに関する時系列の推移を維持しつつ、前記画像の差し替え、前記コマの追加もしくは削除、又は、前記コマの形状の変更を実施する、（３）に記載の情報処理装置。
（５）
前記編集処理部は、前記ユーザ操作に応じて、前記コマの追加又は削除を行う際に、当該コマに対応付けられた前記画像を特徴づける特徴量の大きさを変化させた上で、前記表示領域に含まれる前記コマ割りを、前記特徴量に基づいて再設定する、（３）に記載の情報処理装置。
（６）
前記編集処理部は、
前記ユーザ操作に応じて、前記コマの追加もしくは削除、又は、前記コマ形状の変更を行う際に、前記表示領域内に存在する前記コマに対応付けられた画像を、前記コンテンツでの時間の流れ又は当該コンテンツでの前記画像の並び順の少なくとも何れかに関する時系列において当該ユーザ操作に対応する前記コマよりも先駆する前記画像群と、後続する前記画像群と、に区分し、
前記先駆する画像群を第１の前記編集単位区画とするとともに、前記後続する画像群を第２の前記編集単位区画として、それぞれの前記編集単位区画に基づいて処理を実施する、（３）に記載の情報処理装置。
（７）
前記コンテンツに基づいて前記ダイジェストコンテンツを生成する生成処理部を更に備え、
前記編集処理部は、前記生成処理部と連携しつつ、前記ユーザ操作に応じて前記コマ割り又はコマへの前記画像の配置の少なくとも何れかを編集する、（１）〜（６）の何れか１つに記載の情報処理装置。
（８）
静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集することを含む、情報処理方法。
（９）
コンピュータに、
静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理機能
を実現させるためのプログラム。
１０ 情報処理装置
１０１ コンテンツデータ取得部
１０３ コミック表示データ生成処理部
１０５ コミック表示データ編集部
１０７ コミック表示実行部
１０９ 表示制御部
１１１ 記憶部

Claims (9)

  1. 静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理部を備える、情報処理装置。
  2. 前記表示領域は、１又は複数の編集単位区画に区画されており、
    前記編集処理部は、前記表示領域内の一のコマ又は相隣接する前記コマ間に対して、前記コマ割り又はコマへの画像の配置に関する前記ユーザ操作が行われた場合、当該ユーザ操作が行われた前記コマ又は前記コマ間が属する前記編集単位区画内で、前記コマ割り又は前記コマへの画像の配置を再設定する、請求項１に記載の情報処理装置。
  3. 前記編集処理部は、前記ユーザ操作に応じて、前記コマに配置された前記画像の差し替え、前記コマの追加もしくは削除、前記コマの形状の変更、前記コマに配置された前記画像の当該コマでの表示範囲の変更、又は、前記表示領域内に対する吹き出し及び画面効果の少なくとも何れかを含むエフェクトオブジェクトの追加もしくは削除を実施する、請求項２に記載の情報処理装置。
  4. 前記編集処理部は、前記コンテンツでの時間の流れ又は当該コンテンツでの前記画像の並び順の少なくとも何れかに関する時系列の推移を維持しつつ、前記画像の差し替え、前記コマの追加もしくは削除、又は、前記コマの形状の変更を実施する、請求項３に記載の情報処理装置。
  5. 前記編集処理部は、前記ユーザ操作に応じて、前記コマの追加又は削除を行う際に、当該コマに対応付けられた前記画像を特徴づける特徴量の大きさを変化させた上で、前記表示領域に含まれる前記コマ割りを、前記特徴量に基づいて再設定する、請求項３に記載の情報処理装置。
  6. 前記編集処理部は、
    前記ユーザ操作に応じて、前記コマの追加もしくは削除、又は、前記コマ形状の変更を行う際に、前記表示領域内に存在する前記コマに対応付けられた画像を、前記コンテンツでの時間の流れ又は当該コンテンツでの前記画像の並び順の少なくとも何れかに関する時系列において当該ユーザ操作に対応する前記コマよりも先駆する前記画像群と、後続する前記画像群と、に区分し、
    前記先駆する画像群を第１の前記編集単位区画とするとともに、前記後続する画像群を第２の前記編集単位区画として、それぞれの前記編集単位区画に基づいて処理を実施する、請求項３に記載の情報処理装置。
  7. 前記コンテンツに基づいて前記ダイジェストコンテンツを生成する生成処理部を更に備え、
    前記編集処理部は、前記生成処理部と連携しつつ、前記ユーザ操作に応じて前記コマ割り又はコマへの前記画像の配置の少なくとも何れかを編集する、請求項１に記載の情報処理装置。
  8. 静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集することを含む、情報処理方法。
  9. コンピュータに、
    静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理機能
    を実現させるためのプログラム。
JP2011216582A 2011-09-30 2011-09-30 情報処理装置、情報処理方法及びプログラム Expired - Fee Related JP5817400B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011216582A JP5817400B2 (ja) 2011-09-30 2011-09-30 情報処理装置、情報処理方法及びプログラム
US13/589,440 US10380773B2 (en) 2011-09-30 2012-08-20 Information processing apparatus, information processing method, and computer readable medium
CN2012103572376A CN103197850A (zh) 2011-09-30 2012-09-21 信息处理设备、信息处理方法和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011216582A JP5817400B2 (ja) 2011-09-30 2011-09-30 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013077982A true JP2013077982A (ja) 2013-04-25
JP2013077982A5 JP2013077982A5 (ja) 2014-10-16
JP5817400B2 JP5817400B2 (ja) 2015-11-18

Family

ID=47993840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011216582A Expired - Fee Related JP5817400B2 (ja) 2011-09-30 2011-09-30 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10380773B2 (ja)
JP (1) JP5817400B2 (ja)
CN (1) CN103197850A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014219841A (ja) * 2013-05-08 2014-11-20 住友電工ネットワークス株式会社 操作入力装置および操作入力プログラム
KR20160115869A (ko) * 2016-08-12 2016-10-06 네이버 주식회사 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램
JP2018511102A (ja) * 2015-02-03 2018-04-19 ネイバーウェブトゥーン コーポレーション インターネット漫画コンテンツの流通のための方法とシステム、および記録媒体
JP6469789B1 (ja) * 2017-09-13 2019-02-13 株式会社インフォシティ 電子コミック書籍ダイジェスト生成装置および方法
US10304493B2 (en) 2015-03-19 2019-05-28 Naver Corporation Cartoon content editing method and cartoon content editing apparatus
JP2019133605A (ja) * 2018-02-02 2019-08-08 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
WO2021210233A1 (ja) * 2020-04-17 2021-10-21 株式会社セルシス 電子書籍のコンテンツ生成方法及びプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US20140201248A1 (en) * 2013-01-16 2014-07-17 Myongji University Industry And Academia Cooperation Foundation Method and apparatus for representing bubble effect using metadata
US20150212654A1 (en) * 2014-01-28 2015-07-30 Comikka, Inc. Architecture for providing dynamically sized image sequences
USD763267S1 (en) * 2014-03-14 2016-08-09 Dacadoo Ag Display panel portion with a graphical user interface component
US9933922B2 (en) * 2014-03-27 2018-04-03 Sybase, Inc. Child container control of parent container of a user interface
CN105631914A (zh) * 2014-10-31 2016-06-01 鸿富锦精密工业(武汉)有限公司 漫画创作系统及方法
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
CN104881844B (zh) * 2015-06-29 2017-12-29 北京金山安全软件有限公司 一种图片组合的方法、装置以及终端设备
CN104991733A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种图片处理方法及移动终端
CN105608725A (zh) * 2015-12-30 2016-05-25 联想(北京)有限公司 一种图像处理方法及电子设备
JP2017167433A (ja) * 2016-03-17 2017-09-21 株式会社東芝 サマリ生成装置、サマリ生成方法及びサマリ生成プログラム
CN106095250B (zh) * 2016-07-29 2019-12-27 维沃移动通信有限公司 应用程序图标布局的方法及移动终端
US11249713B2 (en) * 2017-01-27 2022-02-15 Adobe Inc. Online conference collaboration by leveraging a plurality of client devices
JP2021009608A (ja) * 2019-07-02 2021-01-28 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN112819685B (zh) * 2019-11-15 2022-11-04 青岛海信移动通信技术股份有限公司 一种图像的风格模式推荐方法和终端
CN112818146B (zh) * 2021-01-26 2022-12-02 山西三友和智慧信息技术股份有限公司 一种基于产品图像风格的推荐方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265547A (ja) * 1996-03-29 1997-10-07 Nippon Telegr & Teleph Corp <Ntt> 映像情報編集装置
JP2009065462A (ja) * 2007-09-06 2009-03-26 Toshiba Corp 映像を要約する装置、方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7325198B2 (en) * 2002-12-31 2008-01-29 Fuji Xerox Co., Ltd. Calendar-based interfaces for browsing and manipulation of digital images
CA2628846A1 (en) * 2005-08-09 2007-02-15 Zalag Corporation Methods and apparatuses to assemble, extract and deploy content from electronic documents
US8301999B2 (en) * 2006-09-25 2012-10-30 Disney Enterprises, Inc. Methods, systems, and computer program products for navigating content
KR100898454B1 (ko) * 2006-09-27 2009-05-21 야후! 인크. 통합 검색 서비스 시스템 및 방법
JP5326910B2 (ja) * 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8073657B2 (en) * 2009-03-03 2011-12-06 Igt 3-D casino gaming floor visualization utilizing real-time and batch data
US20100315315A1 (en) * 2009-06-11 2010-12-16 John Osborne Optimal graphics panelization for mobile displays
JP2011118833A (ja) * 2009-12-07 2011-06-16 Sony Corp マンガ作成装置、マンガ作成方法及びマンガ作成プログラム
US20120013640A1 (en) * 2010-07-15 2012-01-19 Academia Sinica Graphical representation of events
CN102737362B (zh) * 2011-04-01 2015-07-08 国基电子（上海）有限公司 具漫画图像分割功能的电子装置及方法
JP2013025748A (ja) * 2011-07-26 2013-02-04 Sony Corp 情報処理装置、動画要約方法、及びプログラム
US20130318424A1 (en) * 2012-05-28 2013-11-28 Ian A. R. Boyd System and method for the creation of an e-enhanced multi-dimensional pictostory using pictooverlay technology
US9286668B1 (en) * 2012-06-18 2016-03-15 Amazon Technologies, Inc. Generating a panel view for comics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265547A (ja) * 1996-03-29 1997-10-07 Nippon Telegr & Teleph Corp <Ntt> 映像情報編集装置
JP2009065462A (ja) * 2007-09-06 2009-03-26 Toshiba Corp 映像を要約する装置、方法およびプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014219841A (ja) * 2013-05-08 2014-11-20 住友電工ネットワークス株式会社 操作入力装置および操作入力プログラム
JP2018511102A (ja) * 2015-02-03 2018-04-19 ネイバーウェブトゥーン コーポレーション インターネット漫画コンテンツの流通のための方法とシステム、および記録媒体
US10715842B2 (en) 2015-02-03 2020-07-14 Naver Webtoon Corporation Method and system for distributing internet cartoon content, and recording medium
US10304493B2 (en) 2015-03-19 2019-05-28 Naver Corporation Cartoon content editing method and cartoon content editing apparatus
KR20160115869A (ko) * 2016-08-12 2016-10-06 네이버 주식회사 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램
KR101950420B1 (ko) 2016-08-12 2019-05-10 네이버 주식회사 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램
JP6469789B1 (ja) * 2017-09-13 2019-02-13 株式会社インフォシティ 電子コミック書籍ダイジェスト生成装置および方法
JP2019053362A (ja) * 2017-09-13 2019-04-04 株式会社インフォシティ 電子コミック書籍ダイジェスト生成装置および方法
JP2019133605A (ja) * 2018-02-02 2019-08-08 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US11048405B2 (en) 2018-02-02 2021-06-29 Fujifilm Business Innovation Corp. Information processing device and non-transitory computer readable medium
WO2021210233A1 (ja) * 2020-04-17 2021-10-21 株式会社セルシス 電子書籍のコンテンツ生成方法及びプログラム
KR20220100730A (ko) * 2020-04-17 2022-07-15 가부시키가이샤 세루시스 전자서적의 콘텐츠 생성방법 및 컴퓨터 판독 가능 매체
KR102467919B1 (ko) 2020-04-17 2022-11-16 가부시키가이샤 세루시스 전자서적의 콘텐츠 생성방법 및 컴퓨터 판독 가능 매체
US11798212B2 (en) 2020-04-17 2023-10-24 CELSYS, Inc. Content generation method for electronic books and computer-readable medium

Also Published As

Publication number Publication date
JP5817400B2 (ja) 2015-11-18
US10380773B2 (en) 2019-08-13
US20130086458A1 (en) 2013-04-04
CN103197850A (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
JP5817400B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8701008B2 (en) Systems and methods for sharing multimedia editing projects
US8819559B2 (en) Systems and methods for sharing multimedia editing projects
JP4853510B2 (ja) 情報処理装置、表示制御方法およびプログラム
US10515143B2 (en) Web-based system for capturing and sharing instructional material for a software application
US8726153B2 (en) Multi-user networked digital photo display with automatic intelligent organization by time and subject matter
JP6217645B2 (ja) 情報処理装置、再生状態制御方法及びプログラム
JP2007533271A (ja) テレビジョン・ニュースのためのオーディオビジュアル作業および対応するテキストの編集システム
US20170243611A1 (en) Method and system for video editing
JPWO2009020103A1 (ja) 映像データ編集のためのインターフェースシステム
JP2008250899A (ja) コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラム及びコンテンツ再生プログラムを記録した媒体
KR20140043359A (ko) 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램 제품
CN112987999B (zh) 视频编辑方法、装置、计算机可读存储介质及电子设备
JP2007141092A (ja) 情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体
JP6103962B2 (ja) 表示制御装置及びその制御方法
JP2007267356A (ja) ファイル管理プログラム、サムネイル画像表示方法および動画再生装置
CN113711575A (zh) 用于基于表现即时组装视频剪辑的系统和方法
CN113901776A (zh) 音频交互方法、介质、装置和计算设备
JP4674726B2 (ja) ファイルの管理方法および情報処理装置
JP2011193386A (ja) 電子機器及び画像処理方法
US12056338B2 (en) Systems, methods, and user interfaces for editing digital assets
US20240353989A1 (en) Systems, methods, and user interfaces for editing digital assets
JP2011150568A (ja) 生産準備活動プログラム
JP2006048151A (ja) コンテンツ閲覧システム、コンテンツサーバ、プログラムおよび記憶媒体
KR101939806B1 (ko) 터치 감응식 유저 인터페이스에서의 동영상 구간탐색을 위한 컴퓨터 구현방법 및 사용자 단말장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150914

R151 Written notification of patent or utility model registration

Ref document number: 5817400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees