JP2007141092A - Device, method and program for presenting information and information recording medium - Google Patents

Device, method and program for presenting information and information recording medium Download PDF

Info

Publication number
JP2007141092A
JP2007141092A JP2005336140A JP2005336140A JP2007141092A JP 2007141092 A JP2007141092 A JP 2007141092A JP 2005336140 A JP2005336140 A JP 2005336140A JP 2005336140 A JP2005336140 A JP 2005336140A JP 2007141092 A JP2007141092 A JP 2007141092A
Authority
JP
Japan
Prior art keywords
content
highlight
contents
information
arrangement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005336140A
Other languages
Japanese (ja)
Other versions
JP4555214B2 (en
Inventor
Masahiro Yuguchi
昌宏 湯口
Takashi Sato
隆 佐藤
Yuichi Yoshida
悠一 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005336140A priority Critical patent/JP4555214B2/en
Publication of JP2007141092A publication Critical patent/JP2007141092A/en
Application granted granted Critical
Publication of JP4555214B2 publication Critical patent/JP4555214B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently browse highlight scenes of contents, to easily judge details of the contents even when various contents are presented. <P>SOLUTION: In the contents read by a content data requesting/receiving part, representative scenes of the highlight scenes in the contents are detected by processing of a content highlight selection part and a highlight peak detection part. The respective contents are displayed on preset content presenting positions A-H. Here, a position of the presenting position A is positioned in the forefront surface in a virtual three-dimensional space and on the contrary, a position of the presenting position E is positioned in the very back. The respective contents are displayed with smaller size as they go to the back of the virtual three-dimensional space to express a feeling of depth. Display sizes of the respective contents are adjusted by a content display setting part. In addition, the respective contents are arranged at equal intervals and in reproduction of the contents, the contents automatically move on the circumference on the basis of the center of a circle. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、映像コンテンツや音楽コンテンツを同時に複数表示しながら、効率的なコンテンツの選択を実現するための情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体に関する。   The present invention relates to an information presentation device, an information presentation method, an information presentation program, and an information recording medium for realizing efficient content selection while simultaneously displaying a plurality of video contents and music contents.

現在、ネットワークの拡大と高速化、そしてHDD(ハードディスク)レコーダやDVD(デジタルバーサタイズディスク)レコーダ、デジタルビデオカメラなどが普及し始めており、一般のユーザでも大量の映像や音楽、音声などのコンテンツを比較的容易に利用できるようになってきている。   Currently, the expansion and speeding up of networks, HDD (hard disk) recorders, DVD (digital versatile disk) recorders, digital video cameras, etc. have begun to spread, and even general users can enjoy a large amount of content such as video, music, and audio. It has become relatively easy to use.

例えば、ネットワーク上にはストリーミング形式、ビデオ・オン・デマンド形式などで利用できるコンテンツが大量に存在しており、ユーザはこれらのコンテンツをダウンロードしたりリアルタイムで視聴したりすることが可能となっている。また、HDDレコーダなどでは数100時間分の映像コンテンツを蓄積しておき、任意のコンテンツをいつでも自由に視聴できるようになっている。さらに、デジタルビデオカメラやデジタルカメラなども普及しており、個人で映像コンテンツを撮影・編集し、利用できるようになっている。   For example, there are a large amount of content that can be used in streaming format, video-on-demand format, etc. on the network, and users can download and view these content in real time. . Also, an HDD recorder or the like accumulates video content for several hundred hours so that any content can be viewed freely at any time. In addition, digital video cameras and digital cameras have become widespread, and video content can be taken, edited, and used by individuals.

このように、現在ではユーザの身の回りに大量のコンテンツが溢れはじめている。この結果、ユーザは大量のコンテンツの中から興味のあるコンテンツ、有益な情報を含んだコンテンツなどを効率的に選択・抽出する必要が生じている。
しかしながら、現状では、大量のコンテンツの中から効率的にコンテンツを選択する手法は少ない。これらの手法の一つとして、コンテンツのサムネイルを並べて表示する、という手法がある。例えば、映像コンテンツの場合、そのコンテンツを代表するような、ハイライトシーンを並べて表示する、という方法である。この方法では、ハイライトシーンを平面的に表示するだけであるため、比較的簡易に作成することができる。しかしながら、ハイライトシーンが表示されていても、利用者にとって未視聴のコンテンツのストーリーを把握することは困難であるため、コンテンツの効率的な選択を行うことは難しい。
In this way, a large amount of content is now overflowing around the user. As a result, there is a need for the user to efficiently select and extract interesting content, content including useful information, and the like from a large amount of content.
However, at present, there are few methods for efficiently selecting content from a large amount of content. As one of these methods, there is a method of displaying thumbnails of contents side by side. For example, in the case of video content, there is a method in which highlight scenes that represent the content are displayed side by side. In this method, since the highlight scene is only displayed in a plane, it can be created relatively easily. However, even if a highlight scene is displayed, it is difficult for the user to grasp the story of unviewed content, and it is difficult to select content efficiently.

サムネイルを利用した手段以外の従来技術の1つとして、NTTの「InfoLead」がある。この「InfoLead」では、大量のコンテンツの中から効率的にコンテンツを選択可能とするために、モニタ上に形成した仮想三次元空間内にコンテンツを配置し、この空間内をユーザが視点を移動させていくことによって、平面的にサムネイルが並べられていた状態よりも、効率的なコンテンツの選択を実現する、というものである。   One conventional technique other than the means using thumbnails is NTT's “InfoLead”. In this “InfoLead”, in order to be able to select content efficiently from a large amount of content, the content is placed in a virtual three-dimensional space formed on the monitor, and the user moves the viewpoint in this space. By doing so, it is possible to achieve more efficient content selection than when the thumbnails are arranged in a plane.

NTT R&D 2000年10月号、第49巻、pp605−615、“光時代のネットワーク空間クルージング技術「InfoLead」”NTT R & D October 2000, Volume 49, pp 605-615, “Network space cruising technology in the optical age“ InfoLead ””

特開2003−167816公報JP 2003-167816 A

しかしながら、上記の手法では、視点を移動させてコンテンツが最前面に移動した時点で再生されている場面が、必ずしもコンテンツのハイライトシーンではないことがあり、コンテンツの内容を把握しづらいことがある。この状態では、ユーザはコンテンツの内容を把握するために、ある程度の時間はコンテンツを視聴しなければならず、効率的ではない。   However, with the above method, the scene being played when the content is moved to the foreground by moving the viewpoint may not necessarily be the highlight scene of the content, and it may be difficult to grasp the content. . In this state, the user must watch the content for a certain amount of time in order to grasp the content, and this is not efficient.

また、複数のコンテンツを同時に表示する場合、同時刻に複数のコンテンツのハイライトシーンが再生されてしまうと、各コンテンツの内容を把握することが難しくなり、効率的なコンテンツの選択が困難になってしまう。例えば、ハイライト部分の音量が大きいコンテンツが同時に再生されてしまうと、それぞれのコンテンツの内容を聞き取ることが困難になってしまう。   Also, when displaying multiple contents at the same time, if multiple content highlight scenes are played back at the same time, it becomes difficult to grasp the contents of each content, making it difficult to select content efficiently. End up. For example, if content with a high volume in the highlight portion is reproduced at the same time, it becomes difficult to hear the contents of each content.

そこで、本発明はこれらの問題を鑑みてなされたものであり、その目的とするところは、様々なコンテンツを提示した場合でも、コンテンツのハイライトシーンを効率的に閲覧し、コンテンツの内容を容易に判断することができ、これによってコンテンツの効率的な選択を可能にする情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体を提供することにある。   Therefore, the present invention has been made in view of these problems, and the object of the present invention is to efficiently browse the highlight scene of the content and easily make the content of the content even when various contents are presented. Therefore, it is possible to provide an information presentation device, an information presentation method, an information presentation program, and an information recording medium that enable efficient selection of content.

上記目的を達成するためにこの発明に関わる情報提示装置(方法)は、以下のような特徴的構成を備える。
(1)モニタ上で複数のコンテンツを表示する場合に、前記複数のコンテンツそれぞれにおけるハイライト部分を選択するコンテンツハイライト選択手段(過程)と、前記複数のコンテンツを予め決められた幾何学的配置となるように設定するコンテンツ配置設定手段(過程)と、前記複数のコンテンツの配置位置を順次座標変換して表示位置を移動させるコンテンツ配置座標変換手段(過程)と、前記コンテンツ表示設定情報に含まれるコンテンツ配置位置情報と前記コンテンツハイライト選択手段(過程)によって得られたコンテンツのハイライト時点の値から、各コンテンツの初期配置位置におけるコンテンツの再生開始時点を算出するコンテンツ表示設定手段(過程)と、前記コンテンツ配置座標変換手段(過程)で算出されたコンテンツ配置座標に前記複数のコンテンツをモニタに出力表示させ、前記コンテンツ表示設定手段(過程)で設定されたコンテンツ再生開始時点の情報に従って各コンテンツの表示を行うコンテンツ表示手段(過程)とを具備することを特徴とする。
In order to achieve the above object, an information presentation apparatus (method) according to the present invention has the following characteristic configuration.
(1) Content highlight selection means (process) for selecting a highlight portion in each of the plurality of contents when displaying a plurality of contents on a monitor, and a predetermined geometric arrangement of the plurality of contents Content placement setting means (process) for setting to be, content placement coordinate conversion means (process) for sequentially converting the placement positions of the plurality of contents to move the display position, and the content display setting information Content display setting means (process) for calculating the reproduction start time of the content at the initial placement position of each content from the content placement position information to be obtained and the value of the content highlight time obtained by the content highlight selection means (process) And the content calculated by the content arrangement coordinate conversion means (process) Content display means (process) that outputs and displays the plurality of contents on a monitor arrangement coordinate on a monitor and displays each content in accordance with the information of the content playback start time set by the content display setting means (process). It is characterized by that.

(2)(1)の構成において、さらに、前記コンテンツのハイライトにおけるピークの再生位置を検出するハイライトピーク検出手段(過程)を備え、前記コンテンツ表示設定手段(過程)は、前記コンテンツ配置座標変換手段(過程)によりコンテンツが特定の表示位置に移動させられたときに前記ハイライトピーク検出手段(過程)で検出されるピークが再生されるように前記コンテンツの再生開始時点を算出することを特徴とする。   (2) In the configuration of (1), it further comprises highlight peak detecting means (process) for detecting a reproduction position of a peak in the highlight of the content, and the content display setting means (process) includes the content arrangement coordinates. Calculating the reproduction start time of the content so that the peak detected by the highlight peak detection means (process) is reproduced when the content is moved to a specific display position by the conversion means (process). Features.

(3)(2)の構成において、前記ハイライトピーク検出手段(過程)は、前記コンテンツに関連したメタデータからコンテンツ中のハイライト部分に含まれるピーク位置の情報を検出することを特徴とする。
(4)(2)の構成において、前記ハイライトピーク検出手段(過程)は、前記コンテンツに含まれる音声データを解析する手段(過程)と、前記音声データ解析結果に基づいて前記コンテンツ中のハイライト部分のピーク位置を検出する手段(過程)とを備えることを特徴とする。
(3) In the configuration of (2), the highlight peak detecting means (process) detects information on a peak position included in a highlight portion in the content from metadata related to the content. .
(4) In the configuration of (2), the highlight peak detecting means (process) includes a means (process) for analyzing audio data included in the content, and a highlight in the content based on the audio data analysis result. And means (process) for detecting the peak position of the light portion.

(5)(1)の構成において、さらに、前記コンテンツが映像である場合、映像フレーム間の画像変化特徴量の変化量を用いて、コンテンツ中のハイライト部分のピークとなるフレームを選択するピークフレーム選択手段(過程)を備えることを特徴とする。   (5) In the configuration of (1), when the content is a video, a peak for selecting a frame that is a peak of a highlight portion in the content using a change amount of an image change feature amount between video frames. Frame selection means (process) is provided.

(6)(1)の構成において、さらに、前記コンテンツの音声データを用いてコンテンツを要約する、コンテンツ要約手段(過程)を有することを特徴とする。
(7)(1)の構成において、さらに、提示するコンテンツを所定の傾向情報に基づいて推薦し表示させるコンテンツ推薦表示手段(過程)を有することを特徴とする。
(6) In the configuration of (1), content summarization means (process) is further provided for summarizing the content using the audio data of the content.
(7) The configuration of (1) further includes content recommendation display means (process) for recommending and displaying the content to be presented based on predetermined tendency information.

(8)(7)の構成において、前記コンテンツ推薦表示手段(過程)は、ユーザの利用履歴をもとにユーザの興味関心の傾向を検出し、ユーザ利用傾向に合わせたコンテンツを注目誘導表示させる手段を有することを特徴とする。
(9)(1)の構成において、前記幾何学的配置による表示は、仮想三次元空間内で環状に配置してモニタ表示することを特徴とする。
(8) In the configuration of (7), the content recommendation display means (process) detects a tendency of the user's interest based on the user's usage history, and displays the content in accordance with the user's usage tendency with attention-guided display. It has the means.
(9) In the configuration of (1), the display by the geometric arrangement is characterized by being arranged in a ring shape in a virtual three-dimensional space and displayed on a monitor.

また、この発明に係る情報提示プログラムは、モニタ上で複数のコンテンツを表示する処理をコンピュータに実行させる場合に、前記複数のコンテンツそれぞれにおけるハイライト部分を選択するコンテンツハイライト選択ステップと、前記複数のコンテンツを予め決められた幾何学的配置となるように設定するコンテンツ配置設定ステップと、前記複数のコンテンツの配置位置を順次座標変換して表示位置を移動させるコンテンツ配置座標変換ステップと、前記コンテンツ表示設定情報に含まれるコンテンツ配置位置情報と前記コンテンツハイライト選択ステップによって得られたコンテンツのハイライト時点の値から、各コンテンツの初期配置位置におけるコンテンツの再生開始時点を算出するコンテンツ表示設定ステップと、前記コンテンツ配置座標変換ステップで算出されたコンテンツ配置座標に前記複数のコンテンツをモニタに出力表示させ、前記コンテンツ表示設定ステップで設定されたコンテンツ再生開始時点の情報に従って各コンテンツの表示を行うコンテンツ表示ステップとを具備することを特徴とする。   The information presentation program according to the present invention includes a content highlight selection step of selecting a highlight portion in each of the plurality of contents when the computer executes a process of displaying the plurality of contents on a monitor; A content placement setting step for setting the content of the content so as to have a predetermined geometric placement, a content placement coordinate conversion step for sequentially transforming the placement positions of the plurality of contents to move the display position, and the content A content display setting step for calculating a playback start point of content at an initial placement position of each content from content placement position information included in the display setting information and a content highlight time value obtained by the content highlight selection step; , A content display step for outputting and displaying the plurality of contents on the monitor at the content arrangement coordinates calculated in the content arrangement coordinate conversion step, and displaying each content according to the information at the time of starting the content reproduction set in the content display setting step; It is characterized by comprising.

また、この発明に係る情報記録媒体は、モニタ上で複数のコンテンツを表示する処理をコンピュータに実行させる情報提示プログラムとして、前記複数のコンテンツそれぞれにおけるハイライト部分を選択するコンテンツハイライト選択ステップと、前記複数のコンテンツを予め決められた幾何学的配置となるように設定するコンテンツ配置設定ステップと、前記複数のコンテンツの配置位置を順次座標変換して表示位置を移動させるコンテンツ配置座標変換ステップと、前記コンテンツ表示設定情報に含まれるコンテンツ配置位置情報と前記コンテンツハイライト選択ステップによって得られたコンテンツのハイライト時点の値から、各コンテンツの初期配置位置におけるコンテンツの再生開始時点を算出するコンテンツ表示設定ステップと、前記コンテンツ配置座標変換ステップで算出されたコンテンツ配置座標に前記複数のコンテンツをモニタに出力表示させ、前記コンテンツ表示設定ステップで設定されたコンテンツ再生開始時点の情報に従って各コンテンツの表示を行うコンテンツ表示ステップとを具備する情報提示プログラムを記録したことを特徴とする。   Further, the information recording medium according to the present invention is a content highlight selection step of selecting a highlight portion in each of the plurality of contents as an information presentation program for causing a computer to execute a process of displaying the plurality of contents on a monitor; A content arrangement setting step for setting the plurality of contents so as to have a predetermined geometric arrangement; a content arrangement coordinate converting step for sequentially converting the arrangement positions of the plurality of contents to move the display position; Content display setting for calculating the content playback start time at the initial layout position of each content from the content layout position information included in the content display setting information and the content highlight time value obtained by the content highlight selection step Step Content display for displaying the plurality of contents on the monitor at the content arrangement coordinates calculated in the content arrangement coordinate conversion step, and displaying each content according to the information at the time of starting the content reproduction set in the content display setting step An information presentation program comprising steps is recorded.

要するにこの発明によれば、様々なコンテンツを提示した場合でも、コンテンツのハイライトシーンを効率的に閲覧し、コンテンツの内容を容易に判断することができ、これによってコンテンツの効率的な選択を可能にする情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体を提供することができる。   In short, according to the present invention, even when various contents are presented, the highlight scene of the contents can be efficiently browsed and the contents can be easily judged, thereby enabling efficient selection of the contents. An information presentation apparatus, an information presentation method, an information presentation program, and an information recording medium can be provided.

以下、図面を参照してこの発明の実施の形態について詳細に説明する。
(第1の実施形態)
図1は、この発明の第1の実施形態に係わる情報提示装置の構成を示すブロック図である。ここでのコンテンツとは、時系列変化をもつコンテンツであり、映像、音楽、音声コンテンツなどである。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing the configuration of the information presentation apparatus according to the first embodiment of the present invention. The content here is content having a time series change, such as video, music, and audio content.

図1に示す本発明の情報提示装置は、コンテンツデータ要求・受信部11、コンテンツ保存部12、コンテンツハイライト選択部13、ハイライトピーク検出部14、コンテンツ表示設定部15、コンテンツ配置座標変換部16、音声分布変調部17、コンテンツ表示部18、モニタ19を備える。   The information presentation apparatus of the present invention shown in FIG. 1 includes a content data request / reception unit 11, a content storage unit 12, a content highlight selection unit 13, a highlight peak detection unit 14, a content display setting unit 15, and a content arrangement coordinate conversion unit. 16, an audio distribution modulation unit 17, a content display unit 18, and a monitor 19.

上記コンテンツデータ要求・受信部11は、本システムにて表示するコンテンツデータをコンテンツ保存部1から読み込む手段を有している。コンテンツ保存部12から読み込むデータは、要求コンテンツ情報を読み込むことで特定する。要求コンテンツ情報には、コンテンツ保存部12から読み出すコンテンツのリスト情報や、コンテンツに関する基本情報が含まれているものとする。   The content data request / reception unit 11 has means for reading content data to be displayed in the system from the content storage unit 1. The data read from the content storage unit 12 is specified by reading the requested content information. It is assumed that the requested content information includes content list information read from the content storage unit 12 and basic information about the content.

コンテンツ保存部12は、コンテンツデータを管理する手段を有しており、コンテンツサーバなど、データベース機能を有したサーバ装置によって構成されるものとしてもよい。
コンテンツハイライト選択部13は、上記コンテンツデータ要求・受信部11によって読み込まれたコンテンツデータや要求コンテンツ情報から、各コンテンツに関する情報を解析し、コンテンツ中のハイライト部分を選択する手段を有するものである。
The content storage unit 12 includes means for managing content data, and may be configured by a server device having a database function such as a content server.
The content highlight selection unit 13 has means for analyzing information related to each content from the content data read by the content data request / reception unit 11 and the requested content information and selecting a highlight portion in the content. is there.

ハイライトピーク検出部14は、ハイライトに含まれるピークである、ハイライトピークの時点を検出する手段を有するものである。ここで、ハイライトピークとは、ハイライトの中でも何らかの特徴量がピークとなり、ハイライトの代表となるフレーム(または時点)とする。このハイライトピークに関する情報は、要求コンテンツ情報やコンテンツ自体に埋め込まれているものとしてもよいし、コンテンツのメタデータとして保存されているものとしてもよい。また、さらにコンテンツ解析部を用意して、コンテンツデータからハイライトピークを選択するようにしてもよい。   The highlight peak detector 14 has means for detecting the time point of the highlight peak, which is a peak included in the highlight. Here, the highlight peak is a frame (or time point) that represents some feature amount in the highlight and represents the highlight. The information related to the highlight peak may be embedded in the requested content information or the content itself, or may be stored as content metadata. Furthermore, a content analysis unit may be prepared to select a highlight peak from content data.

コンテンツ表示設定部15は、ハイライトピーク検出部14にて検出されたコンテンツハイライトピークの値と、コンテンツ表示設定情報に含まれているコンテンツの配置に関する情報から、コンテンツの表示設定を行なう手段を有する。このコンテンツの表示設定では、コンテンツの表示サイズを変更する表示サイズ変更手段や、コンテンツの再生開始時点(フレーム)を算出する、コンテンツ再生時点算出手段を有する。   The content display setting unit 15 has means for performing content display setting from the content highlight peak value detected by the highlight peak detection unit 14 and information regarding the content arrangement included in the content display setting information. Have. The content display setting includes a display size changing unit that changes the display size of the content and a content reproduction time point calculating unit that calculates a reproduction start point (frame) of the content.

コンテンツ配置座標変換部16は、コンテンツの初期配置処理やコンテンツを配置する座標を変換する手段を有する。このコンテンツ配置位置変換部16では、コンテンツ表示設定情報を元にコンテンツの配置変換を行い、コンテンツの表示座標を算出する。   The content arrangement coordinate conversion unit 16 includes means for initial arrangement processing of content and means for converting coordinates for arranging the content. The content arrangement position conversion unit 16 performs content arrangement conversion based on the content display setting information, and calculates the display coordinates of the content.

音声分布変調部17では、上記コンテンツ配置座標変換部16によって座標位置を変換したコンテンツの仮想三次元空間内での配置と対応させた、各コンテンツの音声出力分布を形成する手段を有する。
コンテンツ表示部18では、上記コンテンツ配置座標変換部16にて算出されたコンテンツの配置座標にコンテンツをモニタ19に出力し表示する手段を有する。このとき、上記コンテンツ表示設定部15にて設定されたコンテンツの拡大縮小率、コンテンツ再生開始時点(フレーム)情報に従ってコンテンツの表示を行なう。
The audio distribution modulation unit 17 includes means for forming an audio output distribution of each content corresponding to the arrangement in the virtual three-dimensional space of the content whose coordinate position has been converted by the content arrangement coordinate conversion unit 16.
The content display unit 18 includes means for outputting and displaying the content on the monitor 19 at the content arrangement coordinates calculated by the content arrangement coordinate conversion unit 16. At this time, the content is displayed according to the content enlargement / reduction ratio and content reproduction start time (frame) information set by the content display setting unit 15.

尚、上記構成において、コンテンツハイライト選択部13、ハイライトピーク検出部14、コンテンツ表示設定部15、コンテンツ配置座標変換部16、音声分布変調部17それぞれの処理は、基本的にソフトウェアによって実行される。この場合、図示しないがメモリ装置に作業領域を確保し、例えば表示座標値等の処理計算結果をメモリに格納しながら上記の各手段を実行するものとする。   In the above configuration, the processing of the content highlight selection unit 13, the highlight peak detection unit 14, the content display setting unit 15, the content arrangement coordinate conversion unit 16, and the audio distribution modulation unit 17 is basically executed by software. The In this case, although not shown, a work area is secured in the memory device, and each of the above-described units is executed while storing a processing calculation result such as a display coordinate value in the memory.

上記構成による情報提示装置において、本発明の特徴とするモニタ表示の仕方について説明する。
図2は上記情報提示装置のモニタ出力画面の一例を示す図である。本発明の利用例の1つとして、コンテンツを仮想三次元空間内で環状に配置する場合について説明する。
In the information presentation device having the above-described configuration, a monitor display method that is a feature of the present invention will be described.
FIG. 2 is a diagram showing an example of a monitor output screen of the information presentation apparatus. As one example of use of the present invention, a case where contents are arranged in a ring shape in a virtual three-dimensional space will be described.

図1のコンテンツデータ要求・受信部11にて読み込まれたコンテンツは、コンテンツハイライト選択部13とハイライトピーク検出部14の処理によって、コンテンツ中のハイライト場面の代表場面が検出される。各コンテンツは、図2のコンテンツ提示位置A〜Hのそれぞれの位置に表示される。ここで、提示位置Aの位置が仮想三次元空間において最前面に位置し、逆に提示位置Eの位置が最も奥に位置している。コンテンツの配置方法やコンテンツの提示数は、コンテンツ表示設定情報に記載されている情報に従うものとする。各コンテンツは、仮想三次元空間の奥側に行くに従って小さなサイズで表示され、奥行き感を表現する。各コンテンツの表示サイズは、図1のコンテンツ表示設定部15にて調整されるものとする。また、各コンテンツは等間隔に配置され、コンテンツの再生時には自動的にコンテンツが円の中心を基準として、円周上を移動するものとする。   In the content read by the content data request / reception unit 11 in FIG. 1, a representative scene of the highlight scene in the content is detected by the processing of the content highlight selection unit 13 and the highlight peak detection unit 14. Each content is displayed at each of the content presentation positions A to H in FIG. Here, the position of the presentation position A is positioned at the forefront in the virtual three-dimensional space, and conversely, the position of the presentation position E is positioned at the back. The content arrangement method and the number of content presentations are based on the information described in the content display setting information. Each content is displayed in a smaller size as it goes deeper in the virtual three-dimensional space, and expresses a sense of depth. The display size of each content is adjusted by the content display setting unit 15 in FIG. Each content is arranged at equal intervals, and when the content is reproduced, the content automatically moves on the circumference with reference to the center of the circle.

図1のコンテンツ表示設定部15では、コンテンツのハイライトピークの位置、さらに、コンテンツの提示位置と移動速度を元に、コンテンツの開始フレームを算出する。例えば、あるコンテンツがコンテンツ提示位置Eの位置に配置される場合、コンテンツ提示位置Aの位置に移動するまでのフレーム数から提示位置Aの位置に至るまでの所要時間を求め、コンテンツのハイライトピークのフレームの時点を基準として、コンテンツ提示位置Aの位置に至るまでの所要時間分さかのぼった時点を再生開始時点(フレーム)とする。ここで、コンテンツハイライトの時点がコンテンツ再生時間の早い位置にあって、所要時間分さかのぼることが出来ない場合には、コンテンツの再生を繰り返すものとして、コンテンツの後半部分を含めるとしてもよいとする。   The content display setting unit 15 in FIG. 1 calculates the start frame of the content based on the position of the highlight peak of the content, the presentation position of the content, and the moving speed. For example, when a certain content is arranged at the content presentation position E, the required time from the number of frames until the content presentation position A is moved to the position of the presentation position A is obtained, and the highlight peak of the content is obtained. A time point that goes back by the time required to reach the position of the content presentation position A on the basis of the time point of the frame is set as a reproduction start time point (frame). Here, if the point of content highlight is at an early position of the content playback time and cannot be traced back by the required time, the second half of the content may be included as the content playback is repeated. .

このように、各コンテンツの提示位置とコンテンツ提示位置Aまでの所要時間(再生フレーム数)を元に、各コンテンツの再生開始フレーム位置の設定を行なう。さらに、コンテンツ配置座標変換部16にて、再生開始後の各コンテンツの表示位置の移動に関する計算を行ない、コンテンツの移動を行なう。   Thus, the playback start frame position of each content is set based on the presentation position of each content and the required time (number of playback frames) to the content presentation position A. Further, the content arrangement coordinate conversion unit 16 performs calculation related to the movement of the display position of each content after the start of reproduction, and moves the content.

ここで、図3を用いて、本システムにおける処理フローを説明する。
まず、初期設定情報読込みとして、要求コンテンツ情報を読み込む(ステップS11)。ここでは、本システムにて表示を行なうコンテンツのリスト情報や、各コンテンツに関する基本情報が読み込まれるものとする。
Here, the processing flow in the present system will be described with reference to FIG.
First, as initial setting information reading, requested content information is read (step S11). Here, it is assumed that list information of contents to be displayed in this system and basic information regarding each content are read.

この各コンテンツの基本情報としては、データフォーマット、データサイズ、コンテンツ再生所要時間などの、コンテンツを再生する際に必要な情報が含まれているものとする。また、さらに、コンテンツのカテゴリー情報、コンテンツ作成日などのコンテンツの内容を表す情報を含むものとしてもよい。   The basic information of each content includes information necessary for reproducing the content, such as a data format, a data size, and a content reproduction required time. Furthermore, information representing content details such as content category information and content creation date may be included.

上記初期設定情報の読込みステップにて取得した再生コンテンツのリスト情報を元に、コンテンツ保存部(コンテンツDB(データベース))12からコンテンツデータを読み込む(ステップS12)。このとき、コンテンツ保存部12はネットワークを介した先に存在するものとしてもよいし、さらに、コンテンツ保存部12は複数箇所に存在しているものとしてもよい。   The content data is read from the content storage unit (content DB (database)) 12 based on the reproduction content list information acquired in the initial setting information reading step (step S12). At this time, the content storage unit 12 may exist in advance via a network, and the content storage unit 12 may exist in a plurality of locations.

「コンテンツ配置設定情報読込み」ステップS13では、コンテンツの配置方法などの情報を含んだ、「コンテンツ表示設定情報」を読み込む。
ここで、表示可能な再生コンテンツ数nに対し、コンテンツ配置の処理対象としたコンテンツ数をカウントし、nを越えたことを検出するものとする(ステップS14)。
In “read content arrangement setting information” step S13, “content display setting information” including information such as a content arrangement method is read.
Here, it is assumed that the number of contents targeted for content arrangement is counted with respect to the number of displayable reproduction contents n, and that it exceeds n is detected (step S14).

コンテンツ配置に際し、読み込んだコンテンツデータのハイライト位置の検出を、「コンテンツハイライト選択」ステップS15にて行なう。ここでは、コンテンツのハイライトの中でも代表的なハイライト部分の検出を行なう。
次に「ハイライトピーク検出」ステップS16にて、上記「コンテンツハイライト選択」ステップS15にて選択されたハイライトの中に含まれるピーク時点を検出する。
At the time of content arrangement, detection of the highlight position of the read content data is performed in “content highlight selection” step S15. Here, a typical highlight portion is detected among the highlights of the content.
Next, in a “highlight peak detection” step S16, a peak time point included in the highlight selected in the “content highlight selection” step S15 is detected.

このとき、上記「要求コンテンツ情報」に、各コンテンツのハイライト部分のピーク時点情報が含まれている場合には、これを利用する。また、コンテンツに関連するメタデータとして、ハイライトのピーク情報が保存されている場合には、このメタデータを利用する。他にも、各コンテンツのハイライトピークの情報が何らかの手段によって保存されている場合には、これを利用してもよいものとする。   At this time, when the “requested content information” includes peak time point information of the highlight portion of each content, this is used. Further, when highlight peak information is stored as metadata related to the content, this metadata is used. In addition, when the information on the highlight peak of each content is stored by some means, it may be used.

また、このとき、コンテンツの持つデータを解析し、何らかの特徴量によって、コンテンツのハイライト部分を抽出することが可能であれば、この特徴量の値からハイライト部分の選択を行なう。
次に、「開始フレーム位置算出」ステップS17では、前記「ハイライトピーク検出」ステップS16にて検出された、コンテンツのハイライト再生時点の値とコンテンツの配置情報から、初期状態の再生開始時点位置を算出する。
At this time, if the data of the content is analyzed and the highlight portion of the content can be extracted by some feature amount, the highlight portion is selected from the value of the feature amount.
Next, in the “start frame position calculation” step S17, the reproduction start point position in the initial state is calculated from the content highlight reproduction point value and the content arrangement information detected in the “highlight peak detection” step S16. Is calculated.

ここで、上記コンテンツ数が規定値n担った場合には、再生終了か無いかを判断する(ステップS18)。再生継続の場合、さらに「コンテンツ表示座標の移動」ステップS19では、各コンテンツを表示する座標位置を変換する。このとき、表示するコンテンツの数や、コンテンツの配置方法についての情報は、先に読み込んだ、上記「コンテンツ表示設定情報」に従うものとする。そして、「コンテンツ表示サイズ変更」ステップS20では、前記「コンテンツ表示座標の移動」ステップにて移動した各コンテンツの表示サイズを、仮想三次元空間内における各コンテンツの配置位置に従い、縮小または拡大表示を行う。さらに、「コンテンツ音声分布変調」ステップS21では、「コンテンツ表示サイズ変更」ステップS20で変更したコンテンツの表示サイズに従い、各コンテンツの音声分布を変調させる。   Here, if the number of contents bears the specified value n, it is determined whether or not the reproduction has ended (step S18). In the case of continuing the reproduction, in “moving content display coordinates” step S19, the coordinate position for displaying each content is converted. At this time, information on the number of contents to be displayed and the content arrangement method is based on the above-described “content display setting information”. In the “content display size change” step S20, the display size of each content moved in the “content display coordinate movement” step is reduced or enlarged according to the arrangement position of each content in the virtual three-dimensional space. Do. Further, in the “content audio distribution modulation” step S21, the audio distribution of each content is modulated in accordance with the display size of the content changed in the “content display size change” step S20.

この後、前記「コンテンツ表示座標の移動」ステップS19、「コンテンツ表示サイズ変更」ステップS20、そして「コンテンツ音声分布変調」ステップS21について、実行終了として判断されるまで繰り返し処理されるものとする。
以上の処理により、コンテンツを仮想三次元空間内で環状に配置して表示することが可能となり、コンテンツのハイライトシーンを効率的に閲覧し、コンテンツの内容を容易に判断することができるようになり、これによってコンテンツの効率的な選択が可能になる。
Thereafter, the “content display coordinate shift” step S19, “content display size change” step S20, and “content audio distribution modulation” step S21 are repeatedly processed until it is determined that the execution is completed.
Through the above processing, it becomes possible to arrange and display the content in a ring shape in the virtual three-dimensional space, so that the highlight scene of the content can be efficiently browsed and the content can be easily judged. This enables efficient selection of content.

(第2の実施形態)
図4は、この発明の第2の実施形態に係わる情報提示装置の構成を示すブロック図である。第2の実施形態として、コンテンツ中のハイライト部分におけるピーク位置を自動的に検出する場合について説明する。ここでは、先ほどの第1の実施形態にて説明を行った同一の処理部が存在しているので、その部分については、説明を省くものとする。
(Second Embodiment)
FIG. 4 is a block diagram showing the configuration of the information presentation apparatus according to the second embodiment of the present invention. As a second embodiment, a case will be described in which a peak position in a highlight portion in content is automatically detected. Here, since there is the same processing unit described in the first embodiment, description thereof will be omitted.

ここで、コンテンツのハイライト部分とは、コンテンツ中の重要箇所とされる部分であり、コンテンツの内容を代表する箇所である。コンテンツ中にはハイライト部分が複数含まれることがあるが、そのなかでも最もコンテンツ内容を代表する部分をコンテンツハイライトピークとする。   Here, the highlight portion of the content is a portion regarded as an important portion in the content, and is a portion representative of the content. A content may include a plurality of highlight portions. Among them, a portion representing the content content most is set as a content highlight peak.

本実施形態のうち、「ハイライトピーク検出部」14では、コンテンツの音声データや画像データを解析することにより、第1の実施形態での「コンテンツハイライト選択部」13で選択されたコンテンツハイライト部分の中でも、特に代表的な部分である、ハイライトピークの位置を検出する手段を有するものとする。例えば、コンテンツが映像である場合、映像フレーム間の画像変化特徴量の変化量を用いて、コンテンツ中のハイライト部分のピークとなるフレームを選択する。   In the present embodiment, the “highlight peak detection unit” 14 analyzes the audio data and image data of the content to thereby select the content high selected by the “content highlight selection unit” 13 in the first embodiment. It is assumed that there is a means for detecting the position of the highlight peak, which is a particularly representative portion in the light portion. For example, when the content is a video, the frame that becomes the peak of the highlight portion in the content is selected using the change amount of the image change feature amount between the video frames.

この、コンテンツに含まれるデータからコンテンツのハイライトピーク部分を検出する手法の例としては、NTTのChocoParaと呼ばれる技術を利用してコンテンツを要約し、この要約されたコンテンツ内から何らかの特徴量をもとに、コンテンツハイライトピークを検出するものとしてもよい。さらに、上記ChocoPara技術を用いてコンテンツの音声データをもとに、コンテンツの要約を行うことができる。このコンテンツの要約を、本実施形態の「コンテンツ要約部」20にて実施するものとする。   As an example of a method for detecting a highlight peak portion of content from data included in the content, the content is summarized by using a technology called NTT's ChocoPara, and some feature amount is included in the summarized content. In addition, the content highlight peak may be detected. Further, the content can be summarized based on the audio data of the content using the ChocoPara technology. This content summarization is performed by the “content summarization unit” 20 of the present embodiment.

上記のようにコンテンツの要約を行なうことにより、コンテンツ中に複数のハイライト場面が存在する際に、これらハイライト場面をまとめ、一連のコンテンツとして再生することができるようになる。また、このコンテンツの要約を行なうことにより、第1の実施形態の図2のように、コンテンツを環状に配置した際に、コンテンツの再生時間が一周するために要する時間以上であった場合、円周上を一周するために適切な時間になるようコンテンツを要約することができる(参考文献:特許第3621686号データ編集方法、データ編集装置、データ編集プログラム)。   By summarizing the content as described above, when a plurality of highlight scenes exist in the content, the highlight scenes can be collected and reproduced as a series of contents. Also, by summarizing the contents, as shown in FIG. 2 of the first embodiment, when the contents are arranged in a ring shape, if the reproduction time of the contents is longer than the time required for one round, The contents can be summarized so that it is an appropriate time to go around the lap (Reference: Japanese Patent No. 3621686, data editing method, data editing apparatus, data editing program).

(第3の実施形態)
図5は、この発明の第3の実施形態に係わる情報提示装置の構成を示すブロック図である。第3の実施形態として、ネットワークを利用した例を説明する。ここで、第3の実施形態でも、第1の実施形態と同様の処理部が存在しているため、同様の処理を行う場合には、第1の実施形態を参照するものとして、説明を省くものとする。本実施形態では、要求コンテンツ情報、コンテンツ保存部12がネットワークを介した位置に存在しているとする。
(Third embodiment)
FIG. 5 is a block diagram showing a configuration of an information presentation apparatus according to the third embodiment of the present invention. An example using a network will be described as the third embodiment. Here, in the third embodiment, the same processing unit as in the first embodiment exists, and therefore, when performing the same processing, the description is omitted assuming that the first embodiment is referred to. Shall. In the present embodiment, it is assumed that the requested content information and content storage unit 12 exists at a location via a network.

このとき、要求コンテンツ情報などは、WebサイトのRSSやXMLを利用したものであってもよい。また、コンテンツ保存部12は、1箇所だけでなく、多数箇所に存在しているものであってもよく、ネットワークN1を介して各コンテンツにアクセスし、利用できればよい。   At this time, the requested content information or the like may be information using RSS or XML of the website. Further, the content storage unit 12 may be present not only at one place but also at many places, as long as each content can be accessed and used via the network N1.

さらに、コンテンツ表示部18についても、ネットワークN2(ネットワークN1と同じでもよい)を介したユーザ端末T上で表示するとしてもよく、また、ネットワークを介して利用できるユーザ端末Tは、単一の端末だけでなく、複数の端末にて利用することが可能であってもよいものとする。   Further, the content display unit 18 may be displayed on the user terminal T via the network N2 (may be the same as the network N1), and the user terminal T that can be used via the network is a single terminal. In addition, it may be possible to use a plurality of terminals.

(第4の実施形態)
図6は、この発明の第4の実施形態に係わる情報提示装置の構成を示すブロック図である。第4の実施形態として、ユーザの利用履歴、ユーザプロファイルデータをもとに、提示するコンテンツを推薦する場合について説明する。ここで、第4の実施形態では、第1,2,3の実施形態と同様の処理を行っている処理部が存在しており、その部分については、説明を省くものとする。
(Fourth embodiment)
FIG. 6 is a block diagram showing a configuration of an information presentation apparatus according to the fourth embodiment of the present invention. As a fourth embodiment, a case will be described in which content to be presented is recommended based on user usage history and user profile data. Here, in the fourth embodiment, there is a processing unit that performs the same processing as in the first, second, and third embodiments, and the description thereof is omitted.

この第4の実施形態では、個々のユーザのコンテンツ選択履歴を取得し解析することにより、個々のユーザの利用傾向を求めることが可能となる。さらに、ユーザ群の利用傾向から、コンテンツ自体の利用傾向を解析することができる。これにより、あるユーザプロファイルを持ったユーザがあるコンテンツを選択した場合、類似のユーザプロファイルを持ったユーザ群の利用傾向を基にして、そのユーザが選択する可能性が高いと推定されるコンテンツの推薦を行うことができるようになる。   In the fourth embodiment, it is possible to obtain usage trends of individual users by acquiring and analyzing content selection histories of individual users. Furthermore, the usage tendency of the content itself can be analyzed from the usage tendency of the user group. As a result, when a user having a certain user profile selects a certain content, the content that is estimated to be highly likely to be selected by the user based on the usage tendency of a group of users having a similar user profile. You will be able to make recommendations.

また、図6において、複数のユーザ端末T1〜Tmにコンテンツが提示されたとき、各ユーザの操作入力情報をユーザ入力処理部21にて取得する。ここでは、ユーザがあるコンテンツを選択しようとして、マウスやキーボード、その他入力装置を操作した際の、操作入力情報が取得される。この操作入力情報を元にして、コンテンツ配置座標変換部16では、コンテンツの表示位置の変換を行う。例えば、ユーザがマウスを操作して、画面の奥側に表示されているコンテンツを選択した場合、選択したコンテンツを最前面に移動させるための表示座標変換を行う。この表示座標変換の手法として、コンテンツの座標位置を最前面のコンテンツと入れ替えるとしてもよいし、各コンテンツの移動速度を速め、選択されたコンテンツが素早く最前面に移動するとしてもよい。   In FIG. 6, when the content is presented to the plurality of user terminals T <b> 1 to Tm, the user input processing unit 21 acquires operation input information of each user. Here, operation input information is acquired when the user operates a mouse, keyboard, or other input device in an attempt to select a certain content. Based on this operation input information, the content arrangement coordinate conversion unit 16 converts the display position of the content. For example, when the user operates the mouse to select content displayed on the back side of the screen, display coordinate conversion is performed to move the selected content to the foreground. As a display coordinate conversion method, the content coordinate position may be replaced with the foreground content, or the moving speed of each content may be increased, and the selected content may be quickly moved to the foreground.

また、上記ユーザ入力処理部21にて取得された操作入力情報を元に、ユーザプロファイル処理部22では、各ユーザのコンテンツ利用プロファイルデータを作成する。このデータは、どのようなカテゴリーのコンテンツをどれだけの頻度で利用したか等、各ユーザの利用傾向に関する情報である。このプロファイルデータは、ユーザプロファイルデータ保存部23にて保存、管理される。コンテンツ利用傾向解析部24では、上記ユーザプロファイルデータ保存部23に保存された、ユーザのプロファイルデータを元に、ユーザプロファイルが類似する他のユーザの利用傾向の解析を行い、利用傾向が高いコンテンツリスト情報を作成する。   In addition, based on the operation input information acquired by the user input processing unit 21, the user profile processing unit 22 creates content usage profile data for each user. This data is information relating to the usage tendency of each user, such as how often the content of which category is used. This profile data is stored and managed by the user profile data storage unit 23. The content usage trend analysis unit 24 analyzes usage trends of other users with similar user profiles based on the user profile data stored in the user profile data storage unit 23, and a content list with a high usage trend Create information.

コンテンツ推薦表示部25では、上記コンテンツ利用傾向解析部24にて作成されたコンテンツリスト情報をコンテンツデータ要求・受信部11に出力し、コンテンツ保存部12より、コンテンツデータを取得するものとする。また、上記コンテンツ推薦表示部25では、上記コンテンツ利用傾向解析部24にて作成されたコンテンツリスト情報を、上記コンテンツ表示設定部15に出力することで、コンテンツの注目誘導表示を可能とする。   The content recommendation display unit 25 outputs the content list information created by the content usage trend analysis unit 24 to the content data request / reception unit 11 and acquires content data from the content storage unit 12. The content recommendation display unit 25 outputs the content list information created by the content usage trend analysis unit 24 to the content display setting unit 15, thereby enabling attention-guided display of content.

これらの処理を行うことによって、本システムでは、ユーザが選択する可能性が高いと推定されるコンテンツの推薦表示を行うことができる。
したがって、上記実施形態に代表される本発明によれば、多数のコンテンツが存在していても、コンテンツのハイライト部分が必ずユーザの注目を引き付ける位置、例えば、図2であれば最前面の位置にて再生されるため、コンテンツの内容を容易に把握することが可能となり、コンテンツの効率的な選択が可能となる。
By performing these processes, in this system, it is possible to perform recommended display of content that is estimated to be highly likely to be selected by the user.
Therefore, according to the present invention represented by the above embodiment, even if there are a large number of contents, the position where the highlight portion of the contents always attracts the user's attention, for example, the position in the foreground in FIG. Therefore, it is possible to easily grasp the contents and to select the contents efficiently.

さらに、本発明によれば、コンテンツの表示位置がユーザの注目を引き付ける位置、例えば、図2の最前面の位置に移動した際に、コンテンツのハイライトのピーク部分が再生されるため、常に最前面にてコンテンツの最も重要な場面が表示されることになり、コンテンツの内容を容易に把握することができるようになる。このため、コンテンツの効率的な選択が可能となる。   Furthermore, according to the present invention, when the display position of the content moves to a position that attracts the user's attention, for example, the frontmost position in FIG. The most important scene of the content is displayed on the front, and the content can be easily grasped. This makes it possible to select content efficiently.

また、本発明によれば、コンテンツの配置状態に応じて、コンテンツの再生音声の分布が変調されることにより、音声を手がかりとしたコンテンツの位置把握(音像定位)が可能になり、コンテンツの効率的な選択が可能となる。
また、本発明によれば、コンテンツ推薦表示部25によって、ユーザのコンテンツ利用履歴を元にしたユーザプロファイルの形成と上記プロファイルに最適と想定されるコンテンツが推薦される。このため、ユーザが興味を持つコンテンツや、ユーザにとって有益なコンテンツが、提示されるコンテンツに含まれるようになるだけでなく、これら有益なコンテンツが視覚的に把握しやすいように、注目誘導表示されるようになり、コンテンツのより効率的な選択が可能になる。
Further, according to the present invention, the distribution of the reproduced audio of the content is modulated according to the arrangement state of the content, so that the position of the content (sound image localization) can be determined using the audio as a clue, and the content efficiency is improved. Selection is possible.
Further, according to the present invention, the content recommendation display unit 25 recommends the formation of a user profile based on the user's content usage history and the content that is assumed to be optimal for the profile. For this reason, content that is of interest to the user and content that is useful to the user are not only included in the presented content, but are also displayed with attention guidance so that these useful content can be easily grasped visually. And more efficient selection of content becomes possible.

尚、この発明は上記各実施形態に限定されるものではない。ここで、本発明の情報提示装置は、単一のコンピュータで構成されている場合だけでなく、複数台のコンピュータによって、各手段を分割して構成されている場合も含む。また、ここで、本発明における記録媒体とは、上記情報提示装置で上記各機能を実現するためのプログラムの読み取りに使用できればよく、物理的な記録方法には依存しないものとする。   The present invention is not limited to the above embodiments. Here, the information presentation apparatus of the present invention includes not only a case of being configured by a single computer but also a case of being configured by dividing each means by a plurality of computers. Here, the recording medium in the present invention is not limited to a physical recording method as long as it can be used for reading a program for realizing the above functions by the information presenting apparatus.

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。   In short, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

この発明の第1の実施形態に係わる情報提示装置の構成を示すブロック図。The block diagram which shows the structure of the information presentation apparatus concerning 1st Embodiment of this invention. 図1に示すモニタに表示される画面構成の一例を示す図。The figure which shows an example of the screen structure displayed on the monitor shown in FIG. 図1に示す情報提示装置の動作手順とその内容を示すフローチャート。The flowchart which shows the operation | movement procedure of the information presentation apparatus shown in FIG. この発明の第2の実施形態に係わる情報提示装置の構成を示すブロック図。The block diagram which shows the structure of the information presentation apparatus concerning 2nd Embodiment of this invention. この発明の第3の実施形態に係わる情報提示装置の構成を示すブロック図。The block diagram which shows the structure of the information presentation apparatus concerning the 3rd Embodiment of this invention. この発明の第4の実施形態に係わる情報提示装置の構成を示すブロック図。The block diagram which shows the structure of the information presentation apparatus concerning 4th Embodiment of this invention.

符号の説明Explanation of symbols

11…コンテンツデータ要求・受信部、12…コンテンツ保存部、13…コンテンツハイライト選択部、14…ハイライトピーク検出部、15…コンテンツ表示設定部、16…コンテンツ配置座標変換部、17…音声分布変調部、18…コンテンツ表示部、19…モニタ、20…コンテンツ要約部、21…ユーザ入力処理部、22…ユーザプロファイル処理部、23…ユーザプロファイルデータ保存部、24…コンテンツ利用傾向解析部、25…コンテンツ推薦表示部、N1,N2…ネットワーク、T,T1〜Tm…ユーザ端末。   DESCRIPTION OF SYMBOLS 11 ... Content data request / reception part, 12 ... Content preservation | save part, 13 ... Content highlight selection part, 14 ... Highlight peak detection part, 15 ... Content display setting part, 16 ... Content arrangement coordinate conversion part, 17 ... Audio | voice distribution Modulation unit, 18 ... content display unit, 19 ... monitor, 20 ... content summary unit, 21 ... user input processing unit, 22 ... user profile processing unit, 23 ... user profile data storage unit, 24 ... content usage trend analysis unit, 25 ... content recommendation display unit, N1, N2 ... network, T, T1 to Tm ... user terminals.

Claims (20)

モニタ上で複数のコンテンツを表示する情報提示装置において、
前記複数のコンテンツそれぞれにおけるハイライト部分を選択するコンテンツハイライト選択手段と、
前記複数のコンテンツを予め決められた幾何学的配置となるように設定するコンテンツ配置設定手段と、
前記複数のコンテンツの配置位置を順次座標変換して表示位置を移動させるコンテンツ配置座標変換手段と、
前記コンテンツ表示設定情報に含まれるコンテンツ配置位置情報と前記コンテンツハイライト選択手段によって得られたコンテンツのハイライト時点の値から、各コンテンツの初期配置位置におけるコンテンツの再生開始時点を算出するコンテンツ表示設定手段と、
前記コンテンツ配置座標変換手段で算出されたコンテンツ配置座標に前記複数のコンテンツをモニタに出力表示させ、前記コンテンツ表示設定手段で設定されたコンテンツ再生開始時点の情報に従って各コンテンツの表示を行うコンテンツ表示手段と
を具備することを特徴とする情報提示装置。
In an information presentation apparatus that displays a plurality of contents on a monitor,
Content highlight selection means for selecting a highlight portion in each of the plurality of contents;
Content arrangement setting means for setting the plurality of contents to have a predetermined geometric arrangement;
Content arrangement coordinate conversion means for sequentially converting the arrangement positions of the plurality of contents and moving the display position;
Content display setting for calculating the content reproduction start time at the initial arrangement position of each content from the content arrangement position information included in the content display setting information and the content highlight time value obtained by the content highlight selection means Means,
Content display means for outputting and displaying the plurality of contents on the monitor at the content arrangement coordinates calculated by the content arrangement coordinate conversion means, and displaying each content according to the information at the time of starting the content reproduction set by the content display setting means An information presentation apparatus comprising:
さらに、前記コンテンツのハイライトにおけるピークの再生位置を検出するハイライトピーク検出手段を備え、
前記コンテンツ表示設定手段は、前記コンテンツ配置座標変換手段によりコンテンツが特定の表示位置に移動させられたときに前記ハイライトピーク検出手段で検出されるピークが再生されるように前記コンテンツの再生開始時点を算出することを特徴とする請求項1記載の情報提示装置。
Furthermore, it comprises a highlight peak detecting means for detecting a reproduction position of a peak in the highlight of the content,
The content display setting unit is configured to start reproduction of the content so that a peak detected by the highlight peak detection unit is reproduced when the content is moved to a specific display position by the content arrangement coordinate conversion unit. The information presentation apparatus according to claim 1, wherein
前記ハイライトピーク検出手段は、前記コンテンツに関連したメタデータからコンテンツ中のハイライト部分に含まれるピーク位置の情報を検出することを特徴とする請求項2記載の情報提示装置。   3. The information presentation apparatus according to claim 2, wherein the highlight peak detecting unit detects information on a peak position included in a highlight portion in the content from metadata related to the content. 前記ハイライトピーク検出手段は、前記コンテンツに含まれる音声データを解析する手段と、前記音声データ解析結果に基づいて前記コンテンツ中のハイライト部分のピーク位置を検出する手段とを備えることを特徴とする請求項2記載の情報提示装置。   The highlight peak detecting means includes means for analyzing audio data included in the content, and means for detecting a peak position of a highlight portion in the content based on the audio data analysis result. The information presentation device according to claim 2. さらに、前記コンテンツが映像である場合、映像フレーム間の画像変化特徴量の変化量を用いて、コンテンツ中のハイライト部分のピークとなるフレームを選択するピークフレーム選択手段を備えることを特徴とする請求項1記載の情報提示装置。   In addition, when the content is a video, a peak frame selection unit that selects a frame that is a peak of a highlight portion in the content using a change amount of an image change feature amount between video frames is provided. The information presentation apparatus according to claim 1. さらに、前記コンテンツの音声データを用いてコンテンツを要約する、コンテンツ要約手段を有することを特徴とする請求項1記載の情報提示装置。   The information presentation apparatus according to claim 1, further comprising content summarizing means for summarizing the content using the audio data of the content. さらに、提示するコンテンツを所定の傾向情報に基づいて推薦し表示させるコンテンツ推薦表示手段を有することを特徴とする請求項1記載の情報提示装置。   2. The information presentation apparatus according to claim 1, further comprising content recommendation display means for recommending and displaying the presented content based on predetermined trend information. 前記コンテンツ推薦表示手段は、ユーザの利用履歴をもとにユーザの興味関心の傾向を検出し、ユーザ利用傾向に合わせたコンテンツを注目誘導表示させる手段を有することを特徴とする請求項7記載の情報提示装置。   8. The content recommendation display means includes means for detecting a tendency of interest of a user based on a user's usage history and displaying the content in accordance with the user's usage tendency in an attention-guided manner. Information presentation device. 前記幾何学的配置による表示は、仮想三次元空間内で環状に配置してモニタ表示することを特徴とする請求項1記載の情報提示装置。   The information presentation apparatus according to claim 1, wherein the display by the geometric arrangement is arranged in a ring shape in a virtual three-dimensional space and displayed on a monitor. モニタ上で複数のコンテンツを表示する情報提示方法において、
前記複数のコンテンツそれぞれにおけるハイライト部分を選択するコンテンツハイライト選択過程と、
前記複数のコンテンツを予め決められた幾何学的配置となるように設定するコンテンツ配置設定過程と、
前記複数のコンテンツの配置位置を順次座標変換して表示位置を移動させるコンテンツ配置座標変換過程と、
前記コンテンツ表示設定情報に含まれるコンテンツ配置位置情報と前記コンテンツハイライト選択過程によって得られたコンテンツのハイライト時点の値から、各コンテンツの初期配置位置におけるコンテンツの再生開始時点を算出するコンテンツ表示設定過程と、
前記コンテンツ配置座標変換過程で算出されたコンテンツ配置座標に前記複数のコンテンツをモニタに出力表示させ、前記コンテンツ表示設定過程で設定されたコンテンツ再生開始時点の情報に従って各コンテンツの表示を行うコンテンツ表示過程と
を具備することを特徴とする情報提示方法。
In an information presentation method for displaying a plurality of contents on a monitor,
A content highlight selection process of selecting a highlight portion in each of the plurality of contents;
A content arrangement setting process for setting the plurality of contents so as to have a predetermined geometric arrangement;
A content arrangement coordinate conversion process of sequentially converting the arrangement positions of the plurality of contents to move the display position;
Content display setting for calculating the content reproduction start time at the initial arrangement position of each content from the content arrangement position information included in the content display setting information and the content highlight time value obtained by the content highlight selection process Process,
A content display process in which the plurality of contents are output and displayed on a monitor at the content arrangement coordinates calculated in the content arrangement coordinate conversion process, and each content is displayed according to the information at the time of starting the content reproduction set in the content display setting process An information presentation method characterized by comprising:
さらに、前記コンテンツのハイライトにおけるピークの再生位置を検出するハイライトピーク検出過程を備え、
前記コンテンツ表示設定過程は、前記コンテンツ配置座標変換過程によりコンテンツが特定の表示位置に移動させられたときに前記ハイライトピーク検出過程で検出されるピークが再生されるように前記コンテンツの再生開始時点を算出することを特徴とする請求項10記載の情報提示方法。
And a highlight peak detection process for detecting a reproduction position of the peak in the highlight of the content,
In the content display setting process, when the content is moved to a specific display position by the content arrangement coordinate conversion process, the content detection start time is reproduced so that the peak detected in the highlight peak detection process is reproduced. The information presentation method according to claim 10, wherein the information is calculated.
前記ハイライトピーク検出過程は、前記コンテンツに関連したメタデータからコンテンツ中のハイライト部分に含まれるピーク位置の情報を検出することを特徴とする請求項11記載の情報提示方法。   12. The information presentation method according to claim 11, wherein the highlight peak detecting step detects information on a peak position included in a highlight portion in the content from metadata related to the content. 前記ハイライトピーク検出過程は、前記コンテンツに含まれる音声データを解析する過程と、前記音声データ解析結果に基づいて前記コンテンツ中のハイライト部分のピーク位置を検出する過程とを備えることを特徴とする請求項11記載の情報提示方法。   The highlight peak detecting step includes a step of analyzing audio data included in the content, and a step of detecting a peak position of a highlight portion in the content based on the audio data analysis result. The information presentation method according to claim 11. さらに、前記コンテンツが映像である場合、映像フレーム間の画像変化特徴量の変化量を用いて、コンテンツ中のハイライト部分のピークとなるフレームを選択するピークフレーム選択過程を備えることを特徴とする請求項10記載の情報提示方法。   Furthermore, when the content is a video, a peak frame selection process for selecting a frame that is a peak of a highlight portion in the content using a change amount of an image change feature amount between video frames is provided. The information presentation method according to claim 10. さらに、前記コンテンツの音声データを用いてコンテンツを要約する、コンテンツ要約過程を有することを特徴とする請求項10記載の情報提示方法。   The information presentation method according to claim 10, further comprising a content summarization step of summarizing the content using audio data of the content. さらに、提示するコンテンツを所定の傾向情報に基づいて推薦し表示させるコンテンツ推薦表示過程を備えることを特徴とする請求項10記載の情報提示方法。   11. The information presentation method according to claim 10, further comprising a content recommendation display process for recommending and displaying the presented content based on predetermined trend information. 前記コンテンツ推薦表示過程は、ユーザの利用履歴をもとにユーザの興味関心の傾向を検出し、ユーザ利用傾向に合わせたコンテンツを注目誘導表示させる過程を備えることを特徴とする前記請求項16記載の情報提示方法。   17. The content recommendation display step includes a step of detecting a user's interest tendency based on a user's usage history and displaying the content in accordance with the user's usage tendency as an attention-guided display. Information presentation method. 前記幾何学的配置による表示は、仮想三次元空間内で環状に配置してモニタ表示することを特徴とする請求項10記載の情報提示方法。   The information presentation method according to claim 10, wherein the display by the geometric arrangement is arranged in a ring shape in a virtual three-dimensional space and displayed on a monitor. モニタ上で複数のコンテンツを表示する処理をコンピュータに実行させる情報提示プログラムにおいて、
前記複数のコンテンツそれぞれにおけるハイライト部分を選択するコンテンツハイライト選択ステップと、
前記複数のコンテンツを予め決められた幾何学的配置となるように設定するコンテンツ配置設定ステップと、
前記複数のコンテンツの配置位置を順次座標変換して表示位置を移動させるコンテンツ配置座標変換ステップと、
前記コンテンツ表示設定情報に含まれるコンテンツ配置位置情報と前記コンテンツハイライト選択ステップによって得られたコンテンツのハイライト時点の値から、各コンテンツの初期配置位置におけるコンテンツの再生開始時点を算出するコンテンツ表示設定ステップと、
前記コンテンツ配置座標変換ステップで算出されたコンテンツ配置座標に前記複数のコンテンツをモニタに出力表示させ、前記コンテンツ表示設定ステップで設定されたコンテンツ再生開始時点の情報に従って各コンテンツの表示を行うコンテンツ表示ステップと
を具備することを特徴とする情報提示プログラム。
In an information presentation program for causing a computer to execute a process of displaying a plurality of contents on a monitor,
A content highlight selection step of selecting a highlight portion in each of the plurality of contents;
A content arrangement setting step for setting the plurality of contents to have a predetermined geometric arrangement;
A content arrangement coordinate conversion step of sequentially converting the arrangement positions of the plurality of contents to move the display position;
Content display setting for calculating the content playback start time at the initial layout position of each content from the content layout position information included in the content display setting information and the content highlight time value obtained by the content highlight selection step Steps,
A content display step of outputting and displaying the plurality of contents on the monitor at the content arrangement coordinates calculated in the content arrangement coordinate conversion step, and displaying each content according to the information at the time of starting the content reproduction set in the content display setting step An information presentation program comprising:
モニタ上で複数のコンテンツを表示する処理をコンピュータに実行させる情報提示プログラムとして、
前記複数のコンテンツそれぞれにおけるハイライト部分を選択するコンテンツハイライト選択ステップと、
前記複数のコンテンツを予め決められた幾何学的配置となるように設定するコンテンツ配置設定ステップと、
前記複数のコンテンツの配置位置を順次座標変換して表示位置を移動させるコンテンツ配置座標変換ステップと、
前記コンテンツ表示設定情報に含まれるコンテンツ配置位置情報と前記コンテンツハイライト選択ステップによって得られたコンテンツのハイライト時点の値から、各コンテンツの初期配置位置におけるコンテンツの再生開始時点を算出するコンテンツ表示設定ステップと、
前記コンテンツ配置座標変換ステップで算出されたコンテンツ配置座標に前記複数のコンテンツをモニタに出力表示させ、前記コンテンツ表示設定ステップで設定されたコンテンツ再生開始時点の情報に従って各コンテンツの表示を行うコンテンツ表示ステップと
を具備する情報提示プログラムを記録したことを特徴とする情報記録媒体。
As an information presentation program that causes a computer to execute a process of displaying a plurality of contents on a monitor,
A content highlight selection step of selecting a highlight portion in each of the plurality of contents;
A content arrangement setting step for setting the plurality of contents to have a predetermined geometric arrangement;
A content arrangement coordinate conversion step of sequentially converting the arrangement positions of the plurality of contents to move the display position;
Content display setting for calculating the content playback start time at the initial layout position of each content from the content layout position information included in the content display setting information and the content highlight time value obtained by the content highlight selection step Steps,
A content display step of outputting and displaying the plurality of contents on a monitor at the content arrangement coordinates calculated in the content arrangement coordinate conversion step, and displaying each content according to the information at the time of starting the content reproduction set in the content display setting step An information recording medium characterized by recording an information presentation program comprising:
JP2005336140A 2005-11-21 2005-11-21 Information presenting apparatus, information presenting method, information presenting program, and information recording medium Expired - Fee Related JP4555214B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005336140A JP4555214B2 (en) 2005-11-21 2005-11-21 Information presenting apparatus, information presenting method, information presenting program, and information recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005336140A JP4555214B2 (en) 2005-11-21 2005-11-21 Information presenting apparatus, information presenting method, information presenting program, and information recording medium

Publications (2)

Publication Number Publication Date
JP2007141092A true JP2007141092A (en) 2007-06-07
JP4555214B2 JP4555214B2 (en) 2010-09-29

Family

ID=38203849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005336140A Expired - Fee Related JP4555214B2 (en) 2005-11-21 2005-11-21 Information presenting apparatus, information presenting method, information presenting program, and information recording medium

Country Status (1)

Country Link
JP (1) JP4555214B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009117927A (en) * 2007-11-02 2009-05-28 Sony Corp Information processor, information processing method, and computer program
JP2010224850A (en) * 2009-03-24 2010-10-07 Nec Corp Allocation system, allocation apparatus, allocation method, and program
KR20100127268A (en) * 2008-03-13 2010-12-03 코닌클리케 필립스 일렉트로닉스 엔.브이. Method and device for enabling selection of an item from a plurality of items
KR20120042542A (en) * 2010-10-25 2012-05-03 엘지전자 주식회사 Information management apparatus and method thereof
JP2014044728A (en) * 2013-09-11 2014-03-13 Casio Comput Co Ltd Image display control device, image display system, image display method, and program
US9100678B2 (en) 2011-03-30 2015-08-04 Casio Computer Co., Ltd. Image display method, server, and image display system
KR101617192B1 (en) * 2007-09-26 2016-05-18 에이큐 미디어 인크 Audio-visual navigation and communication
KR101740049B1 (en) 2010-09-14 2017-05-25 엘지전자 주식회사 Display apparatus and controlling method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165802A (en) * 1997-08-20 1999-03-09 Fujitsu Ltd Contents display method/device
JP2000350184A (en) * 1999-06-07 2000-12-15 Toshiba Corp Video on demand aid system and web server
JP2004120553A (en) * 2002-09-27 2004-04-15 Clarion Co Ltd Recording/reproducing apparatus, recording apparatus, their control method, control program, and record medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1165802A (en) * 1997-08-20 1999-03-09 Fujitsu Ltd Contents display method/device
JP2000350184A (en) * 1999-06-07 2000-12-15 Toshiba Corp Video on demand aid system and web server
JP2004120553A (en) * 2002-09-27 2004-04-15 Clarion Co Ltd Recording/reproducing apparatus, recording apparatus, their control method, control program, and record medium

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102204485B1 (en) 2007-09-26 2021-01-19 에이큐 미디어 인크 Audio-visual navigation and communication
KR20210008154A (en) * 2007-09-26 2021-01-20 에이큐 미디어 인크 Audio-visual navigation and communication
KR101842706B1 (en) 2007-09-26 2018-03-27 에이큐 미디어 인크 Audio-visual navigation and communication
KR102597520B1 (en) 2007-09-26 2023-11-06 에이큐 미디어 인크 Audio-visual navigation and communication
KR20180033597A (en) * 2007-09-26 2018-04-03 에이큐 미디어 인크 Audio-visual navigation and communication
KR20220163530A (en) * 2007-09-26 2022-12-09 에이큐 미디어 인크 Audio-visual navigation and communication
KR102473653B1 (en) 2007-09-26 2022-12-02 에이큐 미디어 인크 Audio-visual navigation and communication
KR101966298B1 (en) 2007-09-26 2019-04-05 에이큐 미디어 인크 Audio-visual navigation and communication
KR101617192B1 (en) * 2007-09-26 2016-05-18 에이큐 미디어 인크 Audio-visual navigation and communication
KR20210156867A (en) * 2007-09-26 2021-12-27 에이큐 미디어 인크 Audio-visual navigation and communication
KR102341800B1 (en) 2007-09-26 2021-12-21 에이큐 미디어 인크 Audio-visual navigation and communication
KR101742256B1 (en) 2007-09-26 2017-05-31 에이큐 미디어 인크 Audio-visual navigation and communication
KR20200023512A (en) * 2007-09-26 2020-03-04 에이큐 미디어 인크 Audio-visual navigation and communication
KR102083219B1 (en) 2007-09-26 2020-03-02 에이큐 미디어 인크 Audio-visual navigation and communication
KR20190038953A (en) * 2007-09-26 2019-04-09 에이큐 미디어 인크 Audio-visual navigation and communication
JP2009117927A (en) * 2007-11-02 2009-05-28 Sony Corp Information processor, information processing method, and computer program
KR101575725B1 (en) * 2008-03-13 2015-12-21 깁슨 이노베이션즈 벨지움 엔브이 Method and device for enabling selection of an item from a plurality of items
KR20100127268A (en) * 2008-03-13 2010-12-03 코닌클리케 필립스 일렉트로닉스 엔.브이. Method and device for enabling selection of an item from a plurality of items
JP2011513872A (en) * 2008-03-13 2011-04-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and device enabling selection of an item from a plurality of items
JP2010224850A (en) * 2009-03-24 2010-10-07 Nec Corp Allocation system, allocation apparatus, allocation method, and program
KR101740049B1 (en) 2010-09-14 2017-05-25 엘지전자 주식회사 Display apparatus and controlling method thereof
KR20120042542A (en) * 2010-10-25 2012-05-03 엘지전자 주식회사 Information management apparatus and method thereof
KR101718030B1 (en) * 2010-10-25 2017-03-20 엘지전자 주식회사 Information management apparatus and method thereof
US9100678B2 (en) 2011-03-30 2015-08-04 Casio Computer Co., Ltd. Image display method, server, and image display system
JP2014044728A (en) * 2013-09-11 2014-03-13 Casio Comput Co Ltd Image display control device, image display system, image display method, and program

Also Published As

Publication number Publication date
JP4555214B2 (en) 2010-09-29

Similar Documents

Publication Publication Date Title
US11301113B2 (en) Information processing apparatus display control method and program
CN103702039B (en) image editing apparatus and image editing method
JP4065142B2 (en) Authoring apparatus and authoring method
JP4555214B2 (en) Information presenting apparatus, information presenting method, information presenting program, and information recording medium
CN101150699B (en) Information processing apparatus, information processing method
US20120209841A1 (en) Bookmarking segments of content
JP2013118649A (en) System and method for presenting comments with media
JP2007274090A (en) Content reproducing apparatus, method, and program
KR20070090751A (en) Image displaying method and video playback apparatus
JP2008141746A (en) System and method for playing moving images
WO2012160771A1 (en) Information processing device, information processing method, program, storage medium and integrated circuit
JP2010514302A (en) Method for creating a new summary for an audiovisual document that already contains a summary and report and receiver using the method
US11551724B2 (en) System and method for performance-based instant assembling of video clips
WO2008087742A1 (en) Moving picture reproducing system, information terminal device and information display method
JP2007267356A (en) File management program, thumb nail image display method, and moving image reproduction device
JP2007037031A (en) Editing apparatus and method
JP4660374B2 (en) Recording / reproducing system, recording apparatus, reproducing apparatus, recording medium, recording / reproducing method, recording method, reproducing method, program, and recording medium
TWI497959B (en) Scene extraction and playback system, method and its recording media
JP2007329553A (en) Personal computer and content management apparatus
JP2004110096A (en) User operation log visualizing method, user operation log visualizing device, program and its recording medium
JP2012004687A (en) Content playback device, content output device, and content playback system
JP2011193386A (en) Electronic apparatus and image processing method
JP5524871B2 (en) Video information presentation method, video information presentation device, and video information presentation program
JP5060394B2 (en) Information processing apparatus and information processing method
JP2011053834A (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100713

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100715

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees