JP2005275885A - Information processor and program - Google Patents

Information processor and program Download PDF

Info

Publication number
JP2005275885A
JP2005275885A JP2004089159A JP2004089159A JP2005275885A JP 2005275885 A JP2005275885 A JP 2005275885A JP 2004089159 A JP2004089159 A JP 2004089159A JP 2004089159 A JP2004089159 A JP 2004089159A JP 2005275885 A JP2005275885 A JP 2005275885A
Authority
JP
Japan
Prior art keywords
thumbnail
representative
thumbnails
still image
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004089159A
Other languages
Japanese (ja)
Other versions
JP4741808B2 (en
Inventor
Hidekazu Fukui
秀和 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Embedded Products Ltd
Original Assignee
NEC Embedded Products Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Embedded Products Ltd filed Critical NEC Embedded Products Ltd
Priority to JP2004089159A priority Critical patent/JP4741808B2/en
Publication of JP2005275885A publication Critical patent/JP2005275885A/en
Application granted granted Critical
Publication of JP4741808B2 publication Critical patent/JP4741808B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To instantaneously make a user retrieve a desired file, in an information processor. <P>SOLUTION: When the user retrieves the file, a representative thumb nail selection part 6 selects a representative thumb nail representative of a period classified in a time series, and a display control part 7 displays only the representative thumb nail of each the period on a screen. Thereby, after making the user recall another file belonging to each the period with the representative thumb nail displayed on the screen as a trigger, the representative thumb nail selection part 6 selects the representative thumb nail thought that the representative thumb nail is close to the desired file in the time series, and prompts an instruction. Next, the display control part 7 displays the representative thumb nail instructed by the user, and the thumb nail close to the representative thumb nail in the time series on the screen, so that the user is prompted that the user selects the thumb nail showing the desired file and performs an instruction. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、複数のファイルの中から所望のファイルを検索するための情報処理装置、プログラムに関し、特に、ファイル検索時に、ファイルをサムネールで表して画面に表示する情報処理装置、プログラムに関する。   The present invention relates to an information processing apparatus and program for searching for a desired file from a plurality of files, and more particularly to an information processing apparatus and program for displaying a file as a thumbnail on a screen when searching for the file.

近年、パーソナルコンピュータ等の情報処理装置においては、ハードディスクの大容量化に伴い、文書作成ソフトウェアや表計算ソフトウェア等のアプリケーションを用いて作成されたファイルだけでなく、デジタルカメラやデジタルビデオカメラで撮影された画像ファイル（静止画ファイルや動画ファイル）、テレビ機能を利用して録画した番組の動画ファイル、ネットワーク上からダウンロードした音楽ファイル等、様々な属性のファイルが保存されるようになっており、保存されるファイルの数も膨大なものになっている。   In recent years, information processing apparatuses such as personal computers have been shot not only with files created using applications such as document creation software and spreadsheet software, but also with digital cameras and digital video cameras as the capacity of hard disks increases. Files with various attributes, such as recorded image files (still image files and video files), video files of programs recorded using the TV function, music files downloaded from the network, etc. The number of files to be played has become enormous.

そのため、最近は、複数のファイルの中から所望のファイルをユーザにいち早く検索させるために、複数のファイルの各々をサムネールと呼ばれる縮小画像として表して画面にまとめて表示し、ユーザに所望のファイルを選択させる情報処理装置が一部で開示されている（例えば、特許文献１参照）。   Therefore, recently, in order to prompt the user to search for a desired file from among a plurality of files, each of the plurality of files is displayed as a reduced image called a thumbnail and displayed on the screen, and the desired file is displayed to the user. Some information processing apparatuses to be selected are disclosed (for example, refer to Patent Document 1).

この特許文献１に開示された情報処理装置は、２つの時系列要素、すなわち仮想の螺旋とその螺旋の螺旋軸とを表示し、検索対象の複数のサムネールを螺旋上に時系列的に配列表示するとともに、複数のサムネールの中から所定の単位時間毎に選択された代表サムネールを螺旋軸上に配列表示するものである。   The information processing apparatus disclosed in Patent Document 1 displays two time-series elements, that is, a virtual spiral and a spiral axis of the spiral, and displays a plurality of search target thumbnails on the spiral in a time-series manner. At the same time, representative thumbnails selected from a plurality of thumbnails every predetermined unit time are arranged and displayed on the spiral axis.

このように、複数のサムネールを螺旋上に時系列的に配列表示することにより、例えば、春、秋等の季節毎の画像ファイルをサムネールとしてまとめて表示することが可能となるため、ユーザは、季節毎にサムネールとしてまとめて表示された画像ファイルの中から所望のファイルを検索することが可能となる。   In this way, by displaying a plurality of thumbnails in a time-series manner on a spiral, for example, it becomes possible to display image files for each season such as spring, autumn, etc. collectively as thumbnails. It is possible to search for a desired file from among image files displayed together as thumbnails for each season.

また、代表サムネールを螺旋軸上に時系列的に配列表示することにより、代表サムネールの螺旋上の位置が明確となる。そのため、ユーザは、代表サムネールの螺旋上の位置に基づいて所望のファイルを検索することが可能となる。
特開２００２−７４３２２号公報 In addition, by displaying the representative thumbnails in a time series on the spiral axis, the position of the representative thumbnail on the spiral becomes clear. Therefore, the user can search for a desired file based on the position on the spiral of the representative thumbnail.
JP 2002-74322 A

上述のように、特許文献１に開示された情報処理装置においては、検索対象の複数のサムネールの中から選択された代表サムネールを螺旋軸上に表示しているため、代表サムネールの時間上の位置が明確となり、それにより、代表サムネールの位置に基づいて所望のファイルを検索することが可能になる。   As described above, in the information processing apparatus disclosed in Patent Document 1, since the representative thumbnail selected from the plurality of thumbnails to be searched is displayed on the spiral axis, the position of the representative thumbnail in time This makes it possible to search for a desired file based on the position of the representative thumbnail.

その一方で、特許文献１に開示された情報処理装置においては、複数のサムネールをまとめて螺旋上に表示することも行われているため、例えば、ファイルの数が増えるにしたがって、画面に表示されるサムネールの数も増えることになる。   On the other hand, in the information processing apparatus disclosed in Patent Document 1, since a plurality of thumbnails are displayed together on a spiral, for example, the information is displayed on the screen as the number of files increases. The number of thumbnails that will be increased.

ところで、人間の記憶は時系列的に繋がっていると考えられるため、例えば、何らかの特徴的な画像を表すサムネールを表示すれば、ユーザは、サムネールとして表された画像をトリガーとして、その画像と時系列的に前後する画像や音楽等の他のファイルの記憶を呼び起こすことができると考えられる。   By the way, since human memory is thought to be connected in time series, for example, if a thumbnail representing some characteristic image is displayed, the user can trigger the image represented as the thumbnail to trigger the image and time. It is thought that it is possible to evoke the storage of other files such as images and music that move back and forth in series.

しかしながら、画面に表示されるサムネールの数が膨大になると、ユーザの注意が画面上の他のサムネールに分散するため、所望のファイルを検索することが困難になる。   However, if the number of thumbnails displayed on the screen becomes enormous, the user's attention is distributed to other thumbnails on the screen, making it difficult to search for a desired file.

すなわち、特許文献１に開示された情報処理装置のように、検索対象の複数のサムネールの中から選択された代表サムネールと共に、複数のサムネールをも画面に表示する場合、結局、ユーザは、代表サムネールとしてではなくその他大勢のサムネールとして画面に表示されているものの中から所望のファイルを検索しなければならず、却ってファイル検索に時間がかかってしまうと考えられる。   That is, when a plurality of thumbnails are displayed on the screen together with the representative thumbnail selected from the plurality of search target thumbnails as in the information processing apparatus disclosed in Patent Document 1, the user eventually becomes the representative thumbnail. However, it is necessary to search for a desired file from those displayed on the screen as many other thumbnails, and it is considered that it takes time to search for a file.

そこで、本発明の目的は、画面上に膨大な数のサムネールを表示しなくとも、ユーザに所望のファイルをいち早く検索させることができる情報処理装置、プログラムを提供することにある。   Accordingly, an object of the present invention is to provide an information processing apparatus and a program that allow a user to quickly search for a desired file without displaying a huge number of thumbnails on the screen.

上記目的を達成するために本発明の情報処理装置は、複数のファイルの中から所望のファイルを検索するための装置であり、複数のファイルの各々のサムネールを作成するサムネール作成手段と、サムネール作成手段にて作成された複数のサムネールの各々を、時系列データと関連付けて格納するサムネール格納手段と、ファイル検索が指示された時に、サムネール格納手段に格納されている複数のサムネールを時系列的に１以上の期間に分類した上で、各々の期間を代表する代表サムネールを選択する代表サムネール選択手段と、ファイル検索が指示された時に、代表サムネール選択手段により各々の期間において選択された代表サムネールをサムネール格納手段から抽出し、抽出した代表サムネールのみを時系列的に並べて画面に表示し、その後に、画面に表示された代表サムネールの中からいずれかの代表サムネールが指示された場合には、指示された代表サムネールと、当該代表サムネールと時系列的に前後するサムネールとをサムネール格納手段から抽出し、抽出したサムネールを時系列的に並べて画面に表示する表示制御手段とを有することを特徴としている。   In order to achieve the above object, an information processing apparatus according to the present invention is an apparatus for searching for a desired file from a plurality of files, a thumbnail creating means for creating each thumbnail of the plurality of files, and thumbnail creation Each of the plurality of thumbnails created by the means is stored in association with time-series data, and when a file search is instructed, the plurality of thumbnails stored in the thumbnail storage means are time-sequentially stored. The representative thumbnail selection means for selecting a representative thumbnail representing each period after being classified into one or more periods, and the representative thumbnail selected in each period by the representative thumbnail selection means when a file search is instructed. Extract from the thumbnail storage means, and display only the extracted representative thumbnails in chronological order on the screen. Thereafter, when any one of the representative thumbnails displayed on the screen is designated, the designated representative thumbnail and the thumbnails that are chronologically related to the representative thumbnail are displayed from the thumbnail storage means. It has a display control means for extracting and displaying the extracted thumbnails arranged in time series on the screen.

上記のように構成される本発明においては、ファイル検索が指示された時に、まず、時系列的に分類された期間を各々代表する代表サムネールのみを画面に表示することにより、ユーザに対し、画面に表示された代表サムネールをトリガーにして各々の期間に属する他のファイルの記憶を呼び起こさせた上で、所望のファイルと時間列的に前後すると考えられる代表サムネールを選択し、指示するよう促す。続いて、ユーザに指示された代表サムネールと時系列的に前後するサムネールとを画面に表示することにより、ユーザに対し、所望のファイルを表すサムネールを選択し、指示するよう促す。   In the present invention configured as described above, when a file search is instructed, first, only the representative thumbnails representing the time-series classified periods are displayed on the screen, so that the screen can be displayed to the user. Triggering the representative thumbnail displayed in the above to trigger the storage of other files belonging to each period, the user is prompted to select and designate a representative thumbnail that is considered to be around the desired file in time sequence. Subsequently, the representative thumbnail instructed by the user and thumbnails that move back and forth in time series are displayed on the screen, and the user is prompted to select and instruct a thumbnail representing a desired file.

このように、サムネールを少量ずつ段階的に表示してユーザにファイルを選択させているため、画面上に膨大な数のサムネールを一度に表示することなく、ユーザに所望のファイルをいち早く検索させることが可能となる。   In this way, thumbnails are displayed step by step and the user is allowed to select a file, so that the user can quickly search for a desired file without displaying a huge number of thumbnails at once on the screen. Is possible.

なお、代表サムネール選択手段は、各々の期間において、その期間に属する他のファイルの記憶を呼び起こさせるトリガーとなり得る代表サムネールを選択するために、次の第１〜第５の条件を用いることとしても良い。   Note that the representative thumbnail selection means may use the following first to fifth conditions in order to select a representative thumbnail that can be a trigger to evoke the storage of other files belonging to that period in each period. good.

第１の条件は、各々の期間において、ファイルの種類が異なるサムネールが混在している場合には、静止画ファイルを表すサムネールを代表サムネールとして選択するものである。   The first condition is to select a thumbnail representing a still image file as a representative thumbnail when thumbnails of different file types are mixed in each period.

第２の条件は、第１の条件に加えて、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネールが時系列的に集中している時間帯を判断し、当該時間帯に属するサムネールを代表サムネールとして選択するものである。   In the second condition, in addition to the first condition, if there are a plurality of thumbnails representing still image files in each period, thumbnails representing still image files are concentrated in time series. A time zone is determined, and a thumbnail belonging to the time zone is selected as a representative thumbnail.

第３の条件は、第１の条件に加えて、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネール毎に、当該静止画の構図を認識し、所定の条件を満たす構図の静止画ファイルを表すサムネールを代表サムネールとして選択するものである。   In the third condition, in addition to the first condition, when there are a plurality of thumbnails representing still image files in each period, the composition of the still image is configured for each thumbnail representing the still image file. A thumbnail representing a still image file that is recognized and satisfies a predetermined condition is selected as a representative thumbnail.

第４の条件は、第１の条件に加えて、各々の期間において、人物の顔が写っている静止画ファイルを表すサムネールが複数存在している場合には、人物の顔が写っている静止画ファイルを表すサムネール毎に、当該静止画に写っている顔の認識を行って、同一期間内の静止画中に最も多く写っている人物を判断し、当該人物が写っている静止画ファイルを表すサムネールを代表サムネールとして選択するものである。   In the fourth condition, in addition to the first condition, if there are a plurality of thumbnails representing still image files in which a person's face is captured in each period, the still image in which the person's face is captured For each thumbnail representing an image file, the face in the still image is recognized to determine the person most captured in the still image, and the still image file in which the person is captured The thumbnail to be displayed is selected as the representative thumbnail.

第５の条件は、第１の条件に加えて、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネール毎に、当該静止画に類似する他の静止画が同一期間内に存在するかを所定の条件に基づき検索し、類似している静止画の数が最も多い静止画ファイルを表すサムネールを代表サムネールとして選択するものである。   In addition to the first condition, the fifth condition is similar to the still image for each thumbnail representing the still image file when there are a plurality of thumbnails representing the still image file in each period. Whether another still image exists within the same period is searched based on a predetermined condition, and a thumbnail representing a still image file having the largest number of similar still images is selected as a representative thumbnail.

本発明によれば、各々の期間を代表する代表サムネールのみを画面に表示し、所望のファイルと時間列的に前後すると考えられる代表サムネールをユーザに選択、指示させてから、ユーザに指示された代表サムネールと時系列的に前後するサムネールとを画面に表示し、所望のファイルを表すサムネールをユーザに選択、指示させる。これにより、画面上に膨大な数のサムネールを一度に表示することなく、ユーザに所望のファイルをいち早く検索させることができる。   According to the present invention, only the representative thumbnail representing each period is displayed on the screen, and the user selects and designates a representative thumbnail that is considered to be around the desired file in time sequence, and then the user is instructed. The representative thumbnail and the thumbnails that move back and forth in time series are displayed on the screen, and the user selects and designates a thumbnail that represents a desired file. Accordingly, the user can be quickly searched for a desired file without displaying a huge number of thumbnails on the screen at a time.

以下に、本発明を実施するための最良の形態について図面を参照して説明する。   The best mode for carrying out the present invention will be described below with reference to the drawings.

図１は、本発明の一実施形態による情報処理装置の構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of an information processing apparatus according to an embodiment of the present invention.

図１を参照すると、本発明の一実施形態による情報処理装置は、入力部１と、ファイル取得部２と、ファイル格納部３と、サムネール作成部４と、サムネール格納部５と、代表サムネール選択部６と、表示制御部７と、表示部８と、中央制御部９とを有している。この情報処理装置は、パーソナルコンピュータ等のコンピュータにより実現される。   Referring to FIG. 1, an information processing apparatus according to an embodiment of the present invention includes an input unit 1, a file acquisition unit 2, a file storage unit 3, a thumbnail creation unit 4, a thumbnail storage unit 5, and a representative thumbnail selection. A unit 6, a display control unit 7, a display unit 8, and a central control unit 9 are included. This information processing apparatus is realized by a computer such as a personal computer.

入力部１は、ユーザにより各種指示が入力される部分であり、マウス１1と、キーボード１2と、リモコン１3とを構成要素として含んでいる。なお、入力部１は、これらの構成要素を全て含んでいる必要はなく、いずれか１つを含んでいれば良いが、後述のように、本情報処理装置は、ファイル検索時に、マウス１1もしくはリモコン１3による操作性を向上させる機能を備えているため、少なくともマウス１1もしくはリモコン１3を構成要素として含むことが好ましい。 Input unit 1 is a portion which various instructions are input by a user, a mouse 1 1, a keyboard 1 2 include as a component the remote control 1 3. Note that the input unit 1 does not need to include all of these components, and may include any one of them. However, as will be described later, the information processing apparatus uses the mouse 1 1 when searching for a file. or because of a function to improve the operability by the remote controller 1 3 preferably contains at least one mouse 1 or the remote controller 1 3 as a component.

ファイル取得部２は、文書ファイル、画像ファイル（静止画ファイルや動画ファイル）、音楽ファイル等、様々な種類のファイルを複数取得し、取得したファイルをファイル格納部３に格納する。これらのファイルが、本発明では検索対象のファイルとなる。   The file acquisition unit 2 acquires a plurality of various types of files such as document files, image files (still image files and moving image files), music files, and stores the acquired files in the file storage unit 3. These files are search target files in the present invention.

なお、ファイル取得部２は、上述のようなファイルを取得するために、次の（Ａ）〜（Ｄ）に示す構成要素を少なくとも１つ備えている。
（Ａ）文書作成ソフトウェア、表計算ソフトウェア、グラフィックソフトウェア等の不図示のアプリケーションを用いて作成されたファイルを取得する構成要素
（Ｂ）インターネット等のネットワーク上から画像ファイル（静止画ファイルや動画ファイル）、音楽ファイル等をダウンロードして取得する構成要素
（Ｃ）不図示のテレビ機能を利用して録画された番組の動画ファイルを取得する構成要素
（Ｄ）デジタルカメラやデジタルビデオカメラで撮影された画像ファイル（静止画ファイルや動画ファイル）を不図示のインターフェースを介して取り込み取得する構成要素
また、ファイル取得部２は、複数のファイルの各々について、時系列データおよび属性データを併せて取得することとする。例えば、文書作成ソフトウェア等のアプリケーションを用いて作成されたファイルについては、そのファイルの新規作成時の時刻またはその後に更新されていれば更新時の時刻を時系列データとして取得する他、そのファイルの種類等を属性データとして取得する。また、ネットワーク上からダウンロードして取得した画像ファイルについては、そのファイルをダウンロードした時刻を時系列データとして取得する他、そのファイルの種類（例えば、Ｅｘｉｆ（Exchangeable Image File Format）情報等の画像フォーマット）等を属性データとして取得する。また、ネットワーク上からダウンロードして取得した音楽ファイルについては、そのファイルをダウンロードした時刻を時系列データとして取得する他、そのファイルの種類（例えば、ＭＰ３（MPEG Audio Layer-3）等の圧縮形式）等を属性データとして取得し、特に、ＭＰ３形式の音楽ファイルについては、ＩＤ（identification）３タグに記録されている、アーティスト名、タイトル名等の情報を属性データとして取得する。また、テレビ機能を利用して録画された番組の動画ファイルについては、ＥＰＧ（Electronic Program Guide）から番組の放送開始時刻または放送終了時刻を時系列データとして取得する他、ＥＰＧから番組が放送されたチャンネル、放送局、番組名、放送時間等を属性データとして取得する。また、デジタルカメラやデジタルビデオカメラで撮影された画像ファイルについては、その画像が撮影された時刻を時系列データとして取得する他、そのファイルの種類（例えば、Ｅｘｉｆ情報等の画像フォーマット）等を属性データとして取得する。 The file acquisition unit 2 includes at least one component shown in the following (A) to (D) in order to acquire a file as described above.
(A) Component for acquiring a file created using an application (not shown) such as document creation software, spreadsheet software, graphic software, etc. (B) Image file (still image file or movie file) from a network such as the Internet (C) A component that downloads and acquires music files, etc. (C) A component that acquires a movie file of a program recorded using a TV function (not shown). (D) An image captured by a digital camera or digital video camera. Components for acquiring and acquiring files (still image files and moving image files) via an interface (not shown). The file acquisition unit 2 acquires time-series data and attribute data for each of a plurality of files. To do. For example, for a file created using an application such as document creation software, the time of the new creation of the file or the time of update if it has been updated thereafter is acquired as time-series data, and the file Get the type etc. as attribute data. For image files obtained by downloading from the network, the time when the file was downloaded is obtained as time series data, and the file type (for example, image format such as Exif (Exchangeable Image File Format) information). Etc. are acquired as attribute data. For music files obtained by downloading from the network, the time when the file was downloaded is acquired as time series data, and the file type (for example, compression format such as MP3 (MPEG Audio Layer-3)) Are acquired as attribute data, and in particular, for an MP3 format music file, information such as an artist name and a title name recorded in an ID (identification) 3 tag is acquired as attribute data. As for video files of programs recorded using the TV function, the program start time or end time is acquired as time-series data from an EPG (Electronic Program Guide), and the program is broadcast from the EPG. Channel, broadcast station, program name, broadcast time, etc. are acquired as attribute data. For image files taken with a digital camera or digital video camera, the time when the image was taken is acquired as time-series data, and the file type (for example, image format such as Exif information) is attributed. Get as data.

サムネール作成部４は、ファイル取得部２により取得された複数のファイルの各々のサムネールを作成する。このサムネールは、ファイル取得部２によって、時系列データおよび属性データと関連付けられて、サムネール格納部５に格納される。   The thumbnail creation unit 4 creates a thumbnail for each of the plurality of files acquired by the file acquisition unit 2. The thumbnail is stored in the thumbnail storage unit 5 in association with the time-series data and the attribute data by the file acquisition unit 2.

なお、サムネール作成部４は、静止画ファイルについては、その静止画を縮小して表したものをサムネールとし、動画ファイルについては、その動画を構成している静止画のいずれか（例えば、最初の１コマ）を縮小して表したものをサムネールとする。また、画像ファイル以外のファイルについては、そのファイルの種類を任意の絵で表したアイコンをサムネールとする。ただし、ネットワーク上からダウンロードして取得した音楽ファイルのうち、ＣＤのパッケージ等の画像を同時にダウンロードした音楽ファイルについては、ダウンロードした画像を縮小して表したものをサムネールとしても良い。   Note that the thumbnail creation unit 4 uses a thumbnail of a still image file that is a reduced representation of the still image, and a movie file that is one of the still images that make up the movie (for example, the first A thumbnail of one frame) is expressed as a thumbnail. For files other than image files, an icon representing the file type as an arbitrary picture is used as a thumbnail. However, among music files obtained by downloading from the network and having downloaded images such as CD packages at the same time, thumbnails of the downloaded images may be used as thumbnails.

代表サムネール選択部６は、入力部１を介してユーザによりファイル検索が指示された時に、まず、ファイル格納部３に格納されている時系列データを参照して、サムネール格納部５に格納されている複数のサムネールを時系列的に１以上の期間に分類する。さらに、ファイル格納部３に格納されている時系列データおよび属性データを参照して、または、ファイル格納部３に格納されているファイル自体（例えば、静止画ファイルの静止画等）を解析して、各々の期間を代表する代表サムネールを選択する。   When the user is instructed to search for a file via the input unit 1, the representative thumbnail selection unit 6 first refers to the time series data stored in the file storage unit 3 and is stored in the thumbnail storage unit 5. A plurality of thumbnails are classified into one or more periods in time series. Further, the time series data and attribute data stored in the file storage unit 3 are referred to, or the file itself stored in the file storage unit 3 (for example, a still image of a still image file) is analyzed. , Select a representative thumbnail representing each period.

なお、代表サムネール選択部６は、サムネールを１以上の期間に分類するに際し、週毎、複数週毎、月毎、年毎等の一定の単位時間を１つの期間としても良く、所定数以上のファイルがある時間帯に集中している場合はその時間帯を１つの期間としても良い。   The representative thumbnail selection unit 6 may classify the thumbnails into one or more periods, and may set a certain unit time such as weekly, multiple weeks, monthly, yearly, etc. as one period, and a predetermined number or more. When files are concentrated in a certain time zone, the time zone may be set as one period.

また、代表サムネール選択部６にて選択される代表サムネールは、後述のように、各々の期間に属する他のファイルの記憶を呼び起こすトリガーとなるべきものとして、各々の期間のサムネールを代表して表示部８の画面に表示されるものである。したがって、各々の期間において、他のファイルの記憶を呼び起こすトリガーとなり得るような代表サムネールを選択することは、非常に重要なポイントとなる。そこで、代表サムネール選択部６は、各々の期間において代表サムネールを選択するに際し、次の（１）〜（５）に示す条件を少なくとも１つ用いて代表サムネールを選択する。
（１）各々の期間において、文書ファイル、静止画ファイル、動画ファイル、音楽ファイル等、ファイルの種類が異なるサムネールが混在している場合には、静止画ファイルを表すサムネールを代表サムネールとして選択する。
（２）（１）の条件に加えて、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネールが時系列的に集中している時間帯を判断し、その時間帯に属するサムネールを代表サムネールとして選択する。
（３）（１）の条件に加えて、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネール毎に、その静止画の構図を認識し、所定の条件を満たす理想的な構図の静止画ファイルを表すサムネールを代表サムネールとして選択する。例えば、静止画の構図が所定の条件を満たす理想的な構図であるか否かは、３分割法を利用して判断することができる。より具体的には、３分割法において、静止画を縦に均等に３分割する２本の水平線と、静止画を横に均等に３分割する２本の垂直線とを仮想的に描画すると、２本の水平線と２本の垂直線とが交差する仮想上の４つの交点が得られるが、この４つの交点のいずれかにおいて、焦点の定まった被写体が存在すると判定されれば、所定の条件を満たしている理想的な構図と判断する。
（４）（１）の条件に加えて、各々の期間において、人物の顔が写っている静止画ファイルを表すサムネールが複数存在している場合には、人物の顔が写っている静止画ファイルを表すサムネール毎に、その静止画に写っている顔の認識を行って、同一期間内の静止画中に最も多く写っている人物を判断し、その人物が写っている静止画ファイルを表すサムネールを代表サムネールとして選択する。
（５）（１）の条件に加えて、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネール毎に、その静止画に類似する他の静止画が同一期間内に存在するかを所定の条件（例えば、全体色、色分布、輪郭、模様が一致するか等）に基づき検索し、類似する静止画の数が最も多い静止画ファイルを表すサムネールを代表サムネールとして選択する。なお、類似画像を検索する技術は、すでに公知なものとして多数開示されているため、本発明においては、上記のような条件に基づき類似判断を行う他、どのような公知技術を用いても良いものとする。 In addition, the representative thumbnail selected by the representative thumbnail selection unit 6 is displayed on behalf of the thumbnail of each period, as described below, as a trigger to evoke the storage of other files belonging to each period. Displayed on the screen of the unit 8. Therefore, selecting a representative thumbnail that can trigger the storage of other files in each period is a very important point. Therefore, the representative thumbnail selection unit 6 selects a representative thumbnail using at least one of the following conditions (1) to (5) when selecting a representative thumbnail in each period.
(1) In each period, when thumbnails of different file types are mixed, such as a document file, a still image file, a moving image file, and a music file, a thumbnail representing the still image file is selected as a representative thumbnail.
(2) In addition to the conditions of (1), when there are a plurality of thumbnails representing still image files in each period, a time zone in which thumbnails representing still image files are concentrated in time series And the thumbnail belonging to that time zone is selected as the representative thumbnail.
(3) In addition to the conditions of (1), if there are a plurality of thumbnails representing still image files in each period, the composition of the still image is recognized for each thumbnail representing the still image file. Then, a thumbnail representing a still image file having an ideal composition that satisfies a predetermined condition is selected as a representative thumbnail. For example, whether or not the composition of a still image is an ideal composition that satisfies a predetermined condition can be determined using a three-division method. More specifically, in the three-division method, when two horizontal lines that equally divide a still image into three vertically and two vertical lines that equally divide a still image into three horizontally are drawn, Four virtual intersections where two horizontal lines intersect with two vertical lines are obtained. If it is determined that there is a focused subject at any of the four intersections, a predetermined condition is satisfied. It is judged as an ideal composition that satisfies
(4) In addition to the conditions of (1), if there are a plurality of thumbnails representing still image files in which each person's face is shown in each period, a still image file in which the person's face is shown For each thumbnail that represents a thumbnail that represents the still image file in which the person in the still image is recognized by determining the person most in the still image within the same period. As the representative thumbnail.
(5) In addition to the condition of (1), if there are a plurality of thumbnails representing still image files in each period, other thumbnails representing still image files are similar to the still images. Search whether still images exist within the same period based on a predetermined condition (for example, whether the whole color, color distribution, outline, pattern match, etc.), and select the still image file with the largest number of similar still images. The thumbnail to be represented is selected as the representative thumbnail. Since many techniques for searching for similar images have already been disclosed as known ones, any known technique may be used in the present invention in addition to making a similarity determination based on the above conditions. Shall.

表示制御部７は、入力部１を介してユーザによりファイル検索が指示された時に、まず、代表サムネール選択部６により各々の期間において選択された代表サムネールをサムネール格納部５から抽出し、抽出した代表サムネールを、ファイル格納部３に格納されている時系列データを参照して、時系列的に並べて表示部８の画面に表示する。そして、ユーザによりいずれかの代表サムネールが指示された場合、ファイル格納部３に格納されている時系列データを参照して、ユーザに指示された代表サムネールと、ユーザに指示された代表サムネールと時系列的に前後するサムネールとをサムネール格納部５から抽出し、抽出したサムネールを時系列的に並べて表示部８の画面に表示する。   When a file search is instructed by the user via the input unit 1, the display control unit 7 first extracts the representative thumbnail selected by the representative thumbnail selection unit 6 in each period from the thumbnail storage unit 5 and extracts it. The representative thumbnails are displayed in a time series on the screen of the display unit 8 with reference to the time series data stored in the file storage unit 3. When one of the representative thumbnails is instructed by the user, the representative thumbnail instructed by the user, the representative thumbnail instructed by the user, and the time are referred to the time series data stored in the file storage unit 3. The thumbnails that are lined up and down are extracted from the thumbnail storage unit 5, and the extracted thumbnails are arranged in time series and displayed on the screen of the display unit 8.

表示部８は、表示制御部７による制御の元で各種の画面を表示する部分であり、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ等のディスプレイにより実現される。   The display unit 8 is a part that displays various screens under the control of the display control unit 7, and is realized by a display such as a CRT (Cathode Ray Tube) display, a liquid crystal display, or a plasma display.

中央制御部９は、入力部１を介したユーザからの指示に基づき、ファイル取得部２、サムネール作成部４、代表サムネール選択部６、および表示制御部７の制御を行う部分であり、ＣＰＵ等により実現される。   The central control unit 9 is a part that controls the file acquisition unit 2, the thumbnail creation unit 4, the representative thumbnail selection unit 6, and the display control unit 7 based on an instruction from the user via the input unit 1, such as a CPU. It is realized by.

なお、図１は、本発明を実施するためのコンピュータの要部の構成のみを示すものであり、実際には、コンピュータを構成している一般的な装置も当然に設けられているが、これらの装置は本発明の本質的な部分ではないため図１からは省略している。   Note that FIG. 1 shows only the configuration of the main part of the computer for carrying out the present invention. In practice, general devices constituting the computer are naturally provided. Since this apparatus is not an essential part of the present invention, it is omitted from FIG.

本発明は、ユーザにより検索対象として画面に表示するファイルの種類が選択された場合、これに対応して検索を行うことが可能な構成となっている。すなわち、ユーザにより、動画ファイル、静止画ファイル、音楽ファイルの中からいずれか１つ以上の種類のファイルが検索対象として選択された場合には、ユーザにより選択された種類のファイルのみを検索対象としてファイルの検索を行う。ただし、ユーザにより検索対象となるファイルの種類が選択されていない場合や、ユーザにより全種類のファイルが検索対象として選択された場合には、全種類のファイルを検索対象としてファイルの検索を行う。   The present invention is configured such that when a user selects a file type to be displayed on the screen as a search target, a search can be performed in accordance with the file type. That is, when one or more types of files are selected as search targets by the user from among moving image files, still image files, and music files, only the types of files selected by the user are set as search targets. Search for a file. However, when the type of the file to be searched is not selected by the user, or when all types of files are selected as the search target by the user, the files are searched for all types of files.

以下、図１に示した情報処理装置の動作について説明する。   Hereinafter, an operation of the information processing apparatus illustrated in FIG. 1 will be described.

最初に、図１に示した情報処理装置におけるファイル格納時の動作について、図２を参照して説明する。   First, the operation at the time of file storage in the information processing apparatus shown in FIG. 1 will be described with reference to FIG.

図２を参照すると、まず、ファイル取得部２は、ユーザによる入力部１を介した指示に基づいて、ファイルを取得し（ステップ２０１）、取得したファイルをファイル格納部３に格納する（ステップ２０２）。さらに、ファイル取得部２は、ステップ２０１で取得したファイルの時系列データおよび属性データを取得する（ステップ２０３）。   Referring to FIG. 2, first, the file acquisition unit 2 acquires a file based on an instruction from the user via the input unit 1 (step 201), and stores the acquired file in the file storage unit 3 (step 202). ). Further, the file acquisition unit 2 acquires time-series data and attribute data of the file acquired in step 201 (step 203).

次に、サムネール作成部４は、ステップ２０１でファイル取得部２により取得されたファイルのサムネールを作成する（ステップ２０４）。このとき、ファイル自体にサムネールが付加されている場合や、別途サムネールが用意されている場合には、そのサムネールを用いても良い。   Next, the thumbnail creation unit 4 creates a thumbnail of the file acquired by the file acquisition unit 2 in step 201 (step 204). At this time, when a thumbnail is added to the file itself, or when a thumbnail is prepared separately, the thumbnail may be used.

その後、ファイル取得部２は、ステップ２０２で取得した時系列データおよび属性データと関連付けて、ステップ２０４でサムネール作成部４により作成されたサムネールをサムネール格納部５に格納する（ステップ２０５）。   Thereafter, the file acquisition unit 2 stores the thumbnail generated by the thumbnail generation unit 4 in step 204 in the thumbnail storage unit 5 in association with the time-series data and attribute data acquired in step 202 (step 205).

続いて、図１に示した情報処理装置におけるファイル検索時の動作について、図３〜図６を参照して説明する。   Next, an operation at the time of file search in the information processing apparatus shown in FIG. 1 will be described with reference to FIGS.

図３を参照すると、ユーザにより入力部１を介してファイルの検索が指示されると、代表サムネール選択部６は、サムネール格納部５に格納されているサムネールを時系列的に１以上の期間に分類した上で、各々の期間を代表する代表サムネールを選択する（ステップ３０１）。   Referring to FIG. 3, when a file search is instructed by the user via the input unit 1, the representative thumbnail selection unit 6 displays the thumbnails stored in the thumbnail storage unit 5 in a time series of one or more periods. After classification, a representative thumbnail representing each period is selected (step 301).

このとき、代表サムネール選択部６は、動画ファイル、静止画ファイル、音楽ファイルの中からいずれかの種類のファイルが検索対象として選択されている場合には、選択された種類のファイルの中から代表サムネールを選択する。また、検索対象となるファイルの種類が選択されていない場合や、検索対象として選択されているファイルの種類の中に静止画ファイルが含まれている場合には、各々の期間において代表サムネールを選択する際には、上述の（１）〜（５）に示す条件を少なくとも１つ用いて代表サムネールを選択する。   At this time, if any type of file is selected as a search target from the moving image file, the still image file, and the music file, the representative thumbnail selection unit 6 displays the representative thumbnail from the selected type of file. Select a thumbnail. Also, if the file type to be searched is not selected, or if a still image file is included in the file type selected for search, a representative thumbnail is selected for each period. In doing so, a representative thumbnail is selected using at least one of the conditions shown in (1) to (5) above.

次に、表示制御部７は、ステップ３０１で各々の期間において選択された代表サムネールをサムネール格納部５から抽出し（ステップ３０２）、抽出した代表サムネールのみを時系列的に並べて表示部８の画面に表示する（ステップ３０３）。   Next, the display control unit 7 extracts the representative thumbnails selected in each period in step 301 from the thumbnail storage unit 5 (step 302), and arranges only the extracted representative thumbnails in time series to display the screen of the display unit 8. (Step 303).

図４は、ステップ３０３で表示部８に表示される画面の一例を示す図である。   FIG. 4 is a diagram illustrating an example of a screen displayed on the display unit 8 in step 303.

図４を参照すると、表示制御部７は、代表サムネール表示領域４０１において、サムネール格納部５から抽出した代表サムネールを、時系列的に右下方向に斜めに並べて表示する。   Referring to FIG. 4, the display control unit 7 displays the representative thumbnails extracted from the thumbnail storage unit 5 in the representative thumbnail display area 401 in an obliquely arranged manner in the lower right direction in time series.

このとき、表示制御部７は、動画ファイル、静止画ファイル、音楽ファイルの中からいずれかの種類のファイルが検索対象として選択されている場合には、選択された種類の代表サムネールのみを代表サムネール表示領域４０１において表示する。   At this time, when any type of file is selected as a search target from the moving image file, the still image file, and the music file, the display control unit 7 selects only the representative thumbnail of the selected type. Displayed in the display area 401.

さらに、表示制御部７は、サムネール格納部５にサムネールが格納されているファイルの数を単位時間毎にカウントし、単位時間毎のファイル数を棒グラフで示すタイムスケールグラフを、タイムスケールグラフ表示領域４０２において表示する。なお、図４においては、タイムスケールグラフ表示領域４０２において四角形で囲まれている区間は、代表サムネール表示領域４０１に代表サムネールが表示されている区間を示している。   Further, the display control unit 7 counts the number of files in which thumbnails are stored in the thumbnail storage unit 5 per unit time, and displays a time scale graph indicating the number of files per unit time as a bar graph in a time scale graph display area. Displayed at 402. In FIG. 4, a section surrounded by a rectangle in the time scale graph display area 402 indicates a section in which the representative thumbnail is displayed in the representative thumbnail display area 401.

このとき、表示制御部７は、動画ファイル、静止画ファイル、音楽ファイルの中からいずれか１つの種類のファイルが検索対象として選択されている場合には、動画ファイル、静止画ファイル、音楽ファイルに分けて、ファイルの数を単位時間毎にカウントし、検索対象として選択されている種類のファイルの単位時間毎のファイル数をその種類が判別可能な形で棒グラフで示すタイムスケールグラフを、タイムスケールグラフ表示領域４０２において表示する。   At this time, if any one type of file is selected as a search target from the moving image file, the still image file, and the music file, the display control unit 7 converts the moving image file, the still image file, and the music file. Separately, count the number of files per unit time, and display the time scale graph that shows the number of files per unit time of the type of file selected for search as a bar graph in a form that can distinguish the type Displayed in the graph display area 402.

その他にも、表示制御部７は、属性データ表示領域４０３において、代表サムネール表示領域４０１の中央部分に位置する代表サムネールが表しているファイルの属性データとして、ファイル格納部３に格納されている属性データを表示する。なお、図４においては、代表サムネール表示領域４０１の中央部分にニュース番組の動画ファイルを表す代表サムネールが表示されており、そのニュース番組の動画ファイルの属性データとして、ＥＰＧから得られた番組名（ニュース）、チャンネル（１チャンネル）、放送局（○△テレビ）、放送時間（７／２４ ６：００〜８：００）を属性データ表示領域４０３に表示している。なお、代表サムネール表示領域４０１の中央部分の代表サムネールが音楽ファイル、特に、ＭＰ３形式の音楽ファイルであれば、ＩＤ３タグに記録されていたアーティスト名、タイトル名を属性データ表示領域４０３に表示し、また、代表サムネール表示領域４０１の中央部分の代表サムネールが静止画ファイルであれば、Ｅｘｉｆ情報等の画像フォーマットを属性データ表示領域４０３に表示する。   In addition, in the attribute data display area 403, the display control unit 7 displays the attribute stored in the file storage unit 3 as the attribute data of the file represented by the representative thumbnail located in the central portion of the representative thumbnail display area 401. Display data. In FIG. 4, a representative thumbnail representing a video file of a news program is displayed in the central portion of the representative thumbnail display area 401, and the program name (from the EPG) is obtained as attribute data of the video file of the news program. News), channel (1 channel), broadcasting station (○ Δ TV), and broadcast time (7/24 6: 00 to 8:00) are displayed in the attribute data display area 403. If the representative thumbnail at the center of the representative thumbnail display area 401 is a music file, particularly an MP3 format music file, the artist name and title name recorded in the ID3 tag are displayed in the attribute data display area 403. If the representative thumbnail at the center of the representative thumbnail display area 401 is a still image file, an image format such as Exif information is displayed in the attribute data display area 403.

なお、表示制御部７は、タイムスケールグラフ表示領域４０２において、図４のようにタイムスケールグラフを１列とするのではなく、複数列としても良い。この場合、表示制御部７は、ファイルを動画ファイル、静止画ファイル、音楽ファイルの種類ごとに複数のグループにグループ分けし、複数のグループごとに表示する複数列のタイムスケールグラフの各々において、各グループの単位時間毎のファイル数を棒グラフで示しても良く、また、ユーザの指示に基づきファイルを任意にグループ分けし、複数のグループごとに表示する複数列のタイムスケールグラフの各々において、各グループの単位時間毎のファイル数を棒グラフで示しても良い。   In the time scale graph display area 402, the display control unit 7 may use a plurality of columns instead of one column of time scale graphs as shown in FIG. In this case, the display control unit 7 divides the file into a plurality of groups for each type of the moving image file, the still image file, and the music file, and displays each of the plurality of time scale graphs displayed for each of the plurality of groups. The number of files per unit time of the group may be indicated by a bar graph, and the files are arbitrarily grouped based on the user's instruction, and each group is displayed in each of the multiple-column time scale graphs displayed for each group. The number of files per unit time may be shown as a bar graph.

図５は、代表サムネール表示領域４０１をマウス１1で操作する場合の操作方法を説明する図である。なお、図５においては、説明の簡略化のために、タイムスケールグラフ表示領域４０２および属性データ表示領域４０３は省略して図示している。 Figure 5 is a diagram for explaining a method of operation when operating the representative thumbnail display area 401 with the mouse 1 1. In FIG. 5, the time scale graph display area 402 and the attribute data display area 403 are omitted for the sake of simplicity.

図５を参照すると、表示制御部７は、代表サムネール表示領域４０１において、常に焦点を中央部分（ニュース番組の動画ファイルが表示されている部分）に固定している。その際、中央部分に焦点があっていることを効果的に演出するために、代表サムネール表示領域４０１の代表サムネールは中央部分から離れるにしたがって、ぼかしたり、コントラストを下げたりする処理を行って奥行きを持たせるようにしても良い。また、マウス１1のマウスホイール（マウス１1に取り付けられた回転可能な円盤状の部分）の回転操作またはそれに準じる操作がなされると、代表サムネールを左上斜め方向または右下斜め方向のいずれかにスクロールし、上記操作が継続されると、代表サムネールを高速にスクロールする。また、マウス１1のポインタが左上端および右下端の円形部分にオーバーロール（ボタンをクリックせずにポインタを置くだけの状態）されると、代表サムネールを高速にスクロールする。また、マウス１1のボタンにより中央部分以外の代表サムネールがクリックされると、その代表サムネールを中央部分に移動させる。また、マウス１1のボタンにより中央部分の代表サムネールがダブルクリックされると、ユーザにより中央部分の代表サムネールが選択、指示されたと判断し、次の処理に移行する。 Referring to FIG. 5, the display control unit 7 always fixes the focal point to the central portion (the portion where the video file of the news program is displayed) in the representative thumbnail display area 401. At that time, in order to effectively produce that the central portion is in focus, the representative thumbnail of the representative thumbnail display area 401 is processed by blurring or lowering the contrast as the distance from the central portion increases. You may make it have. Further, when the rotation operation or operations analogous to those of the mouse 1 1 mouse wheel (rotatable disk-shaped portion attached to the mouse 1 1) is made, either a representative thumbnail of the upper left oblique direction or the lower right diagonal direction When the above operation is continued, the representative thumbnail is scrolled at high speed. Also, the mouse 1 1 pointer is over-roll on the circular portion of the upper left and lower right end (state of simply placing the pointer without clicking a button), to scroll the representative thumbnail at a high speed. Further, the representative thumbnail other than the central portion is clicked by the mouse button 1 1, it moves the representative thumbnail to the central portion. Further, the representative thumbnail of the central portion is double-clicked by the mouse button 1 1, determines a representative thumbnail of the central portion by the user selection, is instructed, the process proceeds to the next processing.

再度図３を参照すると、ステップ３０３で表示された画面において、ユーザによりいずれかの代表サムネールが選択、指示されたと判断すると、表示制御部７は、ユーザに指示された代表サムネールと、その代表サムネールと時系列的に前後するサムネールとをサムネール格納部５から抽出し（ステップ３０４）、抽出したサムネールを時系列的に並べて表示部８の画面に表示する（ステップ３０５）。   Referring to FIG. 3 again, when it is determined that one of the representative thumbnails is selected and instructed by the user on the screen displayed in step 303, the display control unit 7 displays the representative thumbnail instructed by the user and the representative thumbnail. Are extracted from the thumbnail storage unit 5 (step 304), and the extracted thumbnails are arranged in time series and displayed on the screen of the display unit 8 (step 305).

図６は、ステップ３０５で表示部８に表示される画面の一例を示す図である。なお、図６において、図４と同様の部分は同一の符号を付し、説明を省略する。   FIG. 6 is a diagram illustrating an example of a screen displayed on the display unit 8 in step 305. In FIG. 6, the same parts as those in FIG.

図６を参照すると、表示制御部７は、サムネール表示領域４０４において、ユーザにより指示された代表サムネール（ニュース番組の動画ファイルを表す代表サムネール）と、その代表サムネールと時系列的に前後しているサムネールとを、時系列的に横方向に並べて表示する。なお、図６において、マウス１1のボタンによりサムネール表示領域４０４の左端または右端の三角形部分がクリックされると、表示制御部７は、サムネールを左横方向または右横方向にスクロールする。 Referring to FIG. 6, in the thumbnail display area 404, the display control unit 7 moves back and forth in time series with a representative thumbnail (a representative thumbnail representing a video file of a news program) designated by the user and the representative thumbnail. Thumbnails are displayed side by side in the horizontal direction in time series. In FIG. 6, when the left or right edge of the triangular portion of the thumbnail display area 404 is clicked by the mouse button 1 1, the display control unit 7, to scroll the thumbnail left horizontal direction or the right lateral direction.

なお、表示制御部７は、マウス１1のボタンやマウスホイールに相当するものがリモコン１3にも備えられていれば、代表サムネール表示領域４０１やサムネール表示領域４０４がリモコン１3で操作された場合にも、マウス１1で操作された場合と同様に、図５および図６のように表示部８の表示制御を行うことができる。 The display control unit 7, if equivalent to the mouse 1 1 buttons and mouse wheel if also been provided to the remote controller 1 3, representative thumbnail display area 401 and a thumbnail display area 404 is operated with the remote controller 1 3 case also, similarly to the case where it is operated by the mouse 1 1, it is possible to perform display control of the display unit 8 as shown in FIGS.

上述したように本実施形態においては、ユーザによるファイル検索時に、まず、代表サムネール選択部６において、時系列的に分類された期間を各々代表する代表サムネールを選択し、表示制御部７において、各々の期間の代表サムネールのみを画面に表示することにより、ユーザに対し、画面に表示された代表サムネールをトリガーにして各々の期間に属する他のファイルの記憶を呼び起こさせた上で、所望のファイルと時間列的に前後すると考えられる代表サムネールを選択し、指示するよう促す。続いて、表示制御部７において、ユーザに指示された代表サムネールと、その代表サムネールと時系列的に前後するサムネールとを画面に表示することにより、ユーザに対し、所望のファイルを表すサムネールを選択し、指示するよう促す。   As described above, in the present embodiment, at the time of file search by the user, first, the representative thumbnail selection unit 6 selects representative thumbnails representing periods classified in time series, and the display control unit 7 By displaying only the representative thumbnails for the period of time on the screen, the user is reminded to store other files belonging to each period by using the representative thumbnail displayed on the screen as a trigger. Prompt to select and indicate a representative thumbnail that appears to be around the timeline. Subsequently, the display control unit 7 selects a thumbnail representing a desired file for the user by displaying on the screen a representative thumbnail instructed by the user and thumbnails that are in time series with the representative thumbnail. And urge you to give instructions.

このように、サムネールを少量ずつ段階的に表示してユーザにファイルを選択させているため、画面上に膨大な数のサムネールを一度に表示することなく、ユーザに所望のファイルをいち早く検索させることができる。   In this way, thumbnails are displayed step by step and the user is allowed to select a file, so that the user can quickly search for a desired file without displaying a huge number of thumbnails at once on the screen. Can do.

また、代表サムネール選択部６において、各々の期間を代表する代表サムネールを選択するに際し、上述の（１）〜（５）に示す条件を少なくとも１つ用いて代表サムネールを選択することにより、選択された代表サムネールが、各々の期間において他のファイルの記憶を呼び起こすトリガーとなり得る可能性が高まる。   In addition, when the representative thumbnail selection unit 6 selects a representative thumbnail representing each period, it is selected by selecting the representative thumbnail using at least one of the above conditions (1) to (5). It is more likely that the representative thumbnail can trigger the recall of other files in each period.

また、表示制御部７において、代表サムネール表示領域４０１がマウス１1により操作された場合に、操作内容に応じて図５および図６のように表示部８の表示制御を行うことにより、代表サムネールを選択・指示する際の操作性が向上し、ユーザが所望のファイルをいち早く検索することに寄与できると考えられる。 Further, the display control section 7, when the representative thumbnail display area 401 is operated by the mouse 1 1, by performing the display control of the display unit 8 as shown in FIGS. 5 and 6 in accordance with the operation content, the representative thumbnail It is considered that the operability at the time of selecting / instructing is improved, and the user can contribute to quickly searching for a desired file.

また、本実施形態においては、表示制御部７が、タイムスケールグラフ表示領域４０２において、タイムスケールグラフを複数列とし、複数列のタイムスケールグラフの各々において、各グループの単位時間毎のファイル数を棒グラフで示す場合には、代表サムネール選択部６は、サムネール格納部５に格納されているサムネールのうちユーザにより選択されたグループに属するサムネールを時系列的に１以上の期間に分類した上で、各々の期間を代表する代表サムネールを選択し、表示制御部７は、ユーザにより選択されたグループに属するサムネールの中から代表サムネール選択部６により各々の期間において選択された代表サムネールをサムネール格納部５から抽出し、代表サムネール表示領域４０１において、抽出した代表サムネールのみを時系列的に並べて画面に表示することとしても良い。これにより、ユーザが所望のファイルを検索するのに費やす時間をさらに短縮することができる。   In the present embodiment, the display control unit 7 sets the time scale graph to a plurality of columns in the time scale graph display area 402, and sets the number of files per unit time of each group in each of the plurality of columns of time scale graphs. In the case of showing a bar graph, the representative thumbnail selection unit 6 classifies the thumbnails belonging to the group selected by the user among the thumbnails stored in the thumbnail storage unit 5 into one or more periods in time series, A representative thumbnail representing each period is selected, and the display control unit 7 selects the thumbnails selected in each period by the representative thumbnail selection unit 6 from the thumbnails belonging to the group selected by the user. In the representative thumbnail display area 401, the extracted representative thumbnail Only it may be displayed in a time series in side-by-side screen. Thereby, it is possible to further reduce the time spent for the user to search for a desired file.

なお、本発明においては、情報処理装置内の処理は、上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムにより実行するものであっても良い。この場合、情報処理装置にて読取可能な記録媒体にプログラムを記録し、この記録媒体に記録されたプログラムを情報処理装置内の中央制御部９にて読み込み、実行する。情報処理装置にて読取可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＤＶＤ、ＣＤ等の移設可能な記録媒体の他、情報処理装置に内蔵されたＨＤＤ等を指す。   In the present invention, the processing in the information processing apparatus may be executed by a program for realizing the function other than that realized by the dedicated hardware described above. In this case, the program is recorded on a recording medium readable by the information processing apparatus, and the program recorded on the recording medium is read and executed by the central control unit 9 in the information processing apparatus. The recording medium that can be read by the information processing apparatus refers to a transfer medium such as a floppy disk, a magneto-optical disk, a DVD, and a CD, as well as an HDD built in the information processing apparatus.

本発明の一実施形態による情報処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing apparatus by one Embodiment of this invention. 図１に示した情報処理装置におけるファイル格納時の動作を説明するフローチャートである。3 is a flowchart for explaining an operation at the time of file storage in the information processing apparatus shown in FIG. 1. 図１に示した情報処理装置におけるファイル検索時の動作を説明するフローチャートである。3 is a flowchart for explaining an operation at the time of file search in the information processing apparatus shown in FIG. 1. 図３のステップ３０３で表示部に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on a display part by step 303 of FIG. 図４に示した代表サムネール表示領域をマウスで操作する場合の操作方法を説明する図である。FIG. 5 is a diagram illustrating an operation method when the representative thumbnail display area shown in FIG. 4 is operated with a mouse. 図３のステップ３０５で表示部に表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed on a display part by step 305 of FIG.

符号の説明Explanation of symbols

１ 入力部
１1 マウス
１2 キーボード
１3 リモコン
２ ファイル取得部
３ ファイル格納部
４ サムネール作成部
５ サムネール格納部
６ 代表サムネール選択部
７ 表示制御部
８ 表示部
９ 中央制御部

DESCRIPTION OF SYMBOLS 1 Input part 1 1 Mouse 1 2 Keyboard 1 3 Remote control 2 File acquisition part 3 File storage part 4 Thumbnail creation part 5 Thumbnail storage part 6 Representative thumbnail selection part 7 Display control part 8 Display part 9 Central control part

Claims (14)

複数のファイルの中から所望のファイルを検索するための情報処理装置において、
前記複数のファイルの各々のサムネールを作成するサムネール作成手段と、
前記サムネール作成手段にて作成された前記複数のサムネールの各々を、時系列データと関連付けて格納するサムネール格納手段と、
ファイル検索が指示された時に、前記サムネール格納手段に格納されている前記複数のサムネールを時系列的に１以上の期間に分類した上で、各々の期間を代表する代表サムネールを選択する代表サムネール選択手段と、
ファイル検索が指示された時に、前記代表サムネール選択手段により各々の期間において選択された代表サムネールを前記サムネール格納手段から抽出し、抽出した代表サムネールのみを時系列的に並べて画面に表示し、その後に、画面に表示された代表サムネールの中からいずれかの代表サムネールが指示された場合には、指示された代表サムネールと、当該代表サムネールと時系列的に前後するサムネールとを前記サムネール格納手段から抽出し、抽出したサムネールを時系列的に並べて画面に表示する表示制御手段とを有することを特徴とする情報処理装置。 In an information processing apparatus for searching for a desired file from a plurality of files,
Thumbnail creation means for creating a thumbnail for each of the plurality of files;
Thumbnail storage means for storing each of the plurality of thumbnails created by the thumbnail creation means in association with time-series data;
When a file search is instructed, the plurality of thumbnails stored in the thumbnail storage means are classified into one or more periods in time series, and a representative thumbnail selection for selecting a representative thumbnail representing each period is selected. Means,
When file search is instructed, the representative thumbnail selection means extracts the representative thumbnail selected in each period from the thumbnail storage means, and displays only the extracted representative thumbnails in time series on the screen, and then When any one of the representative thumbnails displayed on the screen is designated, the designated representative thumbnail and thumbnails that are chronologically related to the representative thumbnail are extracted from the thumbnail storage means. And display control means for displaying the extracted thumbnails in time series on the screen. 前記代表サムネール選択手段は、各々の期間において、ファイルの種類が異なるサムネールが混在している場合には、静止画ファイルを表すサムネールを代表サムネールとして選択する、請求項１に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the representative thumbnail selection unit selects a thumbnail representing a still image file as a representative thumbnail when thumbnails of different file types are mixed in each period. 前記代表サムネール選択手段は、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネールが時系列的に集中している時間帯を判断し、当該時間帯に属するサムネールを代表サムネールとして選択する、請求項２に記載の情報処理装置。   The representative thumbnail selection unit determines a time zone in which thumbnails representing still image files are concentrated in time series when there are a plurality of thumbnails representing still image files in each period. The information processing apparatus according to claim 2, wherein a thumbnail belonging to a time zone is selected as a representative thumbnail. 前記代表サムネール選択手段は、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネール毎に、当該静止画の構図を認識し、所定の条件を満たす構図の静止画ファイルを表すサムネールを代表サムネールとして選択する、請求項２に記載の情報処理装置。   When there are a plurality of thumbnails representing still image files in each period, the representative thumbnail selecting unit recognizes the composition of the still image for each thumbnail representing the still image file and sets a predetermined condition. The information processing apparatus according to claim 2, wherein a thumbnail representing a still image file having a composition to be satisfied is selected as a representative thumbnail. 前記代表サムネール選択手段は、各々の期間において、人物の顔が写っている静止画ファイルを表すサムネールが複数存在している場合には、人物の顔が写っている静止画ファイルを表すサムネール毎に、当該静止画に写っている顔の認識を行って、同一期間内の静止画中に最も多く写っている人物を判断し、当該人物が写っている静止画ファイルを表すサムネールを代表サムネールとして選択する、請求項２に記載の情報処理装置。   If there are a plurality of thumbnails representing still image files in which a person's face is captured in each period, the representative thumbnail selection means is provided for each thumbnail representing a still image file in which a person's face is captured. , Recognizes the face in the still image, determines the person who appears most in the still image within the same period, and selects the thumbnail representing the still image file that contains the person as the representative thumbnail The information processing apparatus according to claim 2. 前記代表サムネール選択手段は、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネール毎に、当該静止画に類似する他の静止画が同一期間内に存在するかを所定の条件に基づき検索し、類似する静止画の数が最も多い静止画ファイルを表すサムネールを代表サムネールとして選択する、請求項２に記載の情報処理装置。   When there are a plurality of thumbnails representing still image files in each period, the representative thumbnail selecting means has another still image similar to the still image for the same period for each thumbnail representing the still image file. The information processing apparatus according to claim 2, wherein a thumbnail representing a still image file having the largest number of similar still images is selected as a representative thumbnail. 前記表示制御手段は、前記複数のファイルを所定の方法で複数のグループにグループ分けし、複数のグループごとに表示する複数列のタイムスケールグラフの各々において、各グループの単位時間毎のファイル数を棒グラフで示し、
前記代表サムネール選択手段は、前記サムネール格納手段に格納されているサムネールのうち選択されたグループに属するサムネールを時系列的に１以上の期間に分類した上で、各々の期間を代表する代表サムネールを選択し、
前記表示制御手段は、選択されたグループに属するサムネールの中から前記代表サムネール選択手段により各々の期間において選択された代表サムネールを前記サムネール格納手段から抽出し、抽出した代表サムネールのみを時系列的に並べて画面に表示する、請求項１から６のいずれか１項に記載の情報処理装置。 The display control means divides the plurality of files into a plurality of groups by a predetermined method, and displays the number of files per unit time of each group in each of a plurality of time scale graphs displayed for each of the plurality of groups. Shown as a bar chart,
The representative thumbnail selection means classifies thumbnails belonging to the selected group among the thumbnails stored in the thumbnail storage means into one or more periods in a time series, and then represents representative thumbnails representing each period. Selected,
The display control means extracts from the thumbnail storage means representative thumbnails selected in each period by the representative thumbnail selection means from the thumbnails belonging to the selected group, and only the extracted representative thumbnails are time-sequentially. The information processing apparatus according to claim 1, wherein the information processing apparatuses are displayed side by side on a screen. 複数のファイルの中から所望のファイルを検索するための情報処理装置に実行させるプログラムにおいて、
前記複数のファイルの各々のサムネールを作成する第１のステップと、
前記第１のステップで作成された前記複数のサムネールの各々を、時系列データと関連付けてサムネール格納手段に格納する第２のステップと、
ファイル検索が指示された時に、前記第２のステップで前記サムネール格納手段に格納された前記複数のサムネールを時系列的に１以上の期間に分類した上で、各々の期間を代表する代表サムネールを選択する第３のステップと、
ファイル検索が指示された時に、前記第３のステップで各々の期間において選択された代表サムネールを前記サムネール格納手段から抽出し、抽出した代表サムネールのみを時系列的に並べて画面に表示し、その後に、画面に表示された代表サムネールの中からいずれかの代表サムネールが指示された場合には、指示された代表サムネールと、当該代表サムネールと時系列的に前後するサムネールとを前記サムネール格納手段から抽出し、抽出したサムネールを時系列的に並べて画面に表示する第４のステップとを有することを特徴とするプログラム。 In a program to be executed by an information processing device for searching for a desired file from a plurality of files,
A first step of creating a thumbnail for each of the plurality of files;
A second step of storing each of the plurality of thumbnails created in the first step in thumbnail storage means in association with time-series data;
When a file search is instructed, the plurality of thumbnails stored in the thumbnail storage means in the second step are classified into one or more periods in time series, and representative thumbnails representing each period are displayed. A third step to select;
When file search is instructed, representative thumbnails selected in each period in the third step are extracted from the thumbnail storage means, and only the extracted representative thumbnails are displayed in time series on the screen, and thereafter When any one of the representative thumbnails displayed on the screen is designated, the designated representative thumbnail and thumbnails that are chronologically related to the representative thumbnail are extracted from the thumbnail storage means. And a fourth step of displaying the extracted thumbnails in time series on the screen. 前記第３のステップでは、各々の期間において、ファイルの種類が異なるサムネールが混在している場合には、静止画ファイルを表すサムネールを代表サムネールとして選択する、請求項８に記載のプログラム。   9. The program according to claim 8, wherein, in the third step, when thumbnails having different file types are mixed in each period, a thumbnail representing a still image file is selected as a representative thumbnail. 前記第３のステップでは、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネールが時系列的に集中している時間帯を判断し、当該時間帯に属するサムネールを代表サムネールとして選択する、請求項９に記載のプログラム。   In the third step, when there are a plurality of thumbnails representing still image files in each period, a time zone in which thumbnails representing still image files are concentrated in time series is determined, and The program according to claim 9, wherein a thumbnail belonging to a time zone is selected as a representative thumbnail. 前記第３のステップでは、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネール毎に、当該静止画の構図を認識し、所定の条件を満たす構図の静止画ファイルを表すサムネールを代表サムネールとして選択する、請求項９に記載のプログラム。   In the third step, if there are a plurality of thumbnails representing still image files in each period, the composition of the still image is recognized for each thumbnail representing the still image file, and a predetermined condition is set. The program according to claim 9, wherein a thumbnail representing a still image file having a composition to be satisfied is selected as a representative thumbnail. 前記第３のステップでは、各々の期間において、人物の顔が写っている静止画ファイルを表すサムネールが複数存在している場合には、人物の顔が写っている静止画ファイルを表すサムネール毎に、当該静止画に写っている顔の認識を行って、同一期間内の静止画中に最も多く写っている人物を判断し、当該人物が写っている静止画ファイルを表すサムネールを代表サムネールとして選択する、請求項９に記載のプログラム。   In the third step, if there are a plurality of thumbnails representing still image files in which a person's face is captured in each period, each thumbnail representing a still image file in which the person's face is captured is displayed. , Recognizes the face in the still image, determines the person who appears most in the still image within the same period, and selects the thumbnail representing the still image file that contains the person as the representative thumbnail The program according to claim 9. 前記第３のステップでは、各々の期間において、静止画ファイルを表すサムネールが複数存在している場合には、静止画ファイルを表すサムネール毎に、当該静止画に類似する他の静止画が同一期間内に存在するかを所定の条件に基づき検索し、類似する静止画の数が最も多い静止画ファイルを表すサムネールを代表サムネールとして選択する、請求項９に記載のプログラム。   In the third step, if there are a plurality of thumbnails representing still image files in each period, other still images similar to the still image are in the same period for each thumbnail representing the still image file. The program according to claim 9, wherein a thumbnail representing a still image file having the largest number of similar still images is selected as a representative thumbnail. 前記第３のステップでは、
前記複数のファイルを所定の方法で複数のグループにグループ分けし、複数のグループごとに表示する複数列のタイムスケールグラフの各々において、各グループの単位時間毎のファイル数を棒グラフで示し、
前記第２のステップで前記サムネール格納手段に格納されたサムネールのうち選択されたグループに属するサムネールを時系列的に１以上の期間に分類した上で、各々の期間を代表する代表サムネールを選択し、
前記第４のステップでは、
選択されたグループに属するサムネールの中から前記第３のステップで各々の期間において選択された代表サムネールを前記サムネール格納手段から抽出し、抽出した代表サムネールのみを時系列的に並べて画面に表示する、請求項１から６のいずれか１項に記載のプログラム。

In the third step,
The plurality of files are grouped into a plurality of groups by a predetermined method, and in each of a plurality of time scale graphs displayed for each of the plurality of groups, the number of files per unit time of each group is indicated by a bar graph,
The thumbnails belonging to the selected group among the thumbnails stored in the thumbnail storage means in the second step are classified into one or more periods in time series, and then representative thumbnails representing each period are selected. ,
In the fourth step,
Extracting representative thumbnails selected in each period in the third step from thumbnails belonging to the selected group from the thumbnail storage means, and displaying only the extracted representative thumbnails in time series on the screen; The program according to any one of claims 1 to 6.

JP2004089159A 2004-03-25 2004-03-25 Information processing apparatus and program Expired - Fee Related JP4741808B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004089159A JP4741808B2 (en) 2004-03-25 2004-03-25 Information processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004089159A JP4741808B2 (en) 2004-03-25 2004-03-25 Information processing apparatus and program

Publications (2)

Publication Number Publication Date
JP2005275885A true JP2005275885A (en) 2005-10-06
JP4741808B2 JP4741808B2 (en) 2011-08-10

Family

ID=35175489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004089159A Expired - Fee Related JP4741808B2 (en) 2004-03-25 2004-03-25 Information processing apparatus and program

Country Status (1)

Country Link
JP (1) JP4741808B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164297A (en) * 2005-12-09 2007-06-28 Sony Corp Device, method, and program for displaying data
JP2007279174A (en) * 2006-04-04 2007-10-25 Fujifilm Corp Image display controller, and control method and program therefor
JP2009530741A (en) * 2006-03-17 2009-08-27 マイクロソフト コーポレーション Array-based media item discovery
JP2010021991A (en) * 2008-06-09 2010-01-28 Sony Corp Information presenting device, and information presenting method
JP2010033132A (en) * 2008-07-25 2010-02-12 Sony Corp Display control apparatus, display control method, and program
JP2010511938A (en) * 2006-12-01 2010-04-15 グーグル・インコーポレーテッド Image identification using face recognition
JP2010113655A (en) * 2008-11-10 2010-05-20 Canon Inc Image processor, control method of image processor, and control program
JP2010128754A (en) * 2008-11-27 2010-06-10 Sony Corp Information processing apparatus, display control method, and program
WO2011077812A1 (en) * 2009-12-25 2011-06-30 日本ビクター株式会社 Object image display device, object image display method, object image display program
WO2011145649A1 (en) * 2010-05-19 2011-11-24 シャープ株式会社 Electronic device, display control method, program, and computer-readable non-temporary recording medium
JP2018073237A (en) * 2016-11-01 2018-05-10 シャープ株式会社 Conference information display system, conference information display method and conference information display program

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164297A (en) * 2005-12-09 2007-06-28 Sony Corp Device, method, and program for displaying data
JP2009530741A (en) * 2006-03-17 2009-08-27 マイクロソフト コーポレーション Array-based media item discovery
JP2007279174A (en) * 2006-04-04 2007-10-25 Fujifilm Corp Image display controller, and control method and program therefor
JP2010511938A (en) * 2006-12-01 2010-04-15 グーグル・インコーポレーテッド Image identification using face recognition
US9552511B2 (en) 2006-12-01 2017-01-24 Google Inc. Identifying images using face recognition
US9053357B2 (en) 2006-12-01 2015-06-09 Google Inc. Identifying images using face recognition
JP4618384B2 (en) * 2008-06-09 2011-01-26 ソニー株式会社 Information presenting apparatus and information presenting method
JP2010021991A (en) * 2008-06-09 2010-01-28 Sony Corp Information presenting device, and information presenting method
JP2010033132A (en) * 2008-07-25 2010-02-12 Sony Corp Display control apparatus, display control method, and program
JP4636134B2 (en) * 2008-07-25 2011-02-23 ソニー株式会社 Display control apparatus, display control method, and program
JP2010113655A (en) * 2008-11-10 2010-05-20 Canon Inc Image processor, control method of image processor, and control program
JP2010128754A (en) * 2008-11-27 2010-06-10 Sony Corp Information processing apparatus, display control method, and program
WO2011077812A1 (en) * 2009-12-25 2011-06-30 日本ビクター株式会社 Object image display device, object image display method, object image display program
JP2011134193A (en) * 2009-12-25 2011-07-07 Victor Co Of Japan Ltd Object image display device, object image display method, and object image display program
US8571380B2 (en) 2009-12-25 2013-10-29 JVC Kenwood Corporation Object image display apparatus, object image display method and object image display program
WO2011145649A1 (en) * 2010-05-19 2011-11-24 シャープ株式会社 Electronic device, display control method, program, and computer-readable non-temporary recording medium
JP2018073237A (en) * 2016-11-01 2018-05-10 シャープ株式会社 Conference information display system, conference information display method and conference information display program

Also Published As

Publication number Publication date
JP4741808B2 (en) 2011-08-10

Similar Documents

Publication Publication Date Title
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
US7917550B2 (en) System and methods for enhanced metadata entry
KR102028198B1 (en) Device for authoring video scene and metadata
US8397180B2 (en) Scrolling browser with previewing area
US7853895B2 (en) Control of background media when foreground graphical user interface is invoked
US9538116B2 (en) Relational display of images
RU2443016C1 (en) Method for list view and list view with a large number of content elements
US20130067412A1 (en) Grouping selectable tiles
US20110239252A1 (en) Video Contents Display System, Video Contents Display Method, and Program for the Same
US20140149936A1 (en) System and method for providing a tapestry interface with location services
TW201239742A (en) Method and apparatus for navigating a hierarchical menu based user interface
US20140149932A1 (en) System and method for providing a tapestry presentation
JP4741808B2 (en) Information processing apparatus and program
JP2007096840A (en) Information browsing apparatus
JP2009505261A (en) Method and apparatus for accessing data using symbolic representation space
JP5328302B2 (en) Display control apparatus, method, and program
JP2003303333A (en) Image display control device
JP2009069875A (en) Content retrieval device, content retrieval method, program and recording medium
JP2007058686A (en) Electronic apparatus, computer program and method for generating retrieving picture
JP2007518163A (en) Image data display apparatus and display method
JP2005341182A (en) Cooking recipe editing and presentating system
JP2006309542A (en) Information processing apparatus and program
US10225459B2 (en) Image reproducing apparatus that selects image from multiple images and reproduces same, method of controlling image reproducing apparatus, and storage medium
JP2011130007A (en) Moving picture processing apparatus and moving picture processing program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080919

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081120

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20081120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081126

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090108

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090220

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110509

R150 Certificate of patent or registration of utility model

Ref document number: 4741808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees