JP2009077112A - Image reproducing device and control method and control program of image reproducing device - Google Patents

Image reproducing device and control method and control program of image reproducing device Download PDF

Info

Publication number
JP2009077112A
JP2009077112A JP2007243527A JP2007243527A JP2009077112A JP 2009077112 A JP2009077112 A JP 2009077112A JP 2007243527 A JP2007243527 A JP 2007243527A JP 2007243527 A JP2007243527 A JP 2007243527A JP 2009077112 A JP2009077112 A JP 2009077112A
Authority
JP
Japan
Prior art keywords
reproduction
importance
image
target image
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007243527A
Other languages
Japanese (ja)
Inventor
Toshinori Nagahashi
敏則 長橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007243527A priority Critical patent/JP2009077112A/en
Publication of JP2009077112A publication Critical patent/JP2009077112A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To perform reproduction reflecting importance degrees of respective images when reproducing a plurality of the images as moving images, still images or their combinations. <P>SOLUTION: By analyzing relating contents relating to respective reproduction object images by an image reproducing device 10 for reproducing the plurality of reproduction object images including the moving images, the still images and their combinations, the importance degrees of the respective reproduction object images are calculated, the reproduction method of the respective reproduction object images is determined on the basis of calculated importance degrees of the respective reproduction object images, and the reproduction object images are reproduced according to the determined reproduction method. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する画像再生装置、画像再生装置の制御方法および制御プログラムに関する。   The present invention relates to an image playback device that plays back a plurality of images as a moving image, a still image, or a combination thereof, a control method for the image playback device, and a control program.

動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する場合、全ての動画像や静止画像を同じように再生すると単調になってしまう。このため、再生の態様を画像毎に定めたり調整したりして、例えば重要な画像ほど目立つように、或いは視認しやすいように再生することが考えられる。
画像が重要であるか否かを、ユーザ自身が画像を見て判断すると、非常に煩雑で時間のかかる作業が必要になる。そこで従来、この作業の負担を軽減するため、画像を解析して重要度を求める方法が提案された。
特開２００４−１５９３３１号公報 When reproducing a plurality of images as a moving image, a still image, or a combination thereof, if all the moving images and still images are reproduced in the same way, it becomes monotonous. For this reason, it is conceivable that the reproduction mode is determined or adjusted for each image so that, for example, an important image is more conspicuous or is recognizable.
If the user himself / herself judges whether or not the image is important by looking at the image, a very complicated and time-consuming work is required. Therefore, conventionally, in order to reduce the burden of this work, a method has been proposed in which an importance is obtained by analyzing an image.
JP 2004-159331 A

特許文献１に開示された方法では、動画像や音声の一部を抽出し、映像の動きの激しさや音声の休止部の長さ等に基づいて、動画像の重要度を求めている。しかしながら、動画像および静止画像の重要度は、その画像が撮影された事由や背景に影響されることが多く、画像自体に対する処理を行うだけで重要度を求めることには限界があった。
そこで、本発明の目的は、動画像、静止画像あるいはそれらの組み合わせとしての複数の画像を再生する場合に、各画像の重要度を反映した再生を行うことが可能な画像再生装置、画像再生装置の制御方法および制御プログラムを提供することにある。 In the method disclosed in Patent Document 1, a part of a moving image or sound is extracted, and the importance of the moving image is obtained based on the intensity of motion of the video, the length of the pause portion of the sound, or the like. However, the importance levels of moving images and still images are often affected by the reason or background in which the images are taken, and there is a limit to obtaining the importance level by simply performing processing on the images themselves.
Accordingly, an object of the present invention is to provide an image reproducing apparatus and an image reproducing apparatus capable of performing reproduction reflecting the importance of each image when reproducing a plurality of images as a moving image, a still image, or a combination thereof. A control method and a control program are provided.

上記課題を解決するため、本発明の第一形態は、複数の再生対象画像を再生する画像再生装置であって、前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出手段と、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定手段と、前記再生方法決定手段により決定された再生方法に従って、前記再生対象画像を再生する再生手段と、を備えたことを特徴としている。
上記構成によれば、再生対象画像に関連する関連コンテンツの重要度に基づいて、再生対象画像の重要度が算出され、算出された再生対象画像の重要度に基づいて再生対象画像の再生方法が決定され、この再生方法に従って再生対象画像が再生される。
したがって、動画像、静止画像あるいはそれらの組み合わせ等としての複数の再生対象画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。
また、再生対象画像そのものの重要度を算出することで、再生対象画像毎の再生方法の制御をきめ細かく行うことができ、再生対象画像の重要度を反映して、ユーザのニーズに合った再生を実現できる。 In order to solve the above-described problem, a first aspect of the present invention is an image playback device that plays back a plurality of playback target images, and is related to the related content based on the importance of the related content related to the playback target image. Importance level calculating means for calculating the importance level of the playback target image, and playback method determination for determining the playback method of the playback target image based on the importance level of the playback target image calculated by the importance level calculating means And reproduction means for reproducing the reproduction target image in accordance with the reproduction method determined by the reproduction method determination means.
According to the above configuration, the importance of the reproduction target image is calculated based on the importance of the related content related to the reproduction target image, and the reproduction method of the reproduction target image is calculated based on the calculated importance of the reproduction target image. The reproduction target image is reproduced according to this reproduction method.
Therefore, for a plurality of playback target images such as moving images, still images, or combinations thereof, the importance level reflecting the intention of the user as the photographer, the owner of the image, or the viewer of the image is calculated. Images can be reproduced by a reproduction method based on the degree. Thereby, even if a user does not perform complicated operation, the reproduction target image can be reproduced by a reproduction method reflecting importance for the user.
In addition, by calculating the importance level of the playback target image itself, it is possible to finely control the playback method for each playback target image, and to reflect the importance level of the playback target image and to perform playback that meets user needs. realizable.

また、本発明の第二形態は、第一形態の画像再生装置において、前記再生方法決定手段は、複数の前記再生対象画像を順次再生するスライドショー再生を行う場合に、各々の前記再生対象画像を再生する時間を、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて決定すること、を特徴としている。
上記構成によれば、スライドショー再生を行う場合の各再生対象画像の再生時間が、再生対象画像の重要度に基づいて決定されるので、例えば重要度の高い再生対象画像ほど長い時間再生するといった再生方法を実現できる。
また、本発明の第三形態は、第一形態または第二形態のいずれかの画像再生装置において、前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像に付加される再生用の装飾を設定すること、を特徴としている。
上記構成によれば、再生対象画像に、重要度に基づいて再生用の装飾が付加されるので、例えば重要度の高い再生対象画像ほど目立つ装飾を付加するといった再生方法を実現できる。
また、本発明の第四形態は、第一形態ないし第三形態のいずれかの画像再生装置において、前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像を単独で再生する態様と、前記再生対象画像を他の前記再生対象画像とともに並べて再生する態様とを前記再生対象画像毎に設定すること、を特徴としている。
上記構成によれば、再生対象画像の重要度に基づいて、再生対象画像を単独で表示するか、複数の再生対象画像を並べて表示するかが再生対象画像毎に設定されるので、例えば重要度の高い再生対象画像を単独で表示し、重要度が高くない再生対象画像は並べて表示するといった制御を行い、短時間で多くの再生対象画像を再生し、かつ、重要度の高い再生対象画像の視認性を確保できるという利点がある。
なお、この場合に、再生対象画像を他の再生対象画像とともに再生する場合に、各々の再生対象画像を縮小した形で並べて再生してもよい。 Further, according to a second aspect of the present invention, in the image reproduction device according to the first aspect, the reproduction method determining unit selects each reproduction target image when performing a slide show reproduction that sequentially reproduces the plurality of reproduction target images. The reproduction time is determined based on the importance of the reproduction target image calculated by the importance calculation means.
According to the above configuration, the playback time of each playback target image when performing slide show playback is determined based on the importance of the playback target image. For example, playback is performed such that a playback target image with higher importance is played back for a longer time. The method can be realized.
Further, according to a third aspect of the present invention, in the image reproduction device according to the first aspect or the second aspect, the reproduction method determining means determines the importance of the reproduction target image calculated by the importance calculation means. Based on the above, a decoration for reproduction added to the reproduction target image is set.
According to the above configuration, since the decoration for reproduction is added to the reproduction target image based on the importance level, for example, it is possible to realize a reproduction method in which a decoration that stands out as the reproduction target image with higher importance is added.
According to a fourth aspect of the present invention, in the image reproduction device according to any one of the first aspect to the third aspect, the reproduction method determination means determines the importance of the reproduction target image calculated by the importance calculation means. On the basis of this, a mode in which the playback target image is played back independently and a mode in which the playback target image is played back side by side with the other playback target images are set for each playback target image.
According to the above configuration, whether to display the playback target image alone or to display a plurality of playback target images side by side is set for each playback target image based on the importance level of the playback target image. The playback target images with high priority are displayed separately, and the playback target images that are not important are displayed side by side. Many playback target images are played back in a short time. There is an advantage that visibility can be secured.
In this case, when the reproduction target images are reproduced together with other reproduction target images, the respective reproduction target images may be reproduced in a reduced form.

また、本発明の第五形態は、第一形態の画像再生装置において、前記再生方法決定手段は、前記関連コンテンツの重要度に基づいて、各前記関連コンテンツに関連する前記再生対象画像のうち、再生する前記再生対象画像の数を決定すること、を特徴としている。
上記構成によれば、関連コンテンツに対して複数の再生対象画像が関連づけられている場合に、関連コンテンツの重要度に基づいて再生される再生対象画像の数が決定されるので、重要度の高い再生対象画像を、関連コンテンツ単位で選択して再生できる。 Further, according to a fifth aspect of the present invention, in the image reproduction device according to the first aspect, the reproduction method determination means includes the reproduction target images related to the related contents based on the importance of the related contents. Determining the number of reproduction target images to be reproduced.
According to the above configuration, when a plurality of reproduction target images are associated with the related content, the number of reproduction target images to be reproduced is determined based on the importance level of the related content. The playback target image can be selected and played in units of related content.

本発明の第六形態は、複数の再生対象画像を再生する画像再生装置の制御方法であって、前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出過程と、前記重要度算出過程で算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定過程と、前記再生方法決定過程で決定された再生方法に従って、前記再生対象画像を再生する再生過程と、を含むことを特徴としている。
この制御方法によれば、再生対象画像に関連する関連コンテンツの重要度に基づいて、関連コンテンツに関連する再生対象画像の重要度が算出され、再生対象画像の重要度に基づいて、再生対象画像の再生方法が決定され、この再生方法に従って再生対象画像が再生される。したがって、動画像、静止画像あるいはそれらの組み合わせ等としての複数の再生対象画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。 According to a sixth aspect of the present invention, there is provided an image playback device control method for playing back a plurality of playback target images, wherein the playback target related to the related content is based on the importance of the related content related to the playback target image. An importance calculation process for calculating the importance of the image, a reproduction method determination process for determining a reproduction method for the reproduction target image based on the importance of the reproduction target image calculated in the importance calculation process, A reproduction process for reproducing the reproduction target image according to the reproduction method determined in the reproduction method determination process.
According to this control method, the importance of the reproduction target image related to the related content is calculated based on the importance of the related content related to the reproduction target image, and the reproduction target image is calculated based on the importance of the reproduction target image. The reproduction method is determined, and the reproduction target image is reproduced according to this reproduction method. Therefore, for a plurality of playback target images such as moving images, still images, or combinations thereof, the importance level reflecting the intention of the user as the photographer, the owner of the image, or the viewer of the image is calculated. Images can be reproduced by a reproduction method based on the degree. Thereby, even if a user does not perform complicated operation, the reproduction target image can be reproduced by a reproduction method reflecting importance for the user.

また、本発明の第七形態は、複数の再生対象画像を再生する画像再生装置をコンピュータにより制御するための制御プログラムであって、前記画像再生装置により、前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出させ、算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定させ、決定された再生方法に従って、前記再生対象画像を再生させる、ことを特徴としている。
この制御プログラムによれば、再生対象画像に関連する関連コンテンツの重要度に基づいて、関連コンテンツに関連する再生対象画像の重要度が算出され、算出された再生対象画像の重要度に基づいて、再生対象画像の再生方法が決定され、この再生方法に従って再生対象画像が再生される。したがって、動画像、静止画像あるいはそれらの組み合わせ等としての複数の再生対象画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。
この場合において、制御プログラムをコンピュータ読取可能な記録媒体に記録するようにしても良い。 According to a seventh aspect of the present invention, there is provided a control program for controlling, by a computer, an image playback device that plays back a plurality of playback target images, the related content related to the playback target image by the image playback device. Based on the importance, the importance of the reproduction target image related to the related content is calculated, and the reproduction method of the reproduction target image is determined based on the calculated importance of the reproduction target image. The reproduction target image is reproduced according to a reproduction method.
According to this control program, the importance of the reproduction target image related to the related content is calculated based on the importance of the related content related to the reproduction target image, and based on the calculated importance of the reproduction target image, A reproduction method of the reproduction target image is determined, and the reproduction target image is reproduced according to the reproduction method. Therefore, for a plurality of playback target images such as moving images, still images, or combinations thereof, the importance level reflecting the intention of the user as the photographer, the owner of the image, or the viewer of the image is calculated. The image can be reproduced by a reproduction method based on the degree. Thereby, even if a user does not perform complicated operation, the reproduction target image can be reproduced by a reproduction method reflecting importance for the user.
In this case, the control program may be recorded on a computer-readable recording medium.

次に図面を参照して本発明の好適な実施形態について説明する。
図１は、実施形態の画像再生装置の概要構成を示すブロック図である。
画像再生装置１０は、パーソナルコンピュータとして構成されており、画像処理を行う画像再生装置本体１１と、各種画像入力を行う画像入力装置１２と、各種操作を行うためのキーボード、マウスなどの入力装置１３と、各種表示を行う液晶ディスプレイなどの表示装置１４と、印刷を行うプリンタなどの出力装置１５と、後述する画像再生方法に関連するデータを含む各種データを記憶するハードディスク装置などの外部記憶装置１６と、を備えている。
画像再生装置本体１１は、当該画像再生装置本体１１全体の制御を行うマイクロプロセッサユニット（ＭＰＵ）２１と、ＭＰＵ２１により実行される各種制御プログラムおよびこれらプログラムに係る各種データを記憶するＲＯＭ２２と、ＭＰＵ２１が実行するプログラムや処理するデータ等を一時的に格納するワークエリアとして機能するＲＡＭ２３と、ＬＡＮ、インターネットなどの外部の通信ネットワークとの間のインタフェース動作を行う通信インタフェース２４と、を備えている。 Next, preferred embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a schematic configuration of an image reproduction apparatus according to an embodiment.
The image reproduction device 10 is configured as a personal computer, and includes an image reproduction device main body 11 that performs image processing, an image input device 12 that performs various image inputs, and an input device 13 such as a keyboard and a mouse for performing various operations. A display device 14 such as a liquid crystal display that performs various displays; an output device 15 such as a printer that performs printing; and an external storage device 16 such as a hard disk device that stores various data including data related to an image reproduction method to be described later. And.
The image reproduction apparatus main body 11 includes a microprocessor unit (MPU) 21 that controls the entire image reproduction apparatus main body 11, a ROM 22 that stores various control programs executed by the MPU 21 and various data related to these programs, and an MPU 21 A RAM 23 that functions as a work area for temporarily storing a program to be executed, data to be processed, and the like, and a communication interface 24 that performs an interface operation with an external communication network such as a LAN or the Internet are provided.

図２は、画像再生装置の機能ブロック図である。
この図２に示す各機能部は、画像再生装置１０が備えるハードウェアとソフトウェアとの協働により実現される。すなわち、図１に示した画像再生装置１０の画像再生装置本体１１が備えるＭＰＵ２１が所定の制御プログラムを実行し、画像再生装置本体１１、画像入力装置１２、入力装置１３、表示装置１４、出力装置１５、および外部記憶装置１６の各部を制御することで、実現されるものである。
また、図３および図４は、重要度算出部３７により重要度を算出する処理の概要を示す図である。 FIG. 2 is a functional block diagram of the image reproduction apparatus.
Each functional unit shown in FIG. 2 is realized by cooperation of hardware and software included in the image reproduction device 10. That is, the MPU 21 included in the image reproduction device main body 11 of the image reproduction device 10 illustrated in FIG. 1 executes a predetermined control program, and the image reproduction device main body 11, the image input device 12, the input device 13, the display device 14, and the output device. 15 and each part of the external storage device 16 are controlled.
3 and 4 are diagrams showing an outline of processing for calculating importance by the importance calculation unit 37. FIG.

図２に示すように、画像再生装置１０は、映像・画像入力部３１と、画像再生記憶部３２（再生方法決定手段）と、再生処理部３３（再生手段）と、テキスト抽出部３５と、形態素解析部３６と、重要度算出部３７（重要度算出手段）と、固有表現抽出部３８と、重要度算出ルール記憶部３９と、を備えている。また、画像再生装置１０には、電子メール、ウェブブラウザで閲覧可能に構成されたホームページやブログ、ＲＳＳ等のウェブコンテンツを含む関連コンテンツ４１が入力される。これら関連コンテンツ４１は、いずれもテキストデータ、或いはテキストを含むデータとして構成される。
関連コンテンツ４１として入力される個々のコンテンツは、それぞれ、映像・画像入力部３１により入力される再生対象画像のいずれかに対応づけられる。例えば、関連コンテンツ４１は、再生対象画像の撮影日時や撮影場所、イベントに関連した記述が含まれる、ニュースサイトや観光地のガイド、撮影日時および前後に送受信した電子メール、更新されたブログの内容などである。
さらに、画像再生装置１０は、語句の出現頻度データベース４２を備える。この語句の出現頻度データベース４２は、これまでに入力された関連コンテンツ４１に含まれる語句の出現頻度を示す値として、出現した回数のカウント値を、一つ一つの語句について格納したデータベースである。 As shown in FIG. 2, the image playback apparatus 10 includes a video / image input unit 31, an image playback storage unit 32 (playback method determination unit), a playback processing unit 33 (playback unit), a text extraction unit 35, A morpheme analyzer 36, an importance calculator 37 (importance calculator), a specific expression extractor 38, and an importance calculation rule storage 39 are provided. In addition, the image reproduction apparatus 10 is input with related contents 41 including web contents such as a homepage, a blog, and RSS configured so as to be viewable by e-mail and a web browser. Each of these related contents 41 is configured as text data or data including text.
Each content input as the related content 41 is associated with one of the reproduction target images input by the video / image input unit 31. For example, the related content 41 includes a shooting date and time of the image to be reproduced, a shooting location, a description related to the event, a news site or a tourist guide, e-mails sent and received before and after the shooting date, and updated blog content. Etc.
Further, the image reproduction device 10 includes a phrase appearance frequency database 42. The phrase appearance frequency database 42 is a database that stores, for each word, a count value of the number of appearances as a value indicating the appearance frequency of the phrase included in the related content 41 input so far.

映像・画像入力部３１は、放送電波、通信ネットワークあるいはＩＣメモリカードなどのデータ記憶媒体を介して動画像データ（動画像に対応）あるいは静止画像データ（静止画に対応）を入力する。具体的には、様々な画像フォーマットの画像を、様々な圧縮形式、ファイル形式を有するファイルや、スキャナ、ディジタルカメラ、ディジタルビデオカメラなどの入力装置から抽出あるいは受け取ることとなる。この場合において、圧縮形式としては、ＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４等が挙げられる。
画像再生記憶部３２は、映像・画像入力部３１により入力された再生対象画像としての動画像または静止画像について、後述する重要度算出部３７により算出された各画像の重要度に基づいて再生方法を決定し、この再生方法を画像毎に記憶する。
再生処理部３３は、画像再生記憶部３２に記憶された再生方法に従って、映像・画像入力部３１により入力された再生対象画像を再生出力する。
テキスト抽出部３５は、関連コンテンツ４１として入力されたコンテンツ、具体的には、ＸＨＴＭＬ（個人のホームページ、ブログなど）、送受信した電子メール、ＸＭＬ（楽曲の検索用メタデータなど）で記述されているハイパーテキストデータや地図データベース等のコンテンツから、タグ情報以外のテキストデータを抽出する。
形態素解析部３６は、関連コンテンツ４１からテキスト抽出部３５により抽出されたテキストデータの形態素解析を行い、単語（語句）を抽出し、必要に応じてステミングを行う。 The video / image input unit 31 inputs moving image data (corresponding to moving images) or still image data (corresponding to still images) via a broadcast radio wave, a communication network, or a data storage medium such as an IC memory card. Specifically, images of various image formats are extracted or received from files having various compression formats and file formats, and input devices such as scanners, digital cameras, and digital video cameras. In this case, compression formats include JPEG, MPEG-4, H.264. H.264 or the like.
The image reproduction storage unit 32 reproduces a moving image or a still image as a reproduction target image input by the video / image input unit 31 based on the importance of each image calculated by the importance calculation unit 37 described later. The reproduction method is stored for each image.
The reproduction processing unit 33 reproduces and outputs the reproduction target image input by the video / image input unit 31 in accordance with the reproduction method stored in the image reproduction storage unit 32.
The text extraction unit 35 is described as content input as the related content 41, specifically, XHTML (personal homepage, blog, etc.), sent / received e-mail, XML (music search metadata, etc.). Text data other than tag information is extracted from content such as hypertext data and a map database.
The morpheme analyzer 36 performs morpheme analysis on the text data extracted from the related content 41 by the text extractor 35, extracts words (phrases), and performs stemming as necessary.

重要度算出部３７は、関連コンテンツ４１からテキスト抽出部３５により抽出されたテキストを解析することにより、再生対象画像に関連づけられた関連コンテンツ４１の重要度を算出し、再生対象画像毎の重要度を求める処理を行う。また、重要度算出ルール記憶部３９は、重要度算出部３７によって関連コンテンツ４１の重要度を求め、この重要度に基づいて再生対象画像の重要度を算出するための一連の処理方法を記憶する。
詳細に説明すると、重要度算出部３７は、語句の出現頻度データベース４２に格納された出現頻度を示す値をもとに、テキスト抽出部３５により抽出されたテキストに含まれる語句の重要度を算出する。最も単純な例としては、語句の出現頻度データベース４２に格納された語句毎の数値そのものを、各語句の重要度を示す値として算出する方法がある。
重要度算出部３７は、各々の関連コンテンツ４１からテキスト抽出部３５により抽出されたテキストについて、そのテキストに含まれる語句の重要度をテキスト毎に積算することによって、テキストの重要度を求める。
例えば、テキストｊに含まれる全ての語句の重要度を示す値に、テキストｊにおける語句の出現回数を乗じ、この値を下記式（１）に示すように合算することで、テキストｊの重要度を算出する。
テキストｊの重要度Ｔj＝ΣＷi ・・・（１）
ここで、Ｗiはテキストｊに含まれる各語句の重要度である。
そして、重要度算出部３７は、テキストｊの重要度を、このテキストｊを抽出する元になった関連コンテンツ４１の重要度に設定し、さらに、各々の再生対象画像について、その再生対象画像が関連づけられた関連コンテンツ４１の重要度の値を、その再生対象画像の重要度として設定し、記憶する。
一つの再生対象画像について複数のテキストが関連コンテンツ４１として関連づけられている場合、重要度算出部３７は、これら複数のテキストの重要度を求めた上で平均値を算出し、この平均値を再生対象画像の重要度としてもよい。 The importance calculation unit 37 analyzes the text extracted from the related content 41 by the text extraction unit 35 to calculate the importance of the related content 41 associated with the reproduction target image, and the importance for each reproduction target image. The process which calculates | requires is performed. The importance calculation rule storage unit 39 obtains the importance of the related content 41 by the importance calculation unit 37 and stores a series of processing methods for calculating the importance of the reproduction target image based on the importance. .
More specifically, the importance calculation unit 37 calculates the importance of a phrase included in the text extracted by the text extraction unit 35 based on the value indicating the appearance frequency stored in the word appearance frequency database 42. To do. As the simplest example, there is a method of calculating the numerical value for each word stored in the word appearance frequency database 42 as a value indicating the importance of each word.
The importance calculation unit 37 calculates the importance of the text by accumulating the importance of the words included in the text for each text extracted from each related content 41 by the text extraction unit 35.
For example, by multiplying the value indicating the importance of all the words included in the text j by the number of occurrences of the word in the text j and adding this value as shown in the following formula (1), the importance of the text j Is calculated.
Importance of text j T j = ΣW i (1)
Here, W i is the importance of each word / phrase included in the text j.
Then, the importance level calculation unit 37 sets the importance level of the text j to the importance level of the related content 41 from which the text j is extracted, and for each playback target image, the playback target image is The importance level of the associated related content 41 is set and stored as the importance level of the reproduction target image.
When a plurality of texts are associated as related content 41 for one reproduction target image, the importance calculation unit 37 calculates an average value after obtaining the importance of the plurality of texts, and reproduces the average value. It may be the importance of the target image.

上記処理で、重要度算出部３７は、テキスト抽出部３５により抽出されたテキストに含まれる全ての語句について語句の出現頻度データベース４２をもとに重要度を求めてもよいが、テキスト中で重要と思われる語句を選択して、この語句に限って重要度を求めてもよい。
具体的には、重要度算出部３７は、ＴＦ／ＩＤＦ（Term Frequency & Inverse Document Frequency）処理によって、テキストに含まれる個々の語句の重要度を算出し、下記式によって、形態素解析部３６によりテキストｉから抽出された各々の語句ｊの重要度ｔｆｉｄｆ（ｉ，ｊ）を求める。
すなわち、テキストｉにおける語句ｊの出現頻度をＦｒｅｑ（ｉ，ｊ）とし、語句ｊの出現頻度に関わるｔｆ（ｉ，ｊ）を次式に従い算出する。
ｔｆ（ｉ，ｊ）＝ｌｏｇ（Ｆｒｅｑ（ｉ，ｊ）＋１）／ｌｏｇ（テキストｉの総語句数）
ここで、ｔｆ（ｉ，ｊ）は、テキストｉにおける出現頻度をもとに、語句ｊの重要度を表す指標である。言い換えれば、関連コンテンツ４１から抽出されたテキスト中に多く出現する語句が、重要な語句とみなされる。 In the above process, the importance calculation unit 37 may obtain the importance for all words included in the text extracted by the text extraction unit 35 based on the phrase appearance frequency database 42. It is also possible to select a word / phrase that seems to be important and obtain the importance only for this word / phrase.
Specifically, the importance calculation unit 37 calculates the importance of individual words included in the text by TF / IDF (Term Frequency & Inverse Document Frequency) processing, and the morphological analysis unit 36 calculates the text by the following formula. The importance tfidf (i, j) of each phrase j extracted from i is obtained.
That is, the appearance frequency of the phrase j in the text i is set to Freq (i, j), and tf (i, j) related to the appearance frequency of the phrase j is calculated according to the following equation.
tf (i, j) = log (Freq (i, j) +1) / log (total number of phrases in text i)
Here, tf (i, j) is an index representing the importance of the phrase j based on the appearance frequency in the text i. In other words, words that frequently appear in the text extracted from the related content 41 are regarded as important words.

次にｄｆ（ｊ）を語句ｊが出現するテキスト数として、ｉｄｆ（ｊ）を算出する。
ｉｄｆ（ｊ）＝ｌｏｇ（Ｎ／ｄｆ（ｊ））
ここで、ｉｄｆ（ｊ）は、関連コンテンツ４１として入力された全てのコンテンツから抽出されたテキスト（母集団）のうち、語句ｊが出現するテキストデータの数を語句ｊの出現頻度として計算したものである。
さらに、テキストｉにおける、語句ｊの重要度を、
ｔｆｉｄｆ（ｉ，ｊ）＝ｔｆ（ｉ，ｊ）×ｉｄｆ（ｊ）
とする。したがって、このｔｆｉｄｆ（ｉ，ｊ）の値が大きいほど重要度が高い語句であるといえる。
そして、重要度算出部３７は、ｔｆｉｄｆ（ｉ，ｊ）が一定以上の語句、或いは、ｔｆｉｄｆ（ｉ，ｊ）が多い順に所定数の語句を選択し、選択した語句の出現頻度を示す値を語句の出現頻度データベース４２から取得すればよい。 Next, idf (j) is calculated with df (j) as the number of texts in which the phrase j appears.
idf (j) = log (N / df (j))
Here, idf (j) is calculated from the number of text data in which the phrase j appears in the text (population) extracted from all the contents input as the related content 41 as the appearance frequency of the phrase j. It is.
Furthermore, the importance of the phrase j in the text i is
tfidf (i, j) = tf (i, j) × idf (j)
And Therefore, it can be said that the greater the value of tfidf (i, j), the higher the importance.
Then, the importance level calculation unit 37 selects a predetermined number of words / phrases in which tfidf (i, j) is greater than or equal to tfidf (i, j) in order of increasing tfidf (i, j), and sets a value indicating the appearance frequency of the selected word / phrase. What is necessary is just to acquire from the appearance frequency database 42 of a phrase.

また、上記の処理において、重要度算出部３７は、複数の関連コンテンツ４１から抽出されたテキストにおける語句の出現頻度を比較し、出現頻度の変化に基づいて、重要だと判断される語句のみを選択してもよい。
例えば、ある再生対象画像に複数の関連コンテンツ４１が関連づけられており、これら関連コンテンツ４１の作成日時が異なっている場合に、関連コンテンツ４１の作成日時と、ある語句の出現頻度とが、図３に示す傾向を示している場合を想定する。
図３に示す語句Ａは、関連コンテンツ４１の作成日時に関係なく高頻度で出現する語句である。語句Ｂは、再生対象画像の撮影日時に近い日時に作成された関連コンテンツ４１ほど、高頻度で出現する傾向がある語句である。また、語句Ｃは関連コンテンツ４１の作成日時に関係なく出現頻度が低い語句である。
このような場合、語句Ａは常に高頻度で出現する語句であるから、重要度が高い語句として選択される。加えて、語句Ｂも、再生対象画像の撮影日時に強い関連を有する語句であるといえるので、重要度が高い語句として選択される。そして、語句Ａおよび語句Ｂに相当する語句のみについて、上述したＴＦ／ＩＤＦ処理により重要度を算出し、この重要度をもとに関連コンテンツ４１の重要度を求めてもよい。 Further, in the above processing, the importance level calculation unit 37 compares the appearance frequencies of the words in the text extracted from the plurality of related contents 41, and only the words that are determined to be important based on the change in the appearance frequency. You may choose.
For example, when a plurality of related contents 41 are associated with an image to be reproduced and the related contents 41 have different creation dates and times, the creation date and time of the related contents 41 and the appearance frequency of a certain phrase are shown in FIG. Assume that the trend shown in (1) is shown.
The phrase A shown in FIG. 3 is a phrase that appears frequently regardless of the creation date and time of the related content 41. The phrase B is a phrase that tends to appear more frequently as the related content 41 created on the date and time closer to the shooting date and time of the reproduction target image. Further, the phrase C is a phrase having a low appearance frequency regardless of the creation date and time of the related content 41.
In such a case, the phrase A is a phrase that frequently appears at a high frequency, and is therefore selected as a phrase having a high importance. In addition, the phrase B is also a phrase that has a strong relationship with the shooting date and time of the reproduction target image, and is therefore selected as a phrase with high importance. Then, for only the phrases corresponding to the phrase A and the phrase B, the importance may be calculated by the TF / IDF process described above, and the importance of the related content 41 may be obtained based on the importance.

また、重要度算出部３７は、関連コンテンツ４１から抽出されたテキストに含まれる語句の重要度を上述したＴＦ／ＩＤＦ処理によって算出する場合に、上記の母集団として、図４に示すように関連コンテンツ４１に加えて重要度算出用テキスト４５を加えた算出対象コンテンツ４０を用いてもよい。ここで、重要度算出用テキスト４５は、再生対象画像との関連が特にない一般的なテキスト（例えば、再生対象画像の撮影日時と関係しない日の新聞や雑誌等から抽出されたテキストデータ）である。この場合、一般的に高頻度で出現する語句と、関連コンテンツ４１に限って特異的に高頻度で出現する語句とを区別でき、関連コンテンツ４１における重要度を正確に求めることができる。
さらに、重要度算出部３７は、関連コンテンツ４１から抽出されたテキストにおける語句の重要度を求めた後、特定の固有名詞（人名、地名、施設や建物の名称等）を含むテキストにおける重要度を大きく評価してもよい。具体的には、あるテキストにおける重要度をＴＦ／ＩＤＦ処理により求めた後、そのテキストが特定の固有名詞を含んでいれば、求めた重要度に所定の係数を乗じて重要度を大きくしてもよい。
ここで、関連コンテンツ４１に含まれる固有名詞を抽出する処理は、固有表現抽出部３８によって実行される。 Further, when calculating the importance level of the words included in the text extracted from the related content 41 by the above-described TF / IDF processing, the importance level calculation unit 37 sets the above-mentioned population as the related group as shown in FIG. The calculation target content 40 in which the importance calculation text 45 is added to the content 41 may be used. Here, the importance calculation text 45 is general text that is not particularly related to the reproduction target image (for example, text data extracted from a newspaper or a magazine on a date not related to the shooting date and time of the reproduction target image). is there. In this case, it is possible to distinguish between words that generally appear with high frequency and words that appear with high frequency only in the related content 41, and it is possible to accurately determine the importance in the related content 41.
Furthermore, after calculating the importance of the phrase in the text extracted from the related content 41, the importance calculation unit 37 calculates the importance in the text including a specific proper noun (person name, place name, facility or building name, etc.). You may appreciate greatly. Specifically, after the importance in a certain text is obtained by TF / IDF processing, if the text contains a specific proper noun, the importance is increased by multiplying the obtained importance by a predetermined coefficient. Also good.
Here, the process of extracting proper nouns included in the related content 41 is executed by the specific expression extracting unit 38.

そして、画像再生記憶部３２は、重要度算出部３７により算出された各再生対象画像の重要度に基づいて、再生方法を決定し、この再生方法に関する情報を再生対象画像毎に記憶する。具体的には、再生対象画像を再生表示する時間、再生対象画像を拡大または縮小する場合のズーム率、再生対象画像に付加する画像フレーム（画像枠）等の装飾、これら装飾の色、画像そのものを変形して再生表示する場合の再生時の形状や変形処理のパラメータ等を記憶する。この画像再生記憶部３２に記憶された情報に従って、再生処理部３３により、再生対象画像が再生出力される。
ここで、画像再生装置１０による再生対象画像の再生方法について説明する。 Then, the image reproduction storage unit 32 determines a reproduction method based on the importance of each reproduction target image calculated by the importance calculation unit 37, and stores information regarding this reproduction method for each reproduction target image. Specifically, a time for reproducing and displaying the reproduction target image, a zoom rate when the reproduction target image is enlarged or reduced, decorations such as an image frame (image frame) added to the reproduction target image, colors of these decorations, and the image itself The shape at the time of reproduction and the parameters of the deformation process when the image is reproduced and displayed are stored. In accordance with the information stored in the image reproduction storage unit 32, the reproduction processing unit 33 reproduces and outputs the reproduction target image.
Here, a method of reproducing an image to be reproduced by the image reproducing device 10 will be described.

（再生方法１）再生対象画像の重要度に基づいて再生時間を変化させる。
複数の再生対象画像を順次再生するスライドショー動作を行う場合に、各々の再生対象画像を再生（表示）する時間を、再生対象画像の重要度に応じて変化させる。
この場合、画像再生装置１０は、各々の再生対象画像の再生時間（表示時間）を、スライドショー動作の開始から終了までの全再生時間を各再生対象画像の重要度の値を用いて比例配分することにより決定する。
例えば、再生対象画像１〜ｎを再生する場合、再生対象画像ｊの重要度をＰｊとすると、各再生対象画像の再生時間は次式（２）により求められる。
再生対象画像ｊの再生時間＝全再生時間×Ｐj／（Ｐ1＋Ｐ2＋…＋Ｐn） ・・（２）
この再生方法によれば、重要度が高い再生対象画像ほど長い時間再生される。 (Playback method 1) The playback time is changed based on the importance of the playback target image.
When a slide show operation for sequentially reproducing a plurality of reproduction target images is performed, the time for reproducing (displaying) each reproduction target image is changed according to the importance of the reproduction target image.
In this case, the image playback apparatus 10 proportionally distributes the playback time (display time) of each playback target image using the importance value of each playback target image for the total playback time from the start to the end of the slide show operation. To decide.
For example, when reproducing the reproduction target images 1 to n, assuming that the importance of the reproduction target image j is Pj, the reproduction time of each reproduction target image is obtained by the following equation (2).
Playback time of playback target image j = total playback time × P j / (P 1 + P 2 +... + P n ) (2)
According to this reproduction method, a reproduction target image having a higher importance is reproduced for a longer time.

（再生方法２）関連コンテンツ４１の重要度に基づいて再生する画像の数を変化させる。
複数の再生対象画像を順次再生するスライドショー動作を行う場合に、重要度の高い再生対象画像のみを選択して表示する。再生対象画像を選択する方法は、関連コンテンツ４１の重要度を利用する。
すなわち、一つの関連コンテンツ４１が複数の再生対象画像に関連づけられている場合に、関連コンテンツ４１に関連する全ての再生対象画像を再生するのではなく、重要度の高い関連コンテンツ４１については関連する多数の再生対象画像を再生し、重要度の低い関連コンテンツ４１については少数の再生対象画像のみを再生する。
この場合、スライドショー動作で再生する再生画像の総数を、関連コンテンツ４１の重要度の値を用いて比例配分し、関連コンテンツ４１毎に再生する画像の数を決定する。そして、関連コンテンツ４１に関連する画像のうち、比例配分された数の再生対象画像だけを、再生する画像として選択する。
ここで、関連コンテンツ４１に比例配分された画像の数よりも関連コンテンツ４１に関連づけられた画像の数が少ない場合、一つの再生対象画像あたりの再生時間を長くしてもよいし、再生する画像の数の余分を他の関連コンテンツ４１に割り当ててもよい。
この再生方法によれば、関連コンテンツ４１の重要度に応じて再生される再生対象画像の数が異なるため、関連コンテンツ４１単位で重要度の高い再生対象画像を選択でき、例えば、関連コンテンツ４１が関連するイベントの重要度を反映したスライドショー動作を行える。 (Reproduction method 2) The number of images to be reproduced is changed based on the importance of the related content 41.
When a slide show operation for sequentially reproducing a plurality of reproduction target images is performed, only the reproduction target images with high importance are selected and displayed. The method for selecting the reproduction target image uses the importance of the related content 41.
That is, when one related content 41 is associated with a plurality of reproduction target images, not all the reproduction target images related to the related content 41 are reproduced, but the related content 41 having high importance is related. A large number of reproduction target images are reproduced, and only a small number of reproduction target images are reproduced for the related content 41 having low importance.
In this case, the total number of reproduced images to be reproduced in the slide show operation is proportionally distributed using the importance value of the related content 41, and the number of images to be reproduced for each related content 41 is determined. Then, among the images related to the related content 41, only the proportionally distributed number of reproduction target images are selected as images to be reproduced.
Here, when the number of images associated with the related content 41 is smaller than the number of images proportionally distributed to the related content 41, the reproduction time per image to be reproduced may be increased, or the image to be reproduced May be allocated to other related content 41.
According to this reproduction method, since the number of reproduction target images to be reproduced differs according to the importance of the related content 41, a reproduction target image having a high importance can be selected for each related content 41. A slide show operation reflecting the importance of related events can be performed.

（再生方法３）再生対象画像の重要度に基づいて再生時に画像を装飾する。
スライドショー動作や、指定された再生対象画像を再生表示する場合に、再生対象画像の重要度に応じて、再生対象画像に対する再生用の装飾が設定され、この装飾を施した状態で再生対象画像が再生表示される。
装飾としては、例えば、再生対象画像を所定のズーム率で拡大表示する、再生対象画像に画像フレーム（画像枠）やイラスト等を付加する、再生対象画像とは異なる形の画像フレームに合わせて再生対象画像をトリミングする、等が挙げられる。これらの装飾を、重要度を示す値が所定のしきい値よりも大きい再生対象画像にのみ付加して再生する。
また、例えば、複数種類の装飾を行うことが可能な場合に、再生対象画像の重要度を複数段階のランクに分け、再生対象画像のランクに対応する装飾を施してもよい。
この場合、再生対象画像の重要度に応じた装飾により、再生動作が単調にならず、重要度の高い再生対象画像ほど目立つように再生されるという利点がある。 (Reproduction method 3) The image is decorated at the time of reproduction based on the importance of the reproduction target image.
When performing a slide show operation or displaying a specified playback target image, a playback decoration is set for the playback target image according to the importance of the playback target image, and the playback target image is displayed with this decoration applied. Playback is displayed.
As decorations, for example, the playback target image is enlarged and displayed at a predetermined zoom rate, an image frame (image frame) or an illustration is added to the playback target image, and playback is performed in accordance with an image frame having a shape different from that of the playback target image. For example, the target image is trimmed. These decorations are added and reproduced only to the reproduction target image whose importance value is larger than a predetermined threshold value.
Further, for example, when a plurality of types of decoration can be performed, the importance of the reproduction target image may be divided into a plurality of ranks, and the decoration corresponding to the rank of the reproduction target image may be applied.
In this case, there is an advantage that the reproduction operation is not monotonous due to the decoration according to the importance of the reproduction target image, and the reproduction target image having a higher importance is reproduced more conspicuously.

（再生方法４）複数枚の画像を同時に再生する。
スライドショー動作において、再生対象画像の重要度に応じて、１枚の再生対象画像を再生表示する態様と、複数枚の再生対象画像を並べて再生表示する態様と切り換える。
すなわち、スライドショー動作で再生する再生対象画像が指定された場合に、各再生対象画像の重要度を示す値が所定のしきい値以上であるか否かを判別し、重要度を示す値がしきい値より大きい再生対象画像は１枚を通常通り再生表示する態様が設定され、重要度を示す値がしきい値以下の再生対象画像は、他の再生対象画像とともに、複数枚（例えば、２〜４枚）を並べて一つの画面とする態様が設定される。
この場合、重要度の高い再生対象画像は１枚だけで再生表示され、重要度の低い再生対象画像は複数枚が並べてサムネイル表示される。これにより、重要度の低い再生対象画像の再生表示を大幅に簡略化することで、スライドショー動作に要する時間を短縮しつつ、重要度が高い再生対象画像を見やすく再生表示できるという利点がある。 (Reproduction method 4) A plurality of images are reproduced simultaneously.
In the slide show operation, the mode is switched between a mode in which one playback target image is played back and a mode in which a plurality of playback target images are played back and displayed in accordance with the importance of the playback target image.
That is, when a playback target image to be played back in a slide show operation is designated, it is determined whether or not the value indicating the importance level of each playback target image is equal to or greater than a predetermined threshold, and the value indicating the level of importance is set. A mode in which one image to be reproduced that is larger than the threshold is reproduced and displayed as usual is set, and a plurality of images (for example, 2 ~ 4 sheets) are arranged to form one screen.
In this case, only one reproduction target image with high importance is reproduced and displayed, and a plurality of reproduction target images with low importance are displayed side by side as thumbnails. Thus, by greatly simplifying the reproduction display of the reproduction target image with low importance, there is an advantage that the reproduction target image with high importance can be easily reproduced and displayed while reducing the time required for the slide show operation.

図５は、画像再生装置１０の動作を示すフローチャートである。
画像再生装置１０においては、映像・画像入力部３１として機能する画像入力装置１２を介して再生対象画像としての映像・画像が入力され（ステップＳ１１）、入力装置１３、外部記憶装置１６或いは通信インタフェース２４を介して関連コンテンツ４１が入力され（ステップＳ１２）、さらに、入力装置１３の操作等により、再生対象画像と関連コンテンツ４１とが関連づけられる（ステップＳ１３）。
ここで、画像再生装置本体１１のＭＰＵ２１は、テキスト抽出部３５、形態素解析部３６、重要度算出部３７、および固有表現抽出部３８として機能し、関連コンテンツ４１毎に重要度を算出する（ステップＳ１４）。
そして、ＭＰＵ２１は、画像再生記憶部３２として機能し、関連コンテンツ４１毎の重要度に応じて、各関連コンテンツ４１に関連づけられた再生対象画像の再生方法を決定し、決定した再生方法を記憶する（ステップＳ１５）。
その後、ＭＰＵ２１は再生処理部３３として機能し、再生対象画像を、ステップＳ１５で決定された再生方法に従って、表示装置１４によって再生表示し（ステップＳ１６）、動作を終了する。 FIG. 5 is a flowchart showing the operation of the image reproduction device 10.
In the image reproduction device 10, a video / image as a reproduction target image is input via the image input device 12 functioning as the video / image input unit 31 (step S11), and the input device 13, the external storage device 16, or the communication interface. 24, the related content 41 is input (step S12), and the reproduction target image and the related content 41 are associated with each other by operating the input device 13 or the like (step S13).
Here, the MPU 21 of the image playback device main body 11 functions as a text extraction unit 35, a morpheme analysis unit 36, an importance calculation unit 37, and a specific expression extraction unit 38, and calculates the importance for each related content 41 (step). S14).
The MPU 21 functions as the image reproduction storage unit 32, determines the reproduction method of the reproduction target image associated with each related content 41 according to the importance for each related content 41, and stores the decided reproduction method. (Step S15).
Thereafter, the MPU 21 functions as the reproduction processing unit 33, reproduces and displays the reproduction target image on the display device 14 in accordance with the reproduction method determined in step S15 (step S16), and ends the operation.

以上の説明のように、本実施形態によれば、再生対象画像として入力された映像・画像について、関連コンテンツ４１が関連づけられた場合に、この関連コンテンツ４１の重要度を算出し、関連コンテンツ４１の重要度に応じた再生方法で再生対象画像を再生表示する。従って、動画像、静止画像あるいはそれらの組み合わせとしての複数の画像について、撮影者又は画像の所有者あるいは画像の閲覧者としてのユーザの意図を反映した重要度を算出して、この重要度に基づいた再生方法で画像を再生できる。これにより、ユーザが煩雑な操作を行わなくても、ユーザにとっての重要度を反映した再生方法で再生対象画像を再生できる。例えば、ユーザの家族が参加したイベントで撮影された映像や画像はユーザにとって重要度が高いと考えられるが、映像や画像自体を解析しても、このような重要度の高さを特定することは難しい。本実施形態の画像再生装置１０は、再生対象画像に関連する関連コンテンツ４１を解析することで、重要度の高い再生対象画像を容易に検出して、この重要度に応じた方法で再生できる。   As described above, according to the present embodiment, when the related content 41 is associated with the video / image input as the reproduction target image, the importance of the related content 41 is calculated, and the related content 41 is calculated. The reproduction target image is reproduced and displayed by a reproduction method according to the importance of the. Therefore, for a plurality of images as a moving image, a still image, or a combination thereof, an importance level reflecting the user's intention as a photographer, an image owner, or an image viewer is calculated, and based on this importance level. You can play back images using the same playback method. Thereby, even if a user does not perform complicated operation, the reproduction target image can be reproduced by a reproduction method reflecting importance for the user. For example, videos and images taken at an event in which the user's family participated are considered to be highly important to the user, but even if the video and images themselves are analyzed, such high importance is identified. Is difficult. The image reproduction apparatus 10 according to the present embodiment can easily detect a reproduction target image having a high importance level by analyzing the related content 41 related to the reproduction target image, and can reproduce the image according to the importance level.

また、関連コンテンツ４１の重要度を算出した後、この関連コンテンツ４１に関連する再生対象画像の重要度を、関連コンテンツ４１の重要度に基づいて算出して、再生方法を各再生対象画像の重要度に基づいて決定する。このように再生対象画像そのものについて重要度を算出することで、再生対象画像毎の再生方法の制御をきめ細かく行うことができ、再生対象画像の重要度を反映して、ユーザのニーズに合った再生を実現できる。   In addition, after calculating the importance of the related content 41, the importance of the reproduction target image related to the related content 41 is calculated based on the importance of the related content 41, and the reproduction method is determined for each reproduction target image. Decide based on degree. By calculating the importance of the playback target image itself in this way, it is possible to finely control the playback method for each playback target image, and to reflect the importance of the playback target image and play back the playback that meets the user's needs. Can be realized.

以上の説明においては、画像再生装置１０は、具体的には、パーソナルコンピュータ、ＰＤＡ、携帯型電話機等に適用可能であるが、ディジタルスチルカメラ、ディジタルビデオカメラ、スキャナ、プロジェクタ、テレビ、プリンタおよびその他の画像再生処理を行う電子機器に実装または接続することが可能である。
以上の説明においては、上記各機能を実現するための制御プログラムが、予めＲＯＭ２２に格納されている場合について説明したが、制御プログラムを、コンピュータ（ＣＰＵ）読取可能な記録媒体に記録するようにしてもよい。このような構成であれば、コンピュータによってプログラムが記憶媒体から読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、上記各実施形態と同等の作用および効果が得られる。
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、どのような記憶媒体であってもよい。
また、インターネット、ＬＡＮなどの通信ネットワークおよび通信インタフェース２４を介して制御用プログラムをダウンロードし、インストールして実行するように構成することも可能である。 In the above description, the image reproducing apparatus 10 is specifically applicable to a personal computer, a PDA, a mobile phone, etc., but a digital still camera, a digital video camera, a scanner, a projector, a television, a printer, and others. It is possible to mount or connect to an electronic device that performs the image reproduction process.
In the above description, the case where the control program for realizing the above functions is stored in the ROM 22 in advance has been described. However, the control program is recorded on a computer (CPU) readable recording medium. Also good. With such a configuration, when the program is read from the storage medium by the computer and the computer executes processing according to the read program, the same operations and effects as those in the above embodiments can be obtained.
Here, the storage medium is a semiconductor storage medium such as RAM or ROM, a magnetic storage type storage medium such as FD or HD, an optical reading type storage medium such as CD, CDV, LD, or DVD, or a magnetic storage type such as MO. / Optical reading type storage medium, and any storage medium can be used as long as it can be read by a computer regardless of electronic, magnetic, optical, etc. .
It is also possible to configure such that a control program is downloaded, installed and executed via a communication network such as the Internet or a LAN and the communication interface 24.

実施形態の画像再生装置の概要構成を示すブロック図である。It is a block diagram which shows the schematic structure of the image reproduction apparatus of embodiment. 画像再生装置の機能ブロック図である。It is a functional block diagram of an image reproducing device. 重要度算出部により重要度を算出する処理の概要を示す図である。It is a figure which shows the outline | summary of the process which calculates importance by the importance calculation part. 重要度算出部により重要度を算出する処理の概要を示す図である。It is a figure which shows the outline | summary of the process which calculates importance by the importance calculation part. 画像再生装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of an image reproduction apparatus.

符号の説明Explanation of symbols

１０…画像再生装置、１１…画像再生装置本体、１２…画像入力装置、１３…入力装置、１４…表示装置、１５…出力装置、１６…外部記憶装置、２１…ＭＰＵ（重要度算出手段、再生方法決定手段、再生手段）、２２…ＲＯＭ、２３…ＲＡＭ、２４…通信インタフェース、３１…映像・画像入力部、３２…画像再生記憶部（再生方法決定手段）、３３…再生処理部（再生手段）、３５…テキスト抽出部、３６…形態素解析部、３７…重要度算出部（重要度算出手段）、３８…固有表現抽出部、３９…重要度算出ルール記憶部。   DESCRIPTION OF SYMBOLS 10 ... Image reproduction apparatus, 11 ... Image reproduction apparatus main body, 12 ... Image input apparatus, 13 ... Input apparatus, 14 ... Display apparatus, 15 ... Output apparatus, 16 ... External storage device, 21 ... MPU (importance calculation means, reproduction | regeneration) (Method determination means, playback means), 22 ... ROM, 23 ... RAM, 24 ... communication interface, 31 ... video / image input section, 32 ... image playback storage section (playback method determination means), 33 ... playback processing section (playback means) , 35... Text extraction unit, 36... Morpheme analysis unit, 37... Importance calculation unit (importance calculation means), 38.

Claims (7)

複数の再生対象画像を再生する画像再生装置であって、
前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出手段と、
前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定手段と、
前記再生方法決定手段により決定された再生方法に従って、前記再生対象画像を再生する再生手段と、
を備えることを特徴とする画像再生装置。 An image reproduction device for reproducing a plurality of reproduction target images,
Importance calculating means for calculating the importance of the reproduction target image related to the related content based on the importance of the related content related to the reproduction target image;
Reproduction method determining means for determining a reproduction method for the reproduction target image based on the importance of the reproduction target image calculated by the importance calculation means;
Playback means for playing back the playback target image according to the playback method determined by the playback method determination means;
An image reproducing apparatus comprising: 請求項１記載の画像再生装置において、
前記再生方法決定手段は、複数の前記再生対象画像を順次再生するスライドショー再生を行う場合に、各々の前記再生対象画像を再生する時間を、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて決定すること、
を特徴とする画像再生装置。 The image reproducing apparatus according to claim 1,
The playback method determining means, when performing slide show playback for sequentially playing back a plurality of playback target images, sets the playback time of each playback target image to the playback target image calculated by the importance level calculation means. Make decisions based on importance,
An image reproducing apparatus characterized by the above. 請求項１または２記載の画像再生装置において、
前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像に付加される再生用の装飾を設定すること、
を特徴とする画像再生装置。 The image reproducing apparatus according to claim 1 or 2,
The reproduction method determining means sets a decoration for reproduction added to the reproduction target image based on the importance of the reproduction target image calculated by the importance calculation means;
An image reproducing apparatus characterized by the above. 請求項１ないし３のいずれかに記載の画像再生装置において、
前記再生方法決定手段は、前記重要度算出手段により算出された前記再生対象画像の重要度に基づいて、前記再生対象画像を単独で再生する態様と、前記再生対象画像を他の前記再生対象画像とともに並べて再生する態様とを前記再生対象画像毎に設定すること、
を特徴とする画像再生装置。 The image reproduction apparatus according to any one of claims 1 to 3,
The reproduction method determining unit is configured to independently reproduce the reproduction target image based on the importance of the reproduction target image calculated by the importance calculation unit, and to convert the reproduction target image into the other reproduction target image. Setting the mode to be reproduced side by side for each of the reproduction target images,
An image reproducing apparatus characterized by the above. 請求項１記載の画像再生装置において、
前記再生方法決定手段は、前記関連コンテンツの重要度に基づいて、各前記関連コンテンツに関連する前記再生対象画像のうち、再生する前記再生対象画像の数を決定すること、
を特徴とする画像再生装置。 The image reproducing apparatus according to claim 1,
The reproduction method determining means determines the number of reproduction target images to be reproduced among the reproduction target images related to each related content based on the importance of the related content;
An image reproducing apparatus characterized by the above. 複数の再生対象画像を再生する画像再生装置の制御方法であって、
前記再生対象画像に関連する関連コンテンツの重要度に基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出する重要度算出過程と、
前記重要度算出過程で算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定する再生方法決定過程と、
前記再生方法決定過程で決定された再生方法に従って、前記再生対象画像を再生する再生過程と、
を含むことを特徴とする画像再生装置の制御方法。 A control method of an image playback device for playing back a plurality of playback target images,
An importance calculation step of calculating the importance of the reproduction target image related to the related content based on the importance of the related content related to the reproduction target image;
A reproduction method determining step of determining a reproduction method of the reproduction target image based on the importance of the reproduction target image calculated in the importance calculation step;
A reproduction process of reproducing the reproduction target image according to the reproduction method determined in the reproduction method determination process;
A control method for an image reproducing apparatus. 複数の再生対象画像を再生する画像再生装置をコンピュータにより制御するための制御プログラムであって、
前記画像再生装置により、
前記再生対象画像に関連する関連コンテンツに基づき、前記関連コンテンツに関連する前記再生対象画像の重要度を算出させ、
算出された前記再生対象画像の重要度に基づいて、前記再生対象画像の再生方法を決定させ、
決定された再生方法に従って、前記再生対象画像を再生させる、
ことを特徴とする制御プログラム。 A control program for controlling an image reproduction device for reproducing a plurality of reproduction target images by a computer,
By the image reproduction device,
Based on related content related to the reproduction target image, the importance of the reproduction target image related to the related content is calculated,
Based on the calculated importance of the reproduction target image, the reproduction method of the reproduction target image is determined,
According to the determined reproduction method, the reproduction target image is reproduced.
A control program characterized by that.
JP2007243527A 2007-09-20 2007-09-20 Image reproducing device and control method and control program of image reproducing device Pending JP2009077112A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007243527A JP2009077112A (en) 2007-09-20 2007-09-20 Image reproducing device and control method and control program of image reproducing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007243527A JP2009077112A (en) 2007-09-20 2007-09-20 Image reproducing device and control method and control program of image reproducing device

Publications (1)

Publication Number Publication Date
JP2009077112A true JP2009077112A (en) 2009-04-09

Family

ID=40611677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007243527A Pending JP2009077112A (en) 2007-09-20 2007-09-20 Image reproducing device and control method and control program of image reproducing device

Country Status (1)

Country Link
JP (1) JP2009077112A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011009976A (en) * 2009-06-25 2011-01-13 Hitachi Ltd Video reproducing apparatus
JP2013520725A (en) * 2010-02-23 2013-06-06 イーストマン コダック カンパニー Adaptive event time series in consumer image collections
JP2017017508A (en) * 2015-06-30 2017-01-19 キヤノンマーケティングジャパン株式会社 Information processing device, and processing method and program thereof
WO2017057037A1 (en) * 2015-09-30 2017-04-06 ソニー株式会社 Information processing device, information processing method, and program
JP6391078B1 (en) * 2017-08-18 2018-09-19 クックパッド株式会社 Information processing device, terminal device, display shelf, information processing system, information processing method, and program
JP2019216490A (en) * 2019-10-01 2019-12-19 キヤノンマーケティングジャパン株式会社 Information processing device, and processing method and program thereof
CN110941465A (en) * 2018-09-21 2020-03-31 富士施乐株式会社 Display control device, display control method, and recording medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011009976A (en) * 2009-06-25 2011-01-13 Hitachi Ltd Video reproducing apparatus
JP2013520725A (en) * 2010-02-23 2013-06-06 イーストマン コダック カンパニー Adaptive event time series in consumer image collections
JP2017017508A (en) * 2015-06-30 2017-01-19 キヤノンマーケティングジャパン株式会社 Information processing device, and processing method and program thereof
WO2017057037A1 (en) * 2015-09-30 2017-04-06 ソニー株式会社 Information processing device, information processing method, and program
JPWO2017057037A1 (en) * 2015-09-30 2018-07-26 ソニー株式会社 Information processing apparatus, information processing method, and program
JP6391078B1 (en) * 2017-08-18 2018-09-19 クックパッド株式会社 Information processing device, terminal device, display shelf, information processing system, information processing method, and program
JP2019036886A (en) * 2017-08-18 2019-03-07 クックパッド株式会社 Information processing device, terminal device, display shelf, information processing system, information processing method and program
CN110941465A (en) * 2018-09-21 2020-03-31 富士施乐株式会社 Display control device, display control method, and recording medium
JP2019216490A (en) * 2019-10-01 2019-12-19 キヤノンマーケティングジャパン株式会社 Information processing device, and processing method and program thereof

Similar Documents

Publication Publication Date Title
EP3047644B1 (en) Method and apparatus for generating a text color for a group of images
CN108965737B (en) Media data processing method, device and storage medium
US8707154B2 (en) Apparatus, method, and recording medium for creating content-document reproduction data
JP4439462B2 (en) Information presenting method, information presenting apparatus, and information presenting program
US20080079693A1 (en) Apparatus for displaying presentation information
JP4550725B2 (en) Video viewing support system
US9685199B2 (en) Editing apparatus and editing method
JP2009077112A (en) Image reproducing device and control method and control program of image reproducing device
US7844115B2 (en) Information processing apparatus, method, and program product
EP1926103A2 (en) System, method and medium playing moving images
KR20050106097A (en) Scroll display control
US10341727B2 (en) Information processing apparatus, information processing method, and information processing program
US20160231889A1 (en) Method and apparatus for caption parallax over image while scrolling
JP2009301285A (en) Adjustment method of display symbol, program and device
WO2012086359A1 (en) Viewer device, viewing system, viewer program, and recording medium
JP6765558B1 (en) Content distribution device, content distribution method, content distribution system, and content distribution program
US20060010366A1 (en) Multimedia content generator
JP2007036737A (en) Image display device
JP2008160512A (en) Reproducing device, electronic equipment, reproducing method, and program
JP2000242661A (en) Relating information retrieval device and storage medium recording program for executing relating information retrieval processing
JP2006099532A (en) Information processor, image data output method and program
JP2007079736A (en) Data editing device, data editing method, and data editing program
JP2008166895A (en) Video display device, its control method, program and recording medium
JP2007208651A (en) Content viewing apparatus
CN113051233A (en) Processing method and device