JP2007006129A - Representative image extraction device and method therefor - Google Patents
Representative image extraction device and method therefor Download PDFInfo
- Publication number
- JP2007006129A JP2007006129A JP2005183751A JP2005183751A JP2007006129A JP 2007006129 A JP2007006129 A JP 2007006129A JP 2005183751 A JP2005183751 A JP 2005183751A JP 2005183751 A JP2005183751 A JP 2005183751A JP 2007006129 A JP2007006129 A JP 2007006129A
- Authority
- JP
- Japan
- Prior art keywords
- image
- representative
- video
- unit
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は映像から代表画像を抽出する装置及びその方法に関する。特に、複数の映像から抽出した代表画像を一覧表示する場合に用い、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成する装置及びその方法に関する。 The present invention relates to an apparatus and method for extracting a representative image from a video. In particular, the present invention relates to an apparatus and a method for generating a list of representative images that can be easily identified by suppressing extraction of similar representative images and used when displaying a list of representative images extracted from a plurality of videos.
ハードディスクレコーダーやカムコーダーなどで録画された多数の映像を管理する手段の一つとして、映像から代表画像を自動的に抽出する技術に関してさまざまな研究開発が行われてきた。例えば、一つの映像から代表画像を選択する技術、複数の映像から抽出した代表画像を一覧表示する技術などがある。 As one of the means for managing a large number of videos recorded by a hard disk recorder, a camcorder, etc., various research and development have been conducted on techniques for automatically extracting representative images from videos. For example, there are a technique for selecting a representative image from one video and a technique for displaying a list of representative images extracted from a plurality of videos.
複数の映像から抽出した代表画像を一覧表示する従来方法として、例えば映像を視聴して手動で代表画像となるフレームを選択する方法がある。映像数が少数の場合には類似した代表画像を選択しないように気をつければ、一覧表示しても識別が容易な代表画像を選択できる。しかし、映像数が多数になるとどのような代表画像を選択したかを記憶することは困難になり、類似した代表画像を選択する可能性が大きくなる。また、全ての映像を視聴する時間が膨大となり実用的ではない。 As a conventional method for displaying a list of representative images extracted from a plurality of videos, for example, there is a method of manually selecting a frame to be a representative image by viewing the videos. If care is taken not to select similar representative images when the number of videos is small, representative images that can be easily identified can be selected even if they are displayed in a list. However, when the number of videos increases, it becomes difficult to store what kind of representative image has been selected, and the possibility of selecting a similar representative image increases. In addition, the time for viewing all the images is enormous, which is not practical.
この他に、代表画像を一覧表示する際に、重要な映像ほど代表画像を大きく表示したり枠を濃くしたりするというように、重要度に応じて代表画像を強調表示する方法がある(例えば、特許文献1参照)。この方法はどの映像が重要かを一覧表示で簡単に確認するものであって、同じ重要度で類似した代表画面が抽出された場合には識別が困難であることに変わりはない。 In addition to this, when displaying a list of representative images, there is a method of highlighting the representative image according to the degree of importance, such as displaying the representative image larger or darkening the frame for more important video (for example, , See Patent Document 1). This method simply confirms which video is important by list display, and it is still difficult to identify when similar representative screens are extracted with the same importance.
また、一つの映像に複数の代表画像を持たせてスライドショーのような動画像を生成して一覧表示する方法がある(例えば、特許文献2参照)。代表画像を動画にすると代表画像を複数枚の静止画で構成するため、1枚の静止画で一覧表示するよりも類似した代表画像になりにくい。しかし、動画像を一覧表示すると、映像を識別するためには動画の代表画像を視聴する時間が必要になったり画面がちらついて見にくくなったりするという別の問題が発生する。
上記従来の方法では、シーンや番組の映像単位で独立に代表画像を生成したために、一覧表示した際に類似した代表画像を生成して識別が困難な場合がある。 In the above-described conventional method, since representative images are generated independently for each scene or program video, it may be difficult to identify and identify similar representative images when a list is displayed.
そこで、本発明は、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる代表画像抽出装置及びその方法を提供する。 Therefore, the present invention provides a representative image extraction apparatus and method that can generate a list of representative images that can be easily identified by suppressing extraction of similar representative images.
本発明は、一、または、複数の映像を複数の映像単位に分けて記憶する映像記憶部と、前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表画像の類似度が異なるように代表フレーム画像を決定する代表画像決定部と、前記決定された映像単位毎の代表画像を出力する出力部と、を具備することを特徴とする代表画像抽出装置である。 The present invention relates to a video storage unit that stores one or a plurality of videos divided into a plurality of video units, and a representative image of each video unit based on a feature amount of the video stored for each video unit. A representative image extracting apparatus comprising: a representative image determining unit that determines a representative frame image so as to have different degrees of similarity; and an output unit that outputs a representative image for each determined video unit.
本発明によれば、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる。 According to the present invention, it is possible to generate a list of representative images that can be easily identified by suppressing extraction of similar representative images.
本発明の実施形態を説明する前に、まず、説明で用いる用語を定義する。 Before describing embodiments of the present invention, terms used in the description are first defined.
「映像」とは、例えばテレビ番組を録画したような動画像と音声を含むものを指す。 “Video” refers to an image including a moving image and sound such as a television program recorded.
「番組」とは、例えばテレビ番組のような映像の単位を表す。 A “program” represents a unit of video such as a television program.
「シーン」とは、番組の一部の映像を表し、番組は一つ以上のシーンで構成される。 A “scene” represents an image of a part of a program, and the program is composed of one or more scenes.
「フォルダ」とは、映像を分類するためにまとめて格納する記憶領域を表す。 A “folder” represents a storage area in which videos are stored together for classification.
以下、本発明の各実施形態を図面に基づいて説明する。 Hereinafter, each embodiment of the present invention will be described with reference to the drawings.
(第1の実施形態)
本発明の第1の実施形態について図1〜図11に基づいて説明する。
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS.
第1の実施形態では、毎週放送されるテレビ番組をハードディスクレコーダーで録画した複数の映像から、一覧表示した際に識別しやすい代表画像を抽出する例を説明する。もちろん、本実施形態は録画したテレビ番組に限らず別の映像にも適用可能であるが、典型例として取り上げる。 In the first embodiment, an example will be described in which representative images that are easy to identify when a list is displayed are extracted from a plurality of videos in which a television program broadcast every week is recorded by a hard disk recorder. Of course, this embodiment is applicable not only to the recorded television program but also to other videos, but is taken as a typical example.
(1)処理対象の映像
図1に、本実施形態における処理対象の映像の一例を示す。
(1) Video to be processed FIG. 1 shows an example of video to be processed in the present embodiment.
映像は、映像X、映像Y、映像Zの3個録画され、それぞれの映像はタイトル映像、本編映像、エンディング映像の3部分から構成されるものとする。映像Xはタイトル映像103、本編映像100、エンディング映像104から構成され、同様に映像Yは映像Xと同一のタイトル映像103、本編映像101、映像Xと同一のエンディング映像104から構成される。映像Zについても映像X,映像Yと同様に構成されるものとする。
Three videos, video X, video Y, and video Z, are recorded. Each video is composed of a title video, a main video, and an ending video. Video X is composed of
すなわち、映像X、映像Y、映像Zは連続番組であり、このような連続番組は以上に説明した構造を持つことが多い。 That is, video X, video Y, and video Z are continuous programs, and such a continuous program often has the structure described above.
(2)代表画像抽出装置の構成
図2に、本実施形態に係る代表画像抽出装置の構成を示す。
(2) Configuration of Representative Image Extracting Device FIG. 2 shows the configuration of the representative image extracting device according to the present embodiment.
本装置は、複数の映像を記憶する映像記憶手段200、それぞれの映像から複数個の代表画像の候補を抽出する候補抽出手段201、候補画像の中からそれぞれの映像毎に1枚の画像を選択した組み合わせを作る組み合わせ手段205、画像の組み合わせの評価値を算出する評価値算出手段202と、評価値算出手段202で算出した評価値が最大になるようにそれぞれの映像の候補から代表画像を一つずつ選択する代表画像決定手段203、選択した代表画像を出力する代表画像出力手段204から構成される。
The apparatus includes a
映像記憶手段200は、例えばハードディスクとファイルシステムにより構成され、複数の映像を記憶し、ファイル名によって映像にアクセスできる。 The video storage means 200 is composed of, for example, a hard disk and a file system, stores a plurality of videos, and can access the videos by file names.
候補抽出手段201、評価値算出手段202、組み合わせ手段205及び代表画像決定手段203は、例えばコンピュータプログラムにより構成される。
The
代表画像出力手段204は、例えばハードディスクとファイルシステムにより構成され、代表画像決定手段203によって選択された複数の代表画像をハードディスクにファイル名をつけて記憶させる。
The representative
(3)処理手順の概略
図3に、本実施形態に係る代表画像抽出方装置による処理の概要を示し、以下に処理手順の概要を説明する。
(3) Outline of Processing Procedure FIG. 3 shows an outline of processing by the representative image extraction method apparatus according to the present embodiment, and the outline of the processing procedure will be described below.
映像300は、映像記憶手段200に記憶された映像を表し、この例では図1に示した映像X、映像Y、映像Z、の3個の映像が記憶されているとする。
A
代表候補画像301は、候補抽出手段201によって映像300から抽出された代表画像の候補を示す。候補抽出手段201は後述する方法で映像を解析して、例えば真っ暗な画面を除外するなどして代表画像としてふさわしい画像を選択する。映像Xに関して言えばx1、x2、x3の3つの代表候補画像を抽出し、映像Y、映像Zについても同様にy1、y2、y3、及びz1、z2、z3の代表候補画像を3個ずつ抽出する。
A
代表画像302は組み合わせ手段205、評価値算出手段202及び代表画像決定手段203によって選択された代表画像を示す。代表画像決定手段203、評価値算出手段202、及び組み合わせ手段205は、後述する方法で代表候補画像301から代表画像を一覧した際に代表画像が類似しないように代表候補画像301から代表画像の組み合わせを選択する。この例ではx2、y2、z1が選択されている。以下、この組み合わせを「画像セット」という。
A
代表画像出力手段204は、代表画像決定手段203によって選択された代表画像302を出力する。この例では(x2、y2、z1)の画像セットが出力される。
The representative
(4)代表候補画像の抽出方法
候補抽出手段201は、代表候補画像301を以下の手順で代表候補画像を抽出する。
(4) Method for Extracting Representative Candidate Image Candidate extraction means 201 extracts a representative candidate image from
まず、映像Xの先頭から30秒後のフレーム画像を代表候補画像x1として抽出する。 First, a frame image 30 seconds after the beginning of the video X is extracted as a representative candidate image x1.
代表候補画像x1の画面全体の輝度の平均値が予め与えられた大きな閾値以上の場合には真っ白な画面と判定し、予め与えられた小さな閾値以下の場合には真っ黒な画面と判定し、代表候補画像として採用しない。 If the average value of the brightness of the entire representative candidate image x1 is equal to or larger than a predetermined large threshold value, it is determined to be a pure white screen, and if it is equal to or smaller than a predetermined small threshold value, it is determined to be a black screen. Not adopted as a candidate image.
同様に、代表候補画像x1を図4に示す16分割した画面領域毎に色相の平均値を算出して、その色相の分散が予め与えられた閾値以下の場合には画面が単色で構成されると判定して候補として採用しない。 Similarly, the average value of the hue is calculated for each of the 16 divided screen areas shown in FIG. 4 of the representative candidate image x1, and the screen is composed of a single color if the hue variance is equal to or less than a predetermined threshold value. And not adopted as a candidate.
色相には、人間が色を見たときに心理的に同じ色違いに見える色同士の距離を均等にしてある色空間の一つであるL*a*b*表色系を用いる。
但し、Nは領域に含まれる画像数、Liはi番目の画素の明度指数、ai、biはi番目の画素のクロマティネクス指数を表す。iは画面の右方向にカウントアップし、例えば領域400の右端までくると一つ下の行の左端からカウントアップするものとする。
輝度による判定と色相による判定のどちらか一方で候補でないと判定された場合には候補として採用せず、そうでない場合には候補として採用する。候補として採用されなかった場合、候補基準を調べたフレーム以降のフレームについて順次特徴量を調べて、基準に満ちたフレームまで到達するとそのフレームを新たに代表候補画像x1として抽出する。 If it is determined that either one of the determination based on luminance and the determination based on hue is not a candidate, it is not adopted as a candidate. Otherwise, it is adopted as a candidate. If not adopted as a candidate, the feature amount is sequentially examined for frames after the frame for which the candidate criterion is examined, and when a frame that satisfies the criterion is reached, the frame is newly extracted as a representative candidate image x1.
なお、も基準を満たすフレームが映像の最後まで検出されなかった場合には、より多くの画像が選択されるように閾値を変更してから再度候補画像を検索する。それでも検出されなかった場合には閾値の変更を繰り返す。 If no frame satisfying the criterion is detected until the end of the video, the candidate image is searched again after changing the threshold value so that more images are selected. If it is still not detected, the threshold value is changed repeatedly.
代表候補画像x2は、代表候補画像x1からさらに30秒後のフレームの画像を代表候補画像x2として抽出する。この場合も基準に満たない場合は同様にそのフレーム以降のフレームを調べて基準を満たすフレームを新たに代表候補画像x2として抽出する。代表候補画像x2が番組の範囲内にない場合は、代表候補画像x1がより前方のフレームになるように閾値を変更して代表候補画像x1を再度抽出する。同様にして代表候補画像x3も抽出する。 As the representative candidate image x2, an image of a frame 30 seconds after the representative candidate image x1 is extracted as the representative candidate image x2. Also in this case, when the standard is not satisfied, the frames after that frame are similarly examined, and a frame satisfying the standard is newly extracted as the representative candidate image x2. If the representative candidate image x2 is not within the range of the program, the representative candidate image x1 is extracted again by changing the threshold value so that the representative candidate image x1 becomes a more forward frame. Similarly, the representative candidate image x3 is also extracted.
候補抽出手段201は、映像Y、Zに関しても同様にして代表候補画像y1、y2、y3、z1、z2、z3を抽出する。
The
図1に示すように、代表候補画像x1、x2、x3、y1、y2、y3、z1、z2、z3は、映像中での先頭からの時間で表すことができ、それぞれTx1、Tx2、Tx3、Ty1、Ty2、Ty3、Tz1、Tz2、Tz3となる。ここで、代表候補画像x1、y1、z1はタイトル映像103の中から選択され、その他の代表候補画像は本編映像の中から選択されたとする。
As shown in FIG. 1, the representative candidate images x1, x2, x3, y1, y2, y3, z1, z2, and z3 can be represented by the time from the beginning in the video, and Tx1, Tx2, Tx3, Ty1, Ty2, Ty3, Tz1, Tz2, and Tz3. Here, it is assumed that the representative candidate images x1, y1, and z1 are selected from the
図5に候補選択手段101が選択した代表候補画像301の例を示す。代表候補画像x1、y1、z1は同じタイトル映像103から抽出されたので、全ての映像が同じ候補画像を抽出している。もしも(x1、y1、z1)の画像セットで代表画像を抽出すると、全ての代表画像が同一になって一覧表示したときに差がなくなって識別できなくなるが、以下に説明する方法でこれを避ける。
FIG. 5 shows an example of the
(5)代表画像302の抽出方法
代表画像302は以下の手順で抽出する。
(5) Extraction Method of
組み合わせ手段205は、代表候補画像301からそれぞれの映像について1個の代表候補画像を選び、評価値算出手段202は画像の特徴量に基づいて評価値を算出し、代表画像決定手段203は組み合わせ手段205が選択する全ての画像セットについて、評価値算出手段202によって算出された評価値を調べて、評価値が最大となる組み合わせを代表画像として選択する。
The
評価値は、一つの画像セットに含まれる代表候補画像間の類似度が低い程に高くなる値である。この評価値の算出方法として、例えば画面を16分割した領域毎に2つの画像間で色相空間内での距離の2乗総和を算出して、さらにこの2乗総和を代表候補画像から2つを選択する全ての組み合わせについての総和を評価値とする。このように算出する評価値は、x1、y1、z1が色相空間内で互いに離れれば離れるほど大きくなるので、画像が異なる指標として使用できる。 The evaluation value is a value that increases as the similarity between representative candidate images included in one image set decreases. As a method of calculating this evaluation value, for example, the sum of squares of the distance in the hue space between two images is calculated for each region obtained by dividing the screen into 16 parts, and two of the sums of squares are further calculated from the representative candidate images. The sum total of all the combinations to be selected is used as the evaluation value. Since the evaluation values calculated in this way become larger as x1, y1, and z1 are separated from each other in the hue space, the image can be used as a different index.
映像Xから代表候補画像x1、y1、z1の画像セットを(x1、y1、z1)と表すことにして、この評価値H(x1、y1、z1)を算出する場合を説明する。まず、代表候補画像x1について、候補抽出手段201での色相の算出方法と同様の方法で、算出する。すなわち、
次に、3つの代表候補画像から2つを選択して、その2つの代表候補画像の間の色差の総和を算出する。x、yを代表候補画像、kを画面全体を16分割した領域の番号とすると、色差L(x,y)の2乗は次式で表せる。
代表画像決定手段203は組み合わせ手段205が選択する全ての画像セットについて評価値算出手段202を用いて評価値を算出して、評価値が最大となる画像セットを選択する。図6にこのようにして算出された代表候補画像の(x、y、z)の画像セットと評価値Hの例を示す。
The representative
図6の601に示すように、(x2、y2、z1)の画像セットの評価値が最大であるとすると、代表画像決定手段203は図3に示すように(x2、y2、z1)の画像セットを選択する。図7に以上の手順で選択した代表画像を画面上に一覧した例を示す。
If the evaluation value of the image set (x2, y2, z1) is the maximum as indicated by 601 in FIG. 6, the representative
(6)フローチャートの説明
図8に、本実施形態の代表画像抽出方法の処理手順のフローチャートを示す。
(6) Description of Flowchart FIG. 8 shows a flowchart of the processing procedure of the representative image extraction method of the present embodiment.
映像記憶手段200が映像を入力し(ステップs800)、候補抽出手段201が候補を抽出する(ステップs801)。組み合わせ手段205が候補抽出手段201の中から画像セットを順番に選択し(ステップs802)、選択した画像セットの評価値を評価値算出手段202で算出する(ステップs803)。代表画像決定手段は全ての画像セットについて評価値を調べ、全ての評価した場合はステップs805に進み、そうでない場合はステップs802に戻って次の画像セットを評価する(ステップs804)。全てを評価し終えると、代表画像決定手段203は評価値が最大の画像セットを選択し(ステップs805)、代表画像出力手段204がその画像セットの画像を出力する(ステップs806)。
The video storage means 200 inputs video (step s800), and the candidate extraction means 201 extracts candidates (step s801). The
以上に説明したように、本実施形態によれば、複数の映像から抽出した代表画像を一覧表示する場合に、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる。 As described above, according to the present embodiment, when a list of representative images extracted from a plurality of videos is displayed, a list of representative images that can be easily identified can be generated by suppressing the extraction of similar representative images. .
(第2の実施形態)
本発明の第2の実施形態について図12〜図14に基づいて説明する。
(Second Embodiment)
A second embodiment of the present invention will be described with reference to FIGS.
第2の実施形態は、ハードディスクレコーダーで録画したテレビ番組を複数のフォルダに振り分けて格納する場合に、フォルダを一覧表示した際に識別しやすい代表画像をフォルダに格納された映像から抽出する例を説明する。 In the second embodiment, when television programs recorded by a hard disk recorder are sorted and stored in a plurality of folders, an example of extracting representative images that are easy to identify when displaying a list of folders from videos stored in the folders is shown. explain.
(1)処理対象の映像
図12に、本実施形態における処理対象の映像の一例を示す。
(1) Video to be processed FIG. 12 shows an example of video to be processed in the present embodiment.
フォルダXには映像X1〜X4の4個の映像、フォルダYには映像Y1〜Y2の2個の映像、フォルダZには映像Z1〜Z3の3個の映像がそれぞれ格納されている。例えば、フォルダXには野球番組、フォルダYには料理番組、フォルダZにはその他の番組、といったようにジャンルやユーザーの嗜好で分類するために一般的に用いられる。フォルダの一覧表示とは、フォルダに格納された映像から各フォルダに対して一つだけ代表画像を抽出して画面に表示することである。 The folder X stores four videos X1 to X4, the folder Y stores two videos Y1 to Y2, and the folder Z stores three videos Z1 to Z3. For example, it is generally used to classify according to genre or user preference, such as folder X for baseball programs, folder Y for cooking programs, and folder Z for other programs. The folder list display means that only one representative image is extracted from each video stored in the folder and displayed on the screen.
(2)代表画像抽出装置の構成
本実施形態に係る代表画像抽出方法の構成は、第1の実施形態に係る代表画像抽出装置の構成と同一であるが、映像記憶手段200と候補抽出手段201の動作が異なり、その他の構成要素の動作は同一であるので、差分のみを以下に説明する。
(2) Configuration of Representative Image Extracting Device The configuration of the representative image extracting method according to the present embodiment is the same as that of the representative image extracting device according to the first embodiment, but the video storage means 200 and
映像記憶手段200は例えばハードディスクとファイルシステムにより構成され、フォルダ機能を有し、複数の映像をフォルダ内に格納して、フォルダ名を含むファイル名によって映像にアクセスできる。候補抽出手段201は例えばコンピュータプログラムにより構成される。
The video storage means 200 is composed of, for example, a hard disk and a file system, has a folder function, stores a plurality of videos in the folder, and can access the video by a file name including the folder name. The
(3)処理の概要
図14に、本実施形態に係る代表画像抽出装置による処理の概要を示し、以下に処理手順の概要を説明する。
(3) Overview of Processing FIG. 14 shows an overview of processing by the representative image extraction apparatus according to this embodiment, and an overview of the processing procedure will be described below.
映像1300は、図13に示したように映像記憶手段200にフォルダ単位で分類されて記憶された映像を表し、この例では図13に示したX〜Zの3個のフォルダとX1〜X4、Y1〜Y2、Z1〜Z3の映像がそれぞれのフォルダに記憶されているものとする。映像は処理の前に予めフォルダに振り分けられているものとする。映像のフォルダへの振り分けは、例えば、予約録画の際にユーザーがどのフォルダに格納するかを指定してもよいし、録画後にユーザーが手動で映像を振り分けてもよい。
A
代表候補画像1301に、候補抽出手段201によって映像1300から抽出された代表画像の候補を示す。候補抽出手段201は、フォルダXに格納された全ての映像の全てのフレーム画像について、類似したフレーム画像を10種類に分類する。分類されたフレーム画像の集合はクラスタと呼ばれ、類似した画像に分類する処理をクラスタリングと呼ぶ。
A
次に、各クラスタを構成するフレーム画像の数を数える。そして、クラスタを構成するフレーム画像の数が大きいものから順番に3つのクラスタを代表候補クラスタとする。 Next, the number of frame images constituting each cluster is counted. Then, three clusters are set as representative candidate clusters in descending order of the number of frame images constituting the cluster.
次に、3つの代表候補クラスタにおいて、各クラスタ中心に最も類似しているフレーム画像を代表候補画像x1、x2、x3として抽出する。 Next, in the three representative candidate clusters, frame images that are most similar to the center of each cluster are extracted as representative candidate images x1, x2, and x3.
例えば、フォルダXがプロ野球を録画した野球番組X1(5月15日の放送)、X2(5月16日の放送)、X3(5月17日の放送)、X4(5月18日の放送)から構成されているとする。そして、これら番組X1、X2、X3、X4から3つの代表候補クラスタから選ばれたとする。例えば、投球場面のクラスタ、打つ場面のクラスタ、観客席の場面のクラスタが3つの代表候補クラスタとする。そして、投球場面のクラスタ、打つ場面のクラスタ、観客席の場面のクラスタのそれぞれから代表候補画像x1、x2、x3として抽出する。代表候補画像x1は投球場面の画像であり、代表候補画像x2は打つ場面の画像であり、代表候補画像x3は観客席の場面の画像となる。 For example, a baseball program X1 (broadcast on May 15), X2 (broadcast on May 16), X3 (broadcast on May 17), X4 (broadcast on May 18), where folder X records professional baseball ). Assume that these programs X1, X2, X3, and X4 are selected from three representative candidate clusters. For example, a pitch scene cluster, a hitting scene cluster, and a spectator seat scene cluster are three representative candidate clusters. Then, representative candidate images x1, x2, and x3 are extracted from the pitch scene cluster, the hitting scene cluster, and the auditorium scene cluster, respectively. The representative candidate image x1 is an image of a throwing scene, the representative candidate image x2 is an image of a hitting scene, and the representative candidate image x3 is an image of a scene of a spectator seat.
同様にフォルダY、Zについても代表候補画像y1、y2、y3、z1、z2、z3を抽出する。 Similarly, representative candidate images y1, y2, y3, z1, z2, and z3 are extracted for folders Y and Z.
代表画像決定手段203は代表候補画像1301から代表画像の画像セットを選択する方法は、第1の実施形態と同一なので省略する。
The method for selecting the image set of the representative image from the
(4)クラスタリングの方法
フレーム画像のクラスタリングには一般的な方法であるk−means法を用いればよく、以下にアルゴリズムを簡単に説明する。
(4) Clustering Method The k-means method, which is a general method, may be used for clustering frame images, and the algorithm will be briefly described below.
まず、フォルダXからランダムに10個のフレーム画像を選択し、初期クラスタ中心を決める。全てのフレーム画像について、最も類似したクラスタ中心のクラスタに分類する。すなわち、初期クラスタ中心の10枚のフレーム画像をF1、F2・・・、F10とすると、F1に類似したフレーム画像をフォルダ内から検索して抽出する。この画像が類似しているかどうかの判定は、例えば第1の実施形態の式2に示した、画面全体を16分割した領域毎にL*a*b*表色系による色相の平均を総和したものを距離として用いればよい。そして、F2・・・、F10についても同じ処理を行いフォルダ内の全てのフレーム画像を10種類のクラスタに分類する。
First, ten frame images are randomly selected from the folder X, and the initial cluster center is determined. All frame images are classified into the most similar cluster center cluster. That is, assuming that ten frame images at the center of the initial cluster are F1, F2,..., F10, frame images similar to F1 are searched from the folder and extracted. Whether the images are similar is determined by, for example, summing the hue averages of the L * a * b * color system for each of the areas obtained by dividing the entire screen shown in
これら10種類のクラスタのそれぞれについてクラスタの重心を計算する。クラスタの重心については、画面を16分割した領域毎に、色相の各要素についてヒストグラムを作り、要素値とヒストグラム度数の積の総和を要素数で割って計算する。この計算した10個のクラスタの重心を二回目の初期クラスタ中心とする。 The center of gravity of the cluster is calculated for each of these 10 types of clusters. The center of gravity of the cluster is calculated by creating a histogram for each element of hue for each area obtained by dividing the screen into 16 parts, and dividing the sum of the product of the element value and the histogram frequency by the number of elements. The center of gravity of the calculated 10 clusters is set as the second initial cluster center.
この二回目の初期クラスタ中心の10枚のフレーム画像について上記と同様にして計算して、三回目の初期クラスタ中心を計算する。 The second initial cluster center is calculated in the same manner as described above, and the third initial cluster center is calculated.
そして、この処理を繰り返し新たなクラスタ中心が全て前回と同じであれば処理を停止して、そのクラスタ中心を持つクラスタが求めるクラスタである。一方、同じでなければ新たなクラスタ中心を初期クラスタとして処理を繰り返す。 This process is repeated, and if all new cluster centers are the same as the previous one, the process is stopped, and the cluster having the cluster center is obtained. On the other hand, if they are not the same, the process is repeated with the new cluster center as the initial cluster.
(5)フローチャートの説明
図14に、本実施形態の代表画像抽出方法の処理手順のフローチャートを示す。
(5) Description of Flowchart FIG. 14 shows a flowchart of the processing procedure of the representative image extraction method of the present embodiment.
映像記憶手段200が映像を入力してフォルダに格納し(ステップs1400)、フォルダ毎にクラスタリングし(ステップs1401)、クラスタを構成するフレーム画像の数が大きいクラスタから順に3個のクラスタを選択し(ステップs1402)、クラスタ中心に最も類似したフレーム画像を代表候補画像とする(ステップs1403)。以降の処理は、本発明の第1の実施形態のステップs802以降の処理と同様である。 The video storage means 200 inputs the video and stores it in a folder (step s1400), clusters each folder (step s1401), and selects three clusters in order from the cluster with the largest number of frame images constituting the cluster ( In step s1402), the frame image most similar to the cluster center is set as a representative candidate image (step s1403). The subsequent processing is the same as the processing after step s802 in the first embodiment of the present invention.
以上に説明したように、第2の実施形態によれば、複数のフォルダから代表画像を抽出して一覧表示する場合に、類似した代表画像の抽出を抑制して識別が容易な代表画像の一覧を生成できる。 As described above, according to the second embodiment, when representative images are extracted from a plurality of folders and displayed as a list, a list of representative images that can be easily identified by suppressing extraction of similar representative images. Can be generated.
(変形例)
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
(Modification)
The present invention is not limited to the above embodiments, and various modifications can be made without departing from the gist thereof.
(1)変形例1
第1の実施形態では、候補抽出手段201によって抽出された画像から、組み合わせ手段205が画像セットを選んだ。しかし、映像記憶手段200に記憶された映像を構成する画像から直接画像セットを選んでもよい。この場合は、候補抽出手段201が全ての画像を抽出したものとみなすことができ、候補抽出手段201の抽出からもれた画像も組み合わせ手段201の対象にできる。
(1)
In the first embodiment, the
(2)変形例2
第1の実施形態では、映像記憶手段200に記憶する映像は独立の映像とした。しかし、これに限らず、異なる映像の単位であればなんでもよい。
(2)
In the first embodiment, the video stored in the
例えば、カット検出してシーンに分割してある映像では、シーンを単位として代表画像を抽出してもよい。 For example, in a video that has been cut and divided into scenes, a representative image may be extracted in units of scenes.
(3)変形例3
第1の実施形態では、映像記憶手段200に全ての映像が存在するとしたが、これに限らず、新たに映像を追加した場合には、既に選択された代表画像はそのままにして、新たに追加した映像についてのみ逐次的に代表画像を抽出してもよい。
(3)
In the first embodiment, all the videos exist in the
図9に逐次的に代表画像を抽出する処理の概要を示す。 FIG. 9 shows an outline of processing for extracting representative images sequentially.
x2、y2、z1は第1の実施形態で抽出された代表画像であり、映像900に新たに映像Q、Rを追加した場面を表している。
x2, y2, and z1 are representative images extracted in the first embodiment, and represent scenes in which videos Q and R are newly added to the
候補抽出手段201は、第1の実施形態と同様に映像Q、Rについてそれぞれ3個ずつの代表候補画像901をq1、q2、q3、r1、r2、r3として抽出する。
The
次に、組み合わせ手段205がそれぞれの映像について1個の代表候補画像を選ぶ。しかし、代表候補画像901に示すように、映像X、Y、Zについては既に抽出された代表画像x2、y2、z1を代表候補画像とする。
Next, the combination means 205 selects one representative candidate image for each video. However, as shown in the
組み合わせ手段205は式3を用いて全ての代表候補画像の画像セットについて評価値を算出し、評価値が最大の画像セットを選択する。このような逐次処理により処理時間を低減すると同時に、既に選択された代表画像も考慮して追加された映像の代表画像を抽出できる。
The
図10は第1の実施形態で逐次的に代表画像を抽出する方法の処理手順のフローチャートを示す。第1の実施形態では候補選択手段203が候補画像を選択するステップs801がステップs1000とs1001に置き換わっているところが異なる。
FIG. 10 shows a flowchart of the processing procedure of the method for sequentially extracting representative images in the first embodiment. The first embodiment is different in that step s801 in which the
映像記憶手段200が追加映像を入力し(ステップs1000)、既存の映像について候補抽出手段201は候補を抽出し(ステップs1001)、追加の映像について候補抽出手段203は第1の実施形態と同様に各映像から3個の代表候補画像を抽出する(ステップs1002)。ステップs802に進んで、組み合わせ手段205が候補抽出手段201の中から画像セットを順番に選択し、これ以降の処理は第1の実施形態と同様である。
The video storage means 200 inputs the additional video (step s1000), the candidate extraction means 201 extracts the candidate for the existing video (step s1001), and the candidate extraction means 203 for the additional video is the same as in the first embodiment. Three representative candidate images are extracted from each video (step s1002). Proceeding to step s802, the
この変形例では画像セットの範囲を追加映像から抽出した代表候補画像に限定するために、うまく識別できない代表画像を選択してしまう可能性がある。これを解決するには、例えば、評価値が予め定められた閾値を超えない場合には逐次的に処理せず、全ての映像から再度代表画像を抽出すればよい。 In this modification, since the range of the image set is limited to the representative candidate images extracted from the additional video, there is a possibility of selecting a representative image that cannot be identified well. In order to solve this, for example, when the evaluation value does not exceed a predetermined threshold, the representative image may be extracted again from all the videos without sequentially processing.
(4)変形例4
第1の実施形態では、候補抽出手段201と評価値算出手段202はL*a*b*表色系を特徴量として用いたが、これに限らず、代表画像の識別が容易になる特徴量であればなんでもよい。例えば、画像に存在するエッジ数やエントロピーに基づいて算出してもよい。
(4)
In the first embodiment, the
(4−1)エッジ数
評価値としてエッジ数を用いる場合について説明する。
(4-1) Number of Edges A case where the number of edges is used as the evaluation value will be described.
代表候補画像の輝度値をx軸方向に画素毎に1次微分して、その値が予め定められた閾値を超える場合にエッジを検出する。エッジの数を図4に示すように画面全体を16分割した領域単位で数え、2つの画像の距離をエッジ数の差の2乗を全ての領域についての総和と定義する。 The luminance value of the representative candidate image is first-order differentiated for each pixel in the x-axis direction, and an edge is detected when the value exceeds a predetermined threshold value. The number of edges is counted in units of areas obtained by dividing the entire screen as shown in FIG. 4, and the distance between two images is defined as the square of the difference in the number of edges as the sum of all areas.
代表候補画像について2つの画像を選択する全ての画像セットについて距離を算出し、その総和を評価値とする。j,k,M,Nを代表候補画像の番号、分割領域の番号、代表候補画像の数、分割領域の数、Ej,kを代表候補画像jの領域kにあるエッジ数とすると、エッジ数による評価値HEは次式で表せる。
(4−2)エントロピー
評価値として情報量を表すエントロピーを用いる場合について説明する。
(4-2) Entropy A case where entropy representing the amount of information is used as the evaluation value will be described.
この場合、全ての代表候補画像を構成する全ての画素について、輝度値毎にヒストグラムを求めて出現確率を算出して、その積の総和を評価値とする。 In this case, for all the pixels constituting all the representative candidate images, a histogram is obtained for each luminance value, the appearance probability is calculated, and the sum of the products is used as the evaluation value.
iを輝度の範囲の番号、piをi番目の輝度範囲の出現確率とすると、エントロピーによる評価値HEntolopyは次式で表せる。
(5)変形例5
第1の実施形態では、特徴量の計算は画面全体に対して行った。しかし、これに限らず、画像の部分領域でもよい。
(5)
In the first embodiment, the feature amount is calculated for the entire screen. However, the present invention is not limited to this, and a partial region of an image may be used.
例えば、画像の中央部分のみを用いて特徴量を抽出してもよい。この場合、画面の周辺には画像の内容とはあまり関係のないものが映っていることが多く、この影響を低減できると同時に、処理時間も短縮できる。 For example, the feature amount may be extracted using only the central portion of the image. In this case, there are many things that are not closely related to the contents of the image in the periphery of the screen, and this effect can be reduced and the processing time can be shortened.
あるいは、映像を構成する全てのフレームに対して特徴量を計算するのではなく、映像が大きく変化するところでシーンを予め区切っておいて、シーンの先頭の画像のみを特徴量を算出する処理の対象としてもよい。 Alternatively, instead of calculating feature values for all the frames that make up the video, the scene is divided in advance where the video changes significantly, and only the first image of the scene is subject to processing It is good.
(6)変形例6
第1の実施形態では、組み合わせ手段は全ての代表候補画像から画像セットを選択したが、これに限らず一部の画像セットに限定して処理量を低減して高速化してもよい。
(6) Modification 6
In the first embodiment, the combination unit selects an image set from all the representative candidate images. However, the present invention is not limited to this, and the processing amount may be reduced and speeded up by limiting to a part of the image sets.
例えば、代表画像を同時に一覧表示する映像の範囲に限定して代表画像を抽出してもよい。具体的には、10個の映像が存在し、録画時間の早い順に6個の映像から代表画像をそれぞれ表示するものとする。候補抽出手段201は全ての映像から代表候補画像を抽出するのではなく、6個ずつの映像から代表候補画像を抽出する。以降の処理手順は第1の実施形態と同一である。
For example, the representative image may be extracted by limiting to the range of videos in which the representative image is displayed as a list at the same time. Specifically, there are 10 videos, and representative images are displayed from 6 videos in order of the recording time. The
あるいは、シーン単位で代表画像を抽出する場合に、CMなどの特定の属性を持った映像区間を処理対象から除外して、番組本編の映像区間のみを処理対象としてもよい。 Alternatively, when a representative image is extracted in units of scenes, a video section having a specific attribute such as CM may be excluded from the processing target, and only the video section of the main program may be processed.
あるいは、評価値が低い可能性が大きい画像セットを選択しなくてもよい。この場合、まず全ての代表候補画像について式2で表される色差の2乗を算出し、色差の2乗が予め定められた閾値より小さい場合にはその代表候補画像の組を、例えば((x1、y3)、(x1、z1)、…(x3、z1))のようにテーブル形式で記憶してマークする。マークされた代表候補画像は類似した画像であり、これらを含む代表候補画像の画像セットは評価値が低い可能性が高いため、式3で評価値を算出するときに、このテーブルを検索して評価すべき代表候補画像の画像セットの中にマークされた組がある場合には、評価値を算出せずに次の処理に進む。
Alternatively, it is not necessary to select an image set that is highly likely to have a low evaluation value. In this case, first, the square of the color difference represented by
(7)変形例7
第1の実施形態では、組み合わせ手段205はそれぞれの映像毎に1枚の画像を選択したが、これに限らず、複数枚の画像を選択してもよい。
(7) Modification 7
In the first embodiment, the
例えば、図11に示すように2枚の画像を選択して、2枚の画像を上下に並べて合成した画像を代表画像にしてもよい。1枚の代表画像よりも2枚の画像を並べて合成した代表画像の方が類似した代表画像になりにくいため、類似した画像が多い映像の場合でも識別が容易な代表画像を選択しやすくなる。 For example, as shown in FIG. 11, two images may be selected, and an image obtained by combining two images side by side may be used as a representative image. Since a representative image obtained by arranging two images side by side and combining them is less likely to be a similar representative image than a single representative image, it is easy to select a representative image that can be easily identified even in the case of a video with many similar images.
この場合、組み合わせ手段205は代表候補画像301から各映像に対して2個の候補を選択して画像セットを作る。3個の映像がある場合には、6個の代表候補画像の画像セットとなる。以降の処理は第1の実施形態と同一である。
In this case, the
(8)変形例8
第1の実施形態では、代表画像決定手段203は評価値が最大になる画像セットを代表画像として決定した。しかし、これに限らず、代表画像が十分に異なると識別できる方法であればなんでもよい。
(8)
In the first embodiment, the representative
例えば、代表画像が十分に異なると識別できる閾値を予め定めておいて、評価値がこの値を超えた場合にはその画像セットを代表画像に決定してもよい。この場合、その後の評価を停止するので処理量を低減できる。 For example, a threshold value that can identify that the representative images are sufficiently different may be determined in advance, and if the evaluation value exceeds this value, the image set may be determined as the representative image. In this case, since subsequent evaluation is stopped, the amount of processing can be reduced.
(9)変形例9
第2の実施形態では、代表候補画像1301はクラスタリングによって代表候補画像を抽出した。しかし、これに限らず、代表候補を抽出できる方法であればなんでもよい。
(9) Modification 9
In the second embodiment,
例えば、フォルダに含まれる映像をつなげて一つの映像を生成して、本発明の第1の実施形態と同様の方法で代表候補画像を抽出してもよい。 For example, a representative candidate image may be extracted by a method similar to that of the first embodiment of the present invention by connecting videos included in a folder to generate one video.
(10)変形例10
第2の実施形態における代表候補画像をクラスタリングによって代表候補画像を抽出した方法を第1の実施形態における代表候補画像の抽出に用いても良い。
(10)
The method of extracting representative candidate images by clustering the representative candidate images in the second embodiment may be used for extracting representative candidate images in the first embodiment.
200 映像記憶手段
201 候補抽出手段
202 評価値算出手段
203 代表画像決定手段
204 代表画像出力手段
205 組み合わせ手段
200 Video storage means 201 Candidate extraction means 202 Evaluation value calculation means 203 Representative image determination means 204 Representative image output means 205 Combination means
Claims (13)
前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定部と、
前記決定された映像単位毎の代表画像を出力する出力部と、
を具備する
ことを特徴とする代表画像抽出装置。 A video storage unit for storing one or a plurality of videos divided into a plurality of video units;
A representative image determination unit that determines a representative image so that the similarity of the representative frame image for each video unit is different based on the feature amount of the video stored for each video unit;
An output unit for outputting a representative image for each determined video unit;
A representative image extracting apparatus.
前記各映像単位の映像から複数枚のフレーム画像を代表候補画像としてそれぞれ選択する代表候補画像選択部と、
前記各映像単位の複数枚の代表候補画像のそれぞれについて特徴量を算出する特徴量算出部と、
前記各映像単位の複数枚の代表候補画像を組み合わせて複数の画像セットを作る組み合わせ部と、
前記各画像セットに含まれる代表候補画像間の類似度を、前記算出した特徴量を用いて算出する類似度算出部と、
前記各画像セットの中で最も類似度の低い画像セット、または、閾値より低い類似度を有する画像セットを求め、その求めた画像セットに含まれる各映像単位の代表候補画像を、前記各映像単位の代表画像とする代表画像セット決定部と、
を具備する
ことを特徴とする請求項1記載の代表画像抽出装置。 The representative image determination unit
A representative candidate image selection unit that selects a plurality of frame images as representative candidate images from each video unit video;
A feature amount calculating unit that calculates a feature amount for each of the plurality of representative candidate images of each video unit;
A combination unit that combines a plurality of representative candidate images of each video unit to create a plurality of image sets;
A similarity calculation unit that calculates a similarity between representative candidate images included in each image set using the calculated feature amount;
An image set having the lowest similarity among the image sets or an image set having a similarity lower than a threshold is obtained, and representative candidate images for each video unit included in the obtained image set are set to the video units. A representative image set determining unit as a representative image of
The representative image extraction apparatus according to claim 1, comprising:
ことを特徴とする請求項2記載の代表画像抽出装置。 The representative candidate image selection unit selects, as the representative candidate image, all the frame images constituting the video unit video when selecting a plurality of images from the video unit video as representative candidate images. The representative image extracting apparatus according to claim 2, wherein a part of frame images constituting a video of each video unit is selected as the representative candidate image.
ことを特徴とする請求項1記載の代表画像抽出装置。 The representative image extraction apparatus according to claim 1, wherein the video unit is a folder including one video, a scene in the same video, and one or a plurality of videos.
前記代表候補画像選択部は、前記追加された映像単位の映像から複数枚の画像を代表候補画像として選択し、
前記特徴量算出部は、前記追加された映像単位の複数枚の代表候補画像のそれぞれについて特徴量を算出し、
前記組み合わせ部は、追加前の各映像単位の代表画像と前記追加された映像単位の複数枚の代表候補画像を組み合わせて複数の画像セットを新たに作り、
前記類似度算出部は、前記新たな各画像セットに含まれる代表候補画像間の類似度を、前記算出した特徴量を用いて算出し、
前記代表画像セット決定部は、前記新たな各画像セットの中で最も類似度の低い画像セット、または、閾値より低い類似度を有する画像セットを求め、その求めた画像セットに含まれる各映像単位の代表候補画像を、前記各映像単位の代表画像とする
ことを特徴とする請求項2記載の代表画像抽出装置。 When a new video unit is added to the video storage unit,
The representative candidate image selecting unit selects a plurality of images as representative candidate images from the added video unit video,
The feature amount calculation unit calculates a feature amount for each of the plurality of representative candidate images of the added video unit,
The combination unit newly creates a plurality of image sets by combining a representative image of each video unit before addition and a plurality of representative candidate images of the added video unit,
The similarity calculation unit calculates a similarity between representative candidate images included in each new image set using the calculated feature amount;
The representative image set determining unit obtains an image set having the lowest similarity among the new image sets or an image set having a similarity lower than a threshold, and each video unit included in the obtained image set The representative image extraction apparatus according to claim 2, wherein the representative candidate image is a representative image of each video unit.
ことを特徴とする請求項1記載の代表画像抽出装置。 The representative image extraction apparatus according to claim 1, wherein the feature amount is at least one of hue, luminance, number of edges, L * a * b * color system, and entropy.
ことを特徴とする請求項2記載の代表画像抽出装置。 The representative image extraction apparatus according to claim 2, wherein the feature amount calculation unit calculates the feature amount using pixels of all regions of the image or pixels of a partial region of the image.
ことを特徴とする請求項2記載の代表画像抽出装置。 The representative candidate image selection unit selects m (n>m> 1) video units from n (n> 1) video units stored in the video storage unit, and selects these m video units. The representative image extraction apparatus according to claim 2, wherein a representative candidate image is selected from each video unit.
ことを特徴とする請求項2記載の代表画像抽出装置。 The representative image extraction apparatus according to claim 2, wherein the representative candidate image selection unit selects a video section having a specific attribute in the video unit, and selects a representative candidate image from the video section.
ことを特徴とする請求項2記載の代表画像抽出装置。 The representative image extracting apparatus according to claim 2, wherein the combination unit selects a plurality of frame images from the video of each video unit, generates a representative candidate image by arranging and synthesizing these images.
ことを特徴とする請求項2記載の代表画像抽出装置。 When the representative candidate image selection unit selects a part of the frame image from the video of each video as a representative candidate image, the representative candidate image selection unit randomly selects from the images constituting the video or the image constituting the video The representative image according to claim 2, wherein the selection is based on at least one of selection based on a feature amount of the image, or selection based on a result of clustering using the feature amount of the image constituting the video. Extraction device.
前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定ステップと、
前記決定された映像単位毎の代表画像を出力する出力ステップと、
を具備する
ことを特徴とする代表画像抽出方法。 A video storage step for storing one or a plurality of videos divided into a plurality of video units;
A representative image determination step of determining a representative image based on the feature amount of the video stored for each video unit so that the similarity of the representative frame image for each video unit is different;
An output step of outputting a representative image for each determined video unit;
A representative image extracting method.
前記映像単位毎に記憶された映像の特徴量に基づいて、前記映像単位毎の代表フレーム画像の類似度が異なるように代表画像を決定する代表画像決定機能と、
前記決定された映像単位毎の代表画像を出力する出力機能と、
をコンピュータによって実現する
ことを特徴とする代表画像抽出プログラム。
A video storage function for storing one or a plurality of videos divided into a plurality of video units;
A representative image determination function for determining a representative image such that the similarity of the representative frame image for each video unit is different based on the feature amount of the video stored for each video unit;
An output function for outputting a representative image for each determined video unit;
A representative image extraction program characterized by being realized by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005183751A JP4250619B2 (en) | 2005-06-23 | 2005-06-23 | Representative image extraction apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005183751A JP4250619B2 (en) | 2005-06-23 | 2005-06-23 | Representative image extraction apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007006129A true JP2007006129A (en) | 2007-01-11 |
JP4250619B2 JP4250619B2 (en) | 2009-04-08 |
Family
ID=37691302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005183751A Expired - Fee Related JP4250619B2 (en) | 2005-06-23 | 2005-06-23 | Representative image extraction apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4250619B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009152697A (en) * | 2007-12-18 | 2009-07-09 | Canon Inc | Imaging apparatus, image processing apparatus, imaging apparatus control method, image processing apparatus control method, and program |
JP2009164771A (en) * | 2007-12-28 | 2009-07-23 | Ark Joho Systems:Kk | File management device, file management method and file management program |
WO2011010598A1 (en) * | 2009-07-23 | 2011-01-27 | オリンパス株式会社 | Image processing device, image processing program and image processing method |
CN102131026A (en) * | 2010-01-12 | 2011-07-20 | 兄弟工业株式会社 | Image processing device and image processing method |
JP2011215057A (en) * | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | Scene matching reference data generation system and position measurement system |
JP2013054430A (en) * | 2011-09-01 | 2013-03-21 | Nikon Corp | Image evaluation device, imaging apparatus, and program |
JP5212610B2 (en) * | 2006-02-08 | 2013-06-19 | 日本電気株式会社 | Representative image or representative image group display system, method and program thereof, and representative image or representative image group selection system, method and program thereof |
KR101436318B1 (en) | 2007-08-24 | 2014-09-01 | 삼성전자주식회사 | Display method within digital electronic apparatus, and digital electronic apparatus adopting the method |
US10565469B2 (en) | 2016-12-20 | 2020-02-18 | Canon Kabushiki Kaisha | Apparatus and method for processing images and storage medium |
-
2005
- 2005-06-23 JP JP2005183751A patent/JP4250619B2/en not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5212610B2 (en) * | 2006-02-08 | 2013-06-19 | 日本電気株式会社 | Representative image or representative image group display system, method and program thereof, and representative image or representative image group selection system, method and program thereof |
US8938153B2 (en) | 2006-02-08 | 2015-01-20 | Nec Corporation | Representative image or representative image group display system, representative image or representative image group display method, and program therefor |
KR101436318B1 (en) | 2007-08-24 | 2014-09-01 | 삼성전자주식회사 | Display method within digital electronic apparatus, and digital electronic apparatus adopting the method |
JP2009152697A (en) * | 2007-12-18 | 2009-07-09 | Canon Inc | Imaging apparatus, image processing apparatus, imaging apparatus control method, image processing apparatus control method, and program |
JP2009164771A (en) * | 2007-12-28 | 2009-07-23 | Ark Joho Systems:Kk | File management device, file management method and file management program |
JP2011024727A (en) * | 2009-07-23 | 2011-02-10 | Olympus Corp | Image processing device, program and method |
CN102469925A (en) * | 2009-07-23 | 2012-05-23 | 奥林巴斯株式会社 | Image processing device, image processing program and image processing method |
WO2011010598A1 (en) * | 2009-07-23 | 2011-01-27 | オリンパス株式会社 | Image processing device, image processing program and image processing method |
US9186051B2 (en) | 2009-07-23 | 2015-11-17 | Olympus Corporation | Image processing device, computer-readable recording device, and image processing method |
JP2011146799A (en) * | 2010-01-12 | 2011-07-28 | Brother Industries Ltd | Device and program for processing image |
US8634590B2 (en) | 2010-01-12 | 2014-01-21 | Brother Kogyo Kabushiki Kaisha | Image processing device and storage medium storing image processing program |
CN102131026A (en) * | 2010-01-12 | 2011-07-20 | 兄弟工业株式会社 | Image processing device and image processing method |
JP2011215057A (en) * | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | Scene matching reference data generation system and position measurement system |
JP2013054430A (en) * | 2011-09-01 | 2013-03-21 | Nikon Corp | Image evaluation device, imaging apparatus, and program |
US10565469B2 (en) | 2016-12-20 | 2020-02-18 | Canon Kabushiki Kaisha | Apparatus and method for processing images and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4250619B2 (en) | 2009-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4250619B2 (en) | Representative image extraction apparatus and method | |
US10579669B2 (en) | System, apparatus, method, program and recording medium for processing image | |
US10275655B2 (en) | Intelligent video thumbnail selection and generation | |
US9959903B2 (en) | Video playback method | |
US8135239B2 (en) | Display control apparatus, display control method, computer program, and recording medium | |
Gygli et al. | The interestingness of images | |
US6342904B1 (en) | Creating a slide presentation from full motion video | |
JP5533861B2 (en) | Display control apparatus, display control method, and program | |
US20070195344A1 (en) | System, apparatus, method, program and recording medium for processing image | |
US20170011264A1 (en) | Systems and methods for automatic key frame extraction and storyboard interface generation for video | |
US20120263433A1 (en) | Detecting Key Roles and Their Relationships from Video | |
US20060159370A1 (en) | Video retrieval system and video retrieval method | |
US8437542B2 (en) | Image processing apparatus, method, and program | |
JP2014068290A (en) | Image processing apparatus, image processing method, and program | |
US10565469B2 (en) | Apparatus and method for processing images and storage medium | |
Aner-Wolf et al. | Video summaries and cross-referencing through mosaic-based representation | |
JP5159654B2 (en) | Video processing apparatus and video processing method | |
JP4949307B2 (en) | Moving image scene dividing apparatus and moving image scene dividing method | |
JPWO2004068414A1 (en) | Appearance position display device of target object | |
Aner | Video summaries and cross-referencing | |
JP2011254232A (en) | Information processing device, information processing method, and program | |
JP2013097686A (en) | Discrimination information calculation device, discrimination information calculation method, and discrimination information calculation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |