JP2003264757A - Retrieval device and retrieval program for video image - Google Patents

Retrieval device and retrieval program for video image

Info

Publication number
JP2003264757A
JP2003264757A JP2002065913A JP2002065913A JP2003264757A JP 2003264757 A JP2003264757 A JP 2003264757A JP 2002065913 A JP2002065913 A JP 2002065913A JP 2002065913 A JP2002065913 A JP 2002065913A JP 2003264757 A JP2003264757 A JP 2003264757A
Authority
JP
Japan
Prior art keywords
segment
image
video
search device
color distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002065913A
Other languages
Japanese (ja)
Other versions
JP4036321B2 (en
Inventor
Yasuyuki Nakajima
康之 中島
Masaru Sugano
勝 菅野
Hiromasa Yanagihara
広昌 柳原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2002065913A priority Critical patent/JP4036321B2/en
Publication of JP2003264757A publication Critical patent/JP2003264757A/en
Application granted granted Critical
Publication of JP4036321B2 publication Critical patent/JP4036321B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide the retrieval device and retrieval program of video images for efficiently detecting a human body such as an announcer in input video images. <P>SOLUTION: A video input part 12 successively fetches out video data including news video images or the like from a storage device 11 and inputs them to a segment detection part 13 by control from a control part 10. The segment detection part 13 detects the change of the scene of the input video images. The time and video data of a cut point detected in the segment detection part 13 are inputted to a motion extraction part 17 and the motion information of each segment is extracted. In a specified color distribution detection part 18, a specified color distribution inside the segment is detected. A human body image determination part 15 determines the segment where motion inside the segment is small and the specified color distribution is present inside the segment as the segment where a human body image is present. Also, a segment length detection part, a telop detection part and a small area color change measurement part each can be added. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は映像の検索装置に関
し、特に、映像データまたは動画像データからアナウン
サ等の人物検出を効率的に行うことができる映像の検索
装置および検索プログラムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video search device, and more particularly to a video search device and a search program capable of efficiently detecting a person such as an announcer from video data or moving image data.

【0002】[0002]

【従来の技術】例えば、ニュース映像からアナウンサ画
面を自動検出する従来例を、図10を参照して説明す
る。図において、映像入力部12は、制御部10からの
制御により、ニュース映像などの映像データを蓄積装置
11から順次取り出してセグメント検出部13に入力さ
せる。セグメント検出部13は、入力映像のシーンの切
り替わりを検出し、切り替わり点の画面データとその時
刻をセグメント相関部14に出力する。
2. Description of the Related Art A conventional example of automatically detecting an announcer screen from a news video will be described with reference to FIG. In the figure, the video input section 12 is controlled by the control section 10 to sequentially take out video data such as a news video from the storage device 11 and input it to the segment detection section 13. The segment detection unit 13 detects the switching of the scene of the input video, and outputs the screen data at the switching point and the time thereof to the segment correlation unit 14.

【0003】セグメント相関部14は、セグメント先頭
画面間の相関値を測定する。相関値の測定方法として
は、画面間の色ヒストグラムの相関値測定を行うなどの
方法があり、特開平08−249467号公報に記され
ている発明「類似画像の検索装置および方法」を用いる
ことができる。この方法は、図12に示されているよう
に、第1セグメントをキー画像として、第1セグメント
と第2〜第nセグメント間のセグメント先頭画面間の相
関測定を行い、次に第2セグメントと第3〜第nセグメ
ント間の相関測定を行い、以下、第3セグメントと第4
〜第nセグメント間の相関測定、・・・、第(n−1)セ
グメントと第nセグメントの相関測定を行う。そして、
相関値が所定値以上のセグメント数をカウントする。
The segment correlation unit 14 measures the correlation value between the segment head screens. As a method of measuring the correlation value, there is a method of measuring the correlation value of the color histogram between the screens, and the invention "a similar image search device and method" described in Japanese Patent Laid-Open No. 08-249467 is used. You can In this method, as shown in FIG. 12, using the first segment as a key image, the correlation between the segment leading screens between the first segment and the second to nth segments is measured, and then the second segment is measured. Correlation measurement between the 3rd to nth segment is performed, and hereinafter,
~ Correlation measurement between the nth segment, ..., Correlation measurement of the (n-1) th segment and the nth segment is performed. And
The number of segments whose correlation value is a predetermined value or more is counted.

【0004】これらセグメント相関情報は、人物画像決
定部15に入力される。人物画像決定部15は、カウン
トされたセグメント数が最も大きいセグメントをアナウ
ンサセグメントと決定する。
The segment correlation information is input to the person image determining section 15. The person image determination unit 15 determines the segment with the largest counted number of segments as the announcer segment.

【0005】[0005]

【発明が解決しようとする課題】上記の従来技術では、
限られた時間の映像に存在する全てのセグメント間の相
関値を測定することは可能である。しかし、長時間の映
像の場合には、セグメント数が膨大になり、全てのセグ
メント間の相関を測定することは非常に困難でかつ大量
の処理時間を要する。
SUMMARY OF THE INVENTION In the above prior art,
It is possible to measure the correlation value between all the segments present in the video for a limited time. However, in the case of a long-time image, the number of segments becomes enormous, and it is very difficult to measure the correlation between all the segments and a large amount of processing time is required.

【0006】本発明の目的は、前記した従来技術の課題
を解消し、入力映像中の人物を効率的に検出する映像の
検索装置および検索プログラムを提供することにある。
また、他の目的は、長時間映像からも、効果的にアナウ
ンサなどの人物を検出できる映像の検索装置および検索
プログラムを提供することにある。
An object of the present invention is to solve the above-mentioned problems of the prior art and to provide a video search device and a search program for efficiently detecting a person in an input video.
Another object of the present invention is to provide a video search device and a search program capable of effectively detecting a person such as an announcer even from a long-time video.

【0007】[0007]

【課題を解決するための手段】前記した目的を達成する
ために、本発明は、映像データを入力する手段と、該映
像データからセグメントを分割する手段と、該分割され
たセグメント内の動き情報を抽出する手段と、該分割さ
れたセグメント内の特定色分布を検出する手投と、該動
き情報と該特定色分布から人物画像を判定する手段とを
具備した映像の検索装置を提供し、前記映像データから
人物検出を行うようにした点、または前記の各手段を、
コンピュータで機能させるようにした点に第1の特徴が
ある。
In order to achieve the above-mentioned object, the present invention provides means for inputting video data, means for dividing a segment from the video data, and motion information in the divided segment. And a means for extracting a specific color distribution in the divided segment, a means for determining a human image from the motion information and the specific color distribution, and a video search device, The point for detecting a person from the video data, or each of the above means,
The first feature is that it is made to function on a computer.

【0008】この特徴によれば、映像中のアナウンサな
どの人物を効率的に検出することが可能になり、また、
長時間映像からも効果的に検出することができるように
なる。
According to this feature, it becomes possible to efficiently detect a person such as an announcer in a video, and
It becomes possible to effectively detect even from a long time image.

【0009】また、本発明は、前記映像の検索装置に、
さらに、セグメント長測定処理、テロップ検出処理、小
領域色変化測定処理をそれぞれ追加するようにした点
に、第2、第3、第4の特徴がある。該第2の特徴によ
れば、映像中からの人物検出を高速化でき、また該第
3,第4の特徴によれば、映像中からの人物検出精度を
向上することができる。
The present invention also provides a video search device as described above.
Further, there are second, third and fourth characteristics in that a segment length measuring process, a telop detecting process and a small area color change measuring process are added respectively. According to the second feature, it is possible to speed up the person detection from the image, and according to the third and fourth features, it is possible to improve the accuracy of person detection from the image.

【0010】さらに、本発明は、特定の時間内の映像を
記録する手段と、該記録された映像を映像データとし、
前記映像の検索装置のいずれかを用いて検出された人物
画像間の相関を測定する手段と、該相関の測定結果を用
いて特定の人物画像群を選択する手段とを具備した点に
第5の特徴がある。この特徴によれば、比較的短い特定
時間の蓄積映像データから、短時間にかつ高精度で、人
物画像の検出を行えるようになる。
Further, according to the present invention, means for recording an image within a specific time, and the recorded image as image data,
A fifth aspect is that it is provided with a unit for measuring a correlation between human images detected by using one of the video retrieval devices and a unit for selecting a specific human image group using the measurement result of the correlation. There is a feature of. According to this feature, it is possible to detect a human image in a short time and with high accuracy from accumulated video data of a relatively short specific time.

【0011】[0011]

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図1は、本発明の一実施形態の構成
を示すブロック図である。
BEST MODE FOR CARRYING OUT THE INVENTION The present invention will be described in detail below with reference to the drawings. FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention.

【0012】図1において、蓄積装置11には、長時間
の映像、例えばユーザが不在中に記録した1日あるいは
半日のテレビ映像(映像データ)が蓄積されているとす
る。映像入力部12は、制御部10からの制御によりニ
ュース映像などを含む映像データを蓄積装置11から順
次取り出してセグメント検出部13に入力させる。
In FIG. 1, it is assumed that the storage device 11 stores long-time images, for example, one-day or half-day television images (image data) recorded while the user is absent. Under the control of the control unit 10, the video input unit 12 sequentially takes out video data including a news video or the like from the storage device 11 and causes the segment detection unit 13 to input the video data.

【0013】セグメント検出部13は、入力映像のシー
ンの切り替えを検出する。セグメント切り替えとしては
ビデオシーンの切り替わりを示すショット切替やオーデ
ィオシーンの切り替わりを用いることができる。前者に
ついては、本出願人による発明である「動画像のカット
画面検出方法」(特開平10−224741号公報)な
どを利用することができる。また、後者については、本
出願人による発明である「オーディオ情報分類装置」
(特開平10−247093号公報)等を利用すること
ができる。
The segment detector 13 detects the switching of the scene of the input video. Shot switching or audio scene switching, which indicates video scene switching, can be used as the segment switching. For the former, the invention of the applicant of the present invention, such as "a moving image cut screen detection method" (Japanese Patent Laid-Open No. 10-224741), can be used. Regarding the latter, an “audio information classification device”, which is an invention of the present applicant.
(Japanese Patent Laid-Open No. 10-247093) or the like can be used.

【0014】例えば、無音から有音に切り替わった時刻
や無音を含む非音声から音声に切り替わった時刻を検出
することができる。また、ビデオのカット点とオーディ
オのシーン切り替えを組み合わせても良い。例えば、ビ
デオカット点後に検出されたオーディオシーン切り替わ
り点をセグメント切り替わり点としてもよい。セグメン
ト検出部13で検出されたセグメント切り替わり点の時
刻と映像データは動き抽出部17に入力され、各セグメ
ントの動き情報が抽出される。
For example, it is possible to detect the time at which the voice is switched from silence to voice, or the time at which voice is switched from non-voice containing silence. Also, video cut points and audio scene switching may be combined. For example, the audio scene switching point detected after the video cut point may be set as the segment switching point. The time of the segment switching point and the video data detected by the segment detection unit 13 are input to the motion extraction unit 17, and the motion information of each segment is extracted.

【0015】動き情報としては、セグメント先頭画面と
次の画面の画面間差分値を用いることができる。画面間
差分値としては、たとえば輝度値の画面間絶対差分和を
用いることができる。また、セグメント内の特定の連続
する画面間や特定の画面間の差分値を用いてもよい。
As the motion information, it is possible to use the difference value between the screens of the segment top screen and the next screen. As the inter-screen difference value, for example, an inter-screen absolute difference sum of brightness values can be used. Further, a difference value between specific continuous screens in a segment or a specific screen may be used.

【0016】動き情報抽出の変形例としては、ある特定
の2画面における画面間差分値のほかに、セグメント内
の画面間差分値の平均や偏差を用いることができる。こ
の場合、ある特定の画面間差分値が小さい場合に、セグ
メント内の画面間差分値の平均や偏差を求めてセグメン
ト内の動き情報とすることができる。さらに画面間差分
値としては、画面内全体の画面間差分値を用いるほかに
画面内の特定の領域の画面間差分値を用いることもでき
る。たとえば、画面を縦3分割、横3分割し、そのうち
のある領域のみを用いて画面間差分を測定することも可
能である。
As a modification of the motion information extraction, an average or deviation of inter-screen difference values in a segment can be used in addition to the inter-screen difference value in a specific two screens. In this case, when a specific inter-screen difference value is small, the average or deviation of the inter-screen difference values in the segment can be obtained and used as the motion information in the segment. Further, as the inter-screen difference value, in addition to the inter-screen difference value of the entire screen, the inter-screen difference value of a specific area in the screen can be used. For example, it is also possible to divide the screen into three parts vertically and three parts horizontally and measure the difference between the screens by using only a certain area of them.

【0017】これらの動き情報は特定色分布検出部18
に入力される。特定色分布検出部18ではセグメント内
の特定色分布を検出する。特定色分布の検出方法として
は、特定色分布画像とセグメント内の特定の画像との相
関値を測定して検出することができる。たとえば、セグ
メント先頭画像と特定色分布画像を比較して相関値を求
め、相関値の高い場合に特定色分布が存在するものと判
定することができる。相関値の測定の仕方としては、画
面の色成分のヒストグラムを生成し、画面間のヒストグ
ラムを比較して測定することができる。ヒストグラムの
比較方法としては、画面間ヒストグラム絶対差分和を用
いることができる。またこの変形例として、色成分の画
面間絶対差分和を用いることも可能である。
The movement information is used as the specific color distribution detection unit 18
Entered in. The specific color distribution detection unit 18 detects the specific color distribution in the segment. As a method of detecting the specific color distribution, the correlation value between the specific color distribution image and the specific image in the segment can be measured and detected. For example, it is possible to determine the correlation value by comparing the segment head image and the specific color distribution image, and determine that the specific color distribution exists when the correlation value is high. As a method of measuring the correlation value, it is possible to generate a histogram of color components of the screen and compare the histograms between the screens for measurement. As a histogram comparison method, the sum of absolute differences between screen histograms can be used. As a modification, it is also possible to use the sum of absolute differences between screens of color components.

【0018】これらの相関測定は、測定位置を限定する
ことにより検出精度を向上させることができる。たとえ
ば、ニュース番組におけるアナウンサは上半身だけが画
面に現れるため、顔の高さは中央より上に現れる。この
ため、特定色分布画像と入力画像を比較する場合、入力
画像の特定位置で比較することによって、人物の検出精
度と検出速度を向上させることができる。
In these correlation measurements, detection accuracy can be improved by limiting the measurement position. For example, in an announcer in a news program, only the upper half of the body appears on the screen, so the height of the face appears above the center. For this reason, when comparing the specific color distribution image and the input image, it is possible to improve the detection accuracy and the detection speed of the person by comparing at the specific position of the input image.

【0019】さらに、入力画像のいくつかの位置の中
で、特定色分布画像と最も相関が高くなる位置における
相関値を用いることにより、人物画像検出精度をさらに
向上させることができる。たとえば、特定色分布画像を
特定位置を中心として上下左右に移動した位置で、入力
画像と相関値測定を行うことができる。特定位置の中心
は、いくつかのTVニュースで出現するアナウンサセグ
メントの顔の肌色部分の中心または重心の位置の平均値
を用いることができる。また、移動させる領域について
は、前述した複数の顔領域の中心または重心位置の標準
備差などを用いたり、一定の画素数を元に窓領域を設定
して移動させることも可能である。
Furthermore, by using the correlation value at the position where the correlation with the specific color distribution image is highest among the several positions of the input image, it is possible to further improve the human image detection accuracy. For example, the correlation value can be measured with the input image at a position where the specific color distribution image is moved vertically and horizontally around the specific position. As the center of the specific position, the center value of the center of the skin-colored part of the face of the announcer segment appearing in some TV news or the position of the center of gravity can be used. As for the area to be moved, it is also possible to use the standard deviation of the center or the center of gravity of the plurality of face areas described above, or to set and move the window area based on a certain number of pixels.

【0020】なお、特定色分布画像としては、複数の人
物の顔の色分布を平均したものを利用することができ
る。あるいは、特定の顔画像を色分布画像として用いる
ことも可能である。
As the specific color distribution image, an average of the color distributions of the faces of a plurality of persons can be used. Alternatively, a specific face image can be used as the color distribution image.

【0021】これらの画像として、入力画像を実倍した
ものを用いることも可能であるが、縮小画像を用いるこ
とも可能である。縮小画像ではデータ数が少なくなるた
め、処理速度を向上させることが可能になる。縮小画像
の取得の仕方としては、画素データを周期的に間引く方
法などを用いることが可能である。また、DCTやウェ
ーブレット(Wavelet)などの周波数変換を行い、低周
波成分のみを抽出することにより容易に縮小画像を生成
することが可能である。
As these images, it is also possible to use those obtained by actually multiplying the input image, but it is also possible to use reduced images. Since the number of data in the reduced image is small, the processing speed can be improved. As a method of acquiring the reduced image, it is possible to use a method of periodically thinning out pixel data. Further, it is possible to easily generate a reduced image by performing frequency conversion such as DCT or wavelet and extracting only low frequency components.

【0022】また、MPEGなどの圧縮された動画像の
場合、縮小画像は低周波画像を用いて高速に取得するこ
とができる。たとえば、本出願人による発明「動画像の
カット点画像検出装置」(特開平9−83864号公
報)では、MPEGデータからDC成分のみを取得して
各画面の縮小画像を生成している。DC成分の抽出はM
PEGデータの部分復号で得ることが可能なため、圧縮
画像から高速な画像検索を行うことが可能となる。
In the case of a compressed moving image such as MPEG, a reduced image can be acquired at high speed by using a low frequency image. For example, in the invention “a cut point image detecting device for moving images” (Japanese Patent Laid-Open No. 9-83864) by the applicant, only a DC component is acquired from MPEG data to generate a reduced image on each screen. DC component extraction is M
Since it can be obtained by partial decoding of PEG data, it is possible to perform a high-speed image search from a compressed image.

【0023】さらに、高速化を行うために特定の画面の
みを用いることも可能である。たとえばMPEGでは画
面内符号化画像(I−ピクチャ)が0.5秒から1秒間
隔で挿入されているため、画面内符号化画像のみを用い
ることも可能である。この画面は前後の画面と独立して
符号化されているため、この画面の情報のみを用いて容
易に縮小画像を生成することが可能である。
Further, it is also possible to use only a specific screen for speeding up. For example, in MPEG, since the intra-picture coded image (I-picture) is inserted at intervals of 0.5 seconds to 1 second, it is possible to use only the intra-picture coded image. Since this screen is encoded independently of the preceding and subsequent screens, it is possible to easily generate a reduced image using only the information on this screen.

【0024】また、画面間符号化画像を用いる場合、該
画面間符号化画像を、画面内符号化画像の低周波成分を
用いて生成した縮小画像と、画面間符号化画像で得られ
る動き情報を用いて縮小された縮小画像間とから生成す
ることが可能である。この場合、縮小画像サイズに合わ
せて動きベクトルサイズを変換し、変換した動きベクト
ルを用いて縮小された画面内符号化画像に対して動き補
償予測を行って、縮小画像上で画面間符号化画像の予測
画像を生成する。さらに、画面間符号化画像データとし
て得られる予測誤差情報からDC成分を抽出し、このD
C成分を先の予測画像と加えることによって、画面間符
号化画像の縮小画像を得ることができる。
When an inter-coded image is used, the inter-coded image is a reduced image generated by using the low-frequency component of the intra-coded image, and motion information obtained by the inter-coded image. Can be generated from between the reduced images that have been reduced using. In this case, the motion vector size is converted according to the reduced image size, motion compensated prediction is performed on the reduced intra-coded image using the transformed motion vector, and the inter-coded image is displayed on the reduced image. Generate a predicted image of. Further, the DC component is extracted from the prediction error information obtained as the inter-screen encoded image data, and this D component is
By adding the C component to the preceding predicted image, a reduced image of the inter-coded image can be obtained.

【0025】前記特定色分布検出部18で得られた特定
色分布情報は前記動き情報と共に、人物画像決定部15
に入力される。人物画像決定部15では、セグメント内
の動きが小さくかつ特定色分布がセグメント内に存在す
るセグメントを、人物画像が存在するセグメントと決定
する。セグメント内の動きは、前述した特定の2画面の
画面間差分が閾値よりも小さい場合に、動きが小さいと
判定することができる。また、特定色分布画像との相関
が閾値以上の入力画像が存在する場合に、セグメント内
に特定色分布画像が存在すると決定することができる。
The specific color distribution information obtained by the specific color distribution detecting section 18 is combined with the motion information together with the person image determining section 15
Entered in. The person image determination unit 15 determines a segment in which movement in the segment is small and a specific color distribution exists in the segment as a segment in which the person image exists. The motion within a segment can be determined to be small when the above-described difference between the two specific screens is smaller than a threshold value. Further, when there is an input image whose correlation with the specific color distribution image is equal to or more than a threshold value, it can be determined that the specific color distribution image exists in the segment.

【0026】図2は、第1の実施形態の動作の一例を示
すフローチャートである。この実施形態では、ステップ
S1で蓄積装置11から映像が入力される。ステップS
2では、入力された映像はセグメント検出され、ステッ
プS3に進んで、セグメント内の動き情報が抽出され
る。ステップS4では、該動き情報からセグメント内の
動き量が求められ、該動き量がある閾値Th1より小さ
い場合のみ、ステップS5に進んで特定色分布検出を行
う。該動き量が該閾値Th1以上の場合にはステップS
5に進むことなくステップS1に戻り、次の映像が入力
される。
FIG. 2 is a flow chart showing an example of the operation of the first embodiment. In this embodiment, an image is input from the storage device 11 in step S1. Step S
In 2, the segment of the input video is detected, and the process proceeds to step S3 to extract the motion information in the segment. In step S4, the motion amount in the segment is obtained from the motion information, and only when the motion amount is smaller than a certain threshold Th1, the process proceeds to step S5 and the specific color distribution detection is performed. If the amount of movement is greater than or equal to the threshold Th1, step S
The process returns to step S1 without proceeding to step 5, and the next image is input.

【0027】ステップS5で、特定色分布が検出された
場合は、結果を前記人物画像決定部15に出力して次の
画像を入力させるが。特定色分布が検出されなかった場
合は、ステップS1に戻って次の映像が入力される。
In step S5, if the specific color distribution is detected, the result is output to the person image determining section 15 to input the next image. If the specific color distribution is not detected, the process returns to step S1 and the next image is input.

【0028】以上のように、この実施形態によれば、前
記動き抽出部17と特定色分布検出部18とを設け、セ
グメント内の動きが小さくかつ特定色分布がセグメント
内に存在するセグメントを、人物画像が存在するセグメ
ントと決定するようにしたので、映像中の人物を効率的
に検出することが可能になる。また、前記ステップS4
の処理を設けて、セグメント内の動きが小さい場合のみ
特定色分布を検出する処理を行うようにすると、ステッ
プS4の判断をしない場合に比べて短時間で人物検出処
理を行うことが可能となる。
As described above, according to this embodiment, the motion extraction unit 17 and the specific color distribution detection unit 18 are provided, and the segment in which the motion in the segment is small and the specific color distribution exists in the segment is Since it is determined that the segment includes the person image, it is possible to efficiently detect the person in the video. In addition, the step S4
If the process of (1) is provided and the process of detecting the specific color distribution is performed only when the motion in the segment is small, the person detection process can be performed in a shorter time than when the determination in step S4 is not performed. .

【0029】次に、本発明の第2の実施形態を、図3の
ブロック図を参照して説明する。なお、図3において、
図1と同一または同等物には、同じ符号が付けられてい
る。
Next, a second embodiment of the present invention will be described with reference to the block diagram of FIG. In addition, in FIG.
The same or equivalent parts as those in FIG. 1 are designated by the same reference numerals.

【0030】この実施形態が、前記第1の実施形態と違
う所は、前記セグメント検出部13の後段にセグメント
長測定部19が入っていることである。
The difference of this embodiment from the first embodiment is that a segment length measuring section 19 is provided at the subsequent stage of the segment detecting section 13.

【0031】図4は、本実施形態の概略の動作の一例を
示すフローチャートである。この実施形態では、前記セ
グメント長測定部19でセグメント長を測定し、該セグ
メント長が予め定められた第2の閾値Th2より大きけ
れば(ステップS11が肯定)人物が存在すると仮判定
して、次のステップS3の処理に進む。しかしながら、
該セグメント長が前記第2の閾値Th2以下の場合に
は、映像中に人物が存在しないと判定して、ステップS
1に戻り、次の映像を入力する。
FIG. 4 is a flow chart showing an example of a schematic operation of this embodiment. In this embodiment, the segment length measuring unit 19 measures the segment length, and if the segment length is larger than a predetermined second threshold Th2 (Yes in step S11), it is tentatively determined that there is a person, and Then, the process proceeds to step S3. However,
If the segment length is less than or equal to the second threshold Th2, it is determined that no person is present in the video, and step S
Return to 1 and input the next video.

【0032】この結果、この実施形態は、前記第1実施
形態より、より短時間に人物検出処理を行うことが可能
となる。
As a result, in this embodiment, the person detection process can be performed in a shorter time than in the first embodiment.

【0033】次に、本発明の第3の実施形態を、図5の
ブロック図を参照して説明する。なお、図5において、
図1、図3と同一または同等物には、同じ符号が付けら
れている。
Next, a third embodiment of the present invention will be described with reference to the block diagram of FIG. In addition, in FIG.
The same or equivalent parts as those in FIGS. 1 and 3 are designated by the same reference numerals.

【0034】この実施形態が、前記第2の実施形態と違
う所は、前記特定色分布検出部18の後段にテロップ検
出部20が入っていることである。テロップ検出方法と
しては、本出願人による発明「動画像内のテロップ領域
検出装置」(特願2000−248794号)を用いる
ことができる。
The difference of this embodiment from the second embodiment is that a telop detection section 20 is provided after the specific color distribution detection section 18. As a telop detection method, the invention “telop area detection device in moving image” by the present applicant (Japanese Patent Application No. 2000-248794) can be used.

【0035】図6は、本実施形態の動作の一例を示すフ
ローチャートである。この実施形態では、ステップS1
2を設けて、テロップの有無を人物の検出条件としてい
る。例えば、ニュースの番組では、テロップが出る映像
が多いから、テロップがあれば、映像に人物が存在する
と判定し、テロップがなければ、人物が存在しないと判
定する。この実施形態によれば、人物の有無の判定精度
を向上させることができる。
FIG. 6 is a flow chart showing an example of the operation of this embodiment. In this embodiment, step S1
2 is provided, and the presence or absence of a telop is used as a person detection condition. For example, in a news program, there are many images with a telop, so if there is a telop, it is determined that there is a person in the image, and if there is no telop, it is determined that there is no person. According to this embodiment, the accuracy of determining the presence / absence of a person can be improved.

【0036】次に、本発明の第4の実施形態を、図7の
ブロック図を参照して説明する。この実施形態が、前記
第3の実施形態と違う所は、前記テロップ検出部20の
後段に小領域色変化測定部21が入った点である。小領
域色変化量としては小領域内の輝度成分、色差成分、ま
たは輝度と色差成分の平均や偏差を用いることができ
る。また、小領域については上記特定色分布と関連する
位置における領域を用いることができる。
Next, a fourth embodiment of the present invention will be described with reference to the block diagram of FIG. The difference of this embodiment from the third embodiment is that a small area color change measuring unit 21 is provided at the subsequent stage of the telop detecting unit 20. As the small area color change amount, a luminance component, a color difference component in the small area, or an average or deviation of the luminance and color difference components can be used. As for the small area, an area at a position related to the specific color distribution can be used.

【0037】たとえば、アナウンサ画像では顔領域を特
定色分検出で検出を行い、服装については特定色分布の
下の領域について上記小領域色変化測定を用いて服装領
域と判定することができる。小領域色変化の判定として
は、もし色変化が小さい場合、すなわち色成分の平均や
偏差が小さい場合を判定条件とする。
For example, in the announcer image, the face area can be detected by detecting the specific color, and for the clothing, the area under the specific color distribution can be determined as the clothing area by using the small area color change measurement. In the determination of the small area color change, if the color change is small, that is, if the average or deviation of the color components is small, the determination condition is set.

【0038】図8は、該第4の実施形態の動作の一例を
示すフローチャートである。ステップS13では、小領
域色変化が、予め定められた第3の閾値Th3より小さ
いか否かの判断がなされ、この判断が肯定の場合には映
像中に人物が存在すると判定し、否定の場合には存在し
ないと判断してステップS1に戻る。
FIG. 8 is a flow chart showing an example of the operation of the fourth embodiment. In step S13, it is determined whether or not the small area color change is smaller than a predetermined third threshold Th3. If this determination is affirmative, it is determined that a person is present in the image, and if not, a negative determination is made. If it does not exist, the process returns to step S1.

【0039】この実施形態によれば、人物画像の判定に
小領域色変化の条件を加えたので、該人物画像の判定の
精度を高めることができる。
According to this embodiment, since the condition of the small area color change is added to the judgment of the person image, the accuracy of the judgment of the person image can be improved.

【0040】次に、本発明の第5の実施形態を、図9の
ブロック図を参照して説明する。この実施形態の特徴
は、映像入力部12の前段に特定時間蓄積部31を設け
た点、および人物画像決定部15の後段に、相関測定部
32と人物画像群選択部33を入れた点である。
Next, a fifth embodiment of the present invention will be described with reference to the block diagram of FIG. The feature of this embodiment is that a specific time accumulation unit 31 is provided in the previous stage of the video input unit 12, and that a correlation measurement unit 32 and a human image group selection unit 33 are provided in the subsequent stage of the human image determination unit 15. is there.

【0041】図9において、映像入力部12は、制御部
10からの制御により、特定時間蓄積装置31からニュ
ース映像などの映像データを順次取り出して、セグメン
ト検出部13に入力させる。セグメント検出部13は、
入力映像のシーンの切り替わりを検出する。
In FIG. 9, the video input unit 12 is controlled by the control unit 10 to sequentially fetch video data such as news video from the specific time storage device 31 and input the data to the segment detection unit 13. The segment detector 13
Detects scene changes in the input video.

【0042】特定時間蓄積装置31には、特定時間内の
映像が蓄積されている。特定時間としては、30分単位
や1時間単位などの特定の時間単位を想定することがで
きる。セグメント検出部13で検出されたカット点の時
刻と映像データは動き抽出部17に入力され、各セグメ
ントの動き情報が抽出される。これらの動き情報は特定
色分布検出部18に入力される。特定色分布検出部18
では、セグメント内の特定色分布を検出する。上記動き
情報と特定色分布情報は、人物画像決定部15に入力さ
れる。人物画像決定部15は、セグメント内の動きが小
さくかつ特定色分布がセグメント内に存在するセグメン
トを人物画像が存在するセグメントと決定する。
In the specific time storage device 31, the images within the specific time are stored. As the specific time, a specific time unit such as 30 minutes or 1 hour can be assumed. The time of the cut point detected by the segment detection unit 13 and the video data are input to the motion extraction unit 17, and the motion information of each segment is extracted. These pieces of motion information are input to the specific color distribution detection unit 18. Specific color distribution detector 18
Then, the specific color distribution in the segment is detected. The motion information and the specific color distribution information are input to the person image determination unit 15. The person image determination unit 15 determines a segment in which movement in the segment is small and a specific color distribution is present in the segment as a segment in which the person image is present.

【0043】次に、相関測定部32には、人物画像決定
部15で決定された人物画像セグメントが入力される。
相関測定部32は、セグメントの代表画面としてセグメ
ント先頭画面を用いて、各セグメントとの相関を測定す
る。まず、第1人物画像セグメントと、第2、第3、・・
・、第n人物画像セグメントとの相関を測定する。第2
人物画像セグメントについては、該第2人物画像セグメ
ントと、第3、第4、・・・、第n人物画像セグメントと
の相関を測定する。なお、相関測定としては、画像の色
ヒストグラムを求め、画像間の色ヒストグラム絶対差分
和を用いることが可能である。変形例としては、色ヒス
トグラム相関を用いることも可能である。さらに、セグ
メントの代表画面としては、セグメント長の半分の位置
にある画像を用いることも可能である。また、セグメン
ト内の各画面の色ヒストグラムの平均を求め、この平均
値と各画面の色ヒストグラムとの絶対差分和が最小値と
なる画面を用いることも可能である。
Next, the person image segment determined by the person image determining section 15 is input to the correlation measuring section 32.
The correlation measuring unit 32 measures the correlation with each segment by using the segment head screen as the representative screen of the segment. First, the first person image segment and the second, third, ...
.., measuring the correlation with the nth person image segment. Second
For the person image segment, the correlation between the second person image segment and the third, fourth, ..., Nth person image segment is measured. As the correlation measurement, it is possible to obtain the color histogram of the images and use the sum of the absolute differences of the color histograms between the images. As a modification, it is also possible to use color histogram correlation. Further, as the representative screen of the segment, it is possible to use an image located at a position half the segment length. It is also possible to obtain the average of the color histograms of each screen in the segment and use a screen in which the sum of absolute differences between this average value and the color histogram of each screen is the minimum value.

【0044】また、相関測定の変形例としては、逐次相
関測定画像を更新することも可能である。この場合、た
とえば以下のような更新方法を用いることができる。
Further, as a modified example of the correlation measurement, it is possible to update the sequential correlation measurement image. In this case, for example, the following updating method can be used.

【0045】第1人物画像セグメントと第2人物画像セ
グメントの相関測定は上記のとおり行う。次に、第1人
物画像セグメントと第3人物画像セグメントの相関測定
の場合、第1人物画像を第2人物画像を用いて更新す
る。更新方法としては、第1人物画像と第2人物画像の
特徴量の平均値を用いることが可能である。1例として
は、第1人物画像の色ヒストグラムと第2人物画像の色
ヒストグラムの平均色ヒストグラムを用いることができ
る。次に、第1人物画像セグメントと第4人物画像セグ
メントの相関測定の場合、第1人物画像セグメントは第
2,第3人物画像セグメントを用いて更新したものを用
いる。
The correlation between the first person image segment and the second person image segment is measured as described above. Next, in the case of measuring the correlation between the first person image segment and the third person image segment, the first person image is updated using the second person image. As the updating method, it is possible to use the average value of the feature amounts of the first person image and the second person image. As an example, an average color histogram of the color histogram of the first person image and the color histogram of the second person image can be used. Next, in the case of the correlation measurement of the first human image segment and the fourth human image segment, the first human image segment updated by using the second and third human image segments is used.

【0046】上記相関値は人物画像群選択部33に入力
される。人物画像群選択部33は、相関の高い画像群を
求め、最も大きな画像群を選択する。この場合、まず相
関値がある閾値以上を有する画像群を求める。画像群の
大きさを比べ、最も大きな画像群を有する画像群を人物
画像群として結果出力部16に出力する。
The above correlation value is input to the portrait image group selection unit 33. The person image group selecting unit 33 obtains an image group having a high correlation and selects the largest image group. In this case, first, an image group having a correlation value equal to or larger than a certain threshold value is obtained. The sizes of the image groups are compared, and the image group having the largest image group is output to the result output unit 16 as a person image group.

【0047】この実施形態によれば、1時間、2時間等
の比較的短い特定時間の蓄積映像データからの人物画像
の検出を、短時間にかつ高精度で行えるようになる。
According to this embodiment, it is possible to detect a human image from accumulated video data for a relatively short specific time such as 1 hour or 2 hours in a short time with high accuracy.

【0048】前記した実施形態1〜4についても、上記
実施形態5と同様に、特定時間蓄積装置31を映像入力
部12の前に置いて特定時間内の人物画像の決定を行
い、さらに相関測定部32と人物画像群選択部33を用
いて、人物画像群を決定することも可能である。
Also in the above-described first to fourth embodiments, as in the fifth embodiment, the specific time storage device 31 is placed in front of the video input unit 12 to determine the person image within the specific time, and further the correlation measurement is performed. It is also possible to determine a person image group using the unit 32 and the person image group selection unit 33.

【0049】以上のように、本発明では、セグメント検
出、動き抽出、特定色分布検出、テロップ検出、輝度変
化測定等を行うことにより、長時間録画された映像から
人物画像を効率的に検出することが可能となり、たとえ
ば24時間分録画されたTV映像から、アナウンサが出
現するセグメントをすべて検出することができた。ま
た、それぞれの処理を階層的に行うことにより、処理効
率を高めて高速に検出することができた。
As described above, in the present invention, the human image is efficiently detected from the video recorded for a long time by performing the segment detection, the motion extraction, the specific color distribution detection, the telop detection, the brightness change measurement and the like. It was possible to detect all the segments in which the announcer appeared from the TV video recorded for 24 hours, for example. Moreover, by performing the respective processes hierarchically, it was possible to improve the processing efficiency and detect at high speed.

【0050】前記した各実施形態の処理は、コンピュー
タを用いてソフト的に処理するのが好適である。図11
は、本発明をコンピュータを用いて処理する場合のシス
テム図である。図において、図1と同符号は同一又は同
等物を示す。
The processing of each of the above-described embodiments is preferably processed by software using a computer. Figure 11
FIG. 3 is a system diagram when the present invention is processed using a computer. In the figure, the same reference numerals as in FIG. 1 indicate the same or equivalent parts.

【0051】まず、蓄積装置11に蓄積された映像デー
タは、映像入力装置12により、RAMやキャッシュメ
モリ等の高速で書き込みおよび読み出しのできる映像蓄
積メモリ43に読み込まれる。ROM等の不揮発性のメ
モリで構成されたメインメモリ42には、中央処理装置
(CPU)41に指令を出す制御プログラムや、本発明
の実行に必要なプログラム、例えば、セグメント検出プ
ログラム、動き抽出プログラム、特定色分布検出プログ
ラムが記憶されている。また、必要に応じて、さらに、
セグメント長測定プログラム、テロップ検出プログラ
ム、小領域色変化測定プログラム等が記憶されている。
First, the video data stored in the storage device 11 is read by the video input device 12 into a video storage memory 43 such as a RAM or a cache memory that can be written and read at high speed. The main memory 42 composed of a non-volatile memory such as a ROM has a control program for issuing a command to the central processing unit (CPU) 41 and a program necessary for executing the present invention, such as a segment detection program and a motion extraction program. A specific color distribution detection program is stored. Also, if necessary,
A segment length measurement program, a telop detection program, a small area color change measurement program, etc. are stored.

【0052】そこで、中央処理装置41は、メインメモ
リ42からのセグメント検出プログラムに従って映像か
らセグメント検出を行い、次いで動き抽出プログラムに
従って動き情報が抽出される。次に、図2に示されてい
るように、該動き情報である動き量がある閾値Th1よ
り小さいか否かの判断処理がされ、小さい場合には、前
記特定色分布検出プログラムに従って特定色分布の検出
が行われる。次に、中央処理装置41は、セグメント内
の動きが小さくかつ特定色分布がセグメント内に存在す
るセグメントを、人物画像が存在するセグメントと決定
し、その結果を出力装置44に出力する。
Therefore, the central processing unit 41 performs segment detection from the video according to the segment detection program from the main memory 42, and then the motion information is extracted according to the motion extraction program. Next, as shown in FIG. 2, it is determined whether or not the motion amount, which is the motion information, is smaller than a certain threshold Th1, and if it is smaller, the specific color distribution is detected according to the specific color distribution detection program. Is detected. Next, the central processing unit 41 determines the segment in which the movement in the segment is small and the specific color distribution exists in the segment as the segment in which the human image exists, and outputs the result to the output device 44.

【0053】また、中央処理装置41は、必要に応じ
て、さらに、前記セグメント長測定プログラム、テロッ
プ検出プログラム、小領域色変化測定プログラム等の実
行によって得られた、セグメント長、テロップ検出、小
領域色変化などを人物検索の条件に加味することができ
る。これにより、前記した第1、第2,第3、第4およ
び第5の実施形態をコンピュータを用いて実行すること
ができるようになる。
Further, the central processing unit 41 further executes the segment length measuring program, the telop detecting program, the small area color change measuring program and the like, if necessary, to obtain the segment length, the telop detecting and the small area. It is possible to add a color change and the like to the person search condition. As a result, the above-described first, second, third, fourth and fifth embodiments can be executed using a computer.

【0054】[0054]

【発明の効果】以上の説明から明らかなように、請求項
1〜22の発明によれば、セグメント検出部の後段に動
き抽出部と特定色分布検出部とを設け、セグメント内の
動きが小さくかつ特定色分布がセグメント内に存在する
セグメントを、人物画像が存在するセグメントと決定す
るようにしたので、映像中の人物を効率的に検出するこ
とが可能になる。また、長時間映像からも、効果的にア
ナウンサなどの人物を検出することができるようにな
る。
As is apparent from the above description, according to the inventions of claims 1 to 22, the motion extracting section and the specific color distribution detecting section are provided in the subsequent stage of the segment detecting section so that the motion in the segment is small. In addition, since the segment in which the specific color distribution exists within the segment is determined as the segment in which the human image exists, the person in the video can be efficiently detected. In addition, a person such as an announcer can be effectively detected from a long-time video.

【0055】請求項2の発明によれば、セグメント長測
定部をさらに設け、セグメント長が所定長より短けれ
ば、映像中に人物が存在しないと判定して次の映像を入
力するようにしたので、より短時間に人物検出処理を行
うことが可能となる。
According to the second aspect of the present invention, the segment length measuring unit is further provided, and if the segment length is shorter than the predetermined length, it is determined that there is no person in the image and the next image is input. The person detection process can be performed in a shorter time.

【0056】請求項3の発明によれば、テロップ検出部
をさらに設け、テロップがあれば映像に人物が存在する
と判定し、テロップがなければ人物が存在しないと判定
するようにしたので、人物の有無の判定精度を向上させ
ることができる。
According to the third aspect of the present invention, a telop detection unit is further provided, and if there is a telop, it is determined that there is a person in the video. If there is no telop, it is determined that there is no person. The accuracy of the presence / absence determination can be improved.

【0057】請求項4の発明によれば、小領域色変化測
定部をさらに設け、小領域色変化が、所定値より小さい
場合には映像中に人物が存在すると判定し、大きい場合
には存在しないと判断するようにしたので、人物画像の
判定の精度を高めることができる。
According to the invention of claim 4, a small area color change measuring section is further provided, and when the small area color change is smaller than a predetermined value, it is determined that a person is present in the image, and when the small area color change is large, it is present. Since it is determined not to do so, the accuracy of the determination of the human image can be improved.

【0058】さらに、請求項16の発明によれば、比較
的短い特定時間の蓄積映像データからの人物画像の検出
を、短時間にかつ高精度で行えるようになる。
Further, according to the sixteenth aspect of the present invention, it becomes possible to detect a human image from accumulated video data for a relatively short specific time in a short time and with high accuracy.

【図面の簡単な説明】[Brief description of drawings]

【図1】 本発明の第1実施形態の構成を示すブロック
図である。
FIG. 1 is a block diagram showing a configuration of a first exemplary embodiment of the present invention.

【図2】 第1実施形態の動作を説明するフローチャー
トである。
FIG. 2 is a flowchart illustrating the operation of the first embodiment.

【図3】 本発明の第2実施形態の構成を示すブロック
図である。
FIG. 3 is a block diagram showing a configuration of a second exemplary embodiment of the present invention.

【図4】 第2実施形態の動作を説明するフローチャー
トである。
FIG. 4 is a flowchart illustrating the operation of the second embodiment.

【図5】 本発明の第3実施形態の構成を示すブロック
図である。
FIG. 5 is a block diagram showing a configuration of a third exemplary embodiment of the present invention.

【図6】 第3実施形態の動作を説明するフローチャー
トである。
FIG. 6 is a flowchart illustrating the operation of the third embodiment.

【図7】 本発明の第4実施形態の構成を示すブロック
図である。
FIG. 7 is a block diagram showing a configuration of a fourth exemplary embodiment of the present invention.

【図8】 第4実施形態の動作を説明するフローチャー
トである。
FIG. 8 is a flowchart illustrating an operation of the fourth embodiment.

【図9】 本発明の第5実施形態の構成を示すブロック
図である。
FIG. 9 is a block diagram showing a configuration of a fifth exemplary embodiment of the present invention.

【図10】 従来装置の構成を示すブロック図である。FIG. 10 is a block diagram showing a configuration of a conventional device.

【図11】 本発明をコンピュータを用いて実施する場
合のシステム構成を示すブロック図である。
FIG. 11 is a block diagram showing a system configuration when the present invention is carried out using a computer.

【図12】 従来の類似セグメント測定方法の説明図で
ある。
FIG. 12 is an explanatory diagram of a conventional similar segment measuring method.

【符号の説明】[Explanation of symbols]

10・・・制御部、11・・・蓄積装置、12・・・映像入力
部、13・・・セグメント検出部、15・・・人物画像決定
部、16・・・結果出力部、17・・・動き抽出部、18・・・
特定色分布検出部、19・・・セグメント長測定部、20・
・・テロップ検出部、21・・・小領域色変化測定部、31・
・・特定時間蓄積装置、32・・・相関測定部、33・・・人物
画像群選択部。
10 ... Control unit, 11 ... Storage device, 12 ... Image input unit, 13 ... Segment detection unit, 15 ... Portrait image determination unit, 16 ... Result output unit, 17 ...・ Motion extractor, 18 ...
Specific color distribution detection unit, 19 ... Segment length measurement unit, 20 ...
..Telop detection unit, 21 ... Small area color change measurement unit, 31.
.. Specific time storage device, 32 ... Correlation measurement unit, 33 ... Person image group selection unit

フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/20 G06T 7/20 A 5L096 H04N 5/91 H04N 5/91 N 9/79 9/79 K (72)発明者 柳原 広昌 埼玉県上福岡市大原二丁目1番15号 株式 会社ケイディーディーアイ研究所内 Fターム(参考) 5B057 AA20 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD05 CG02 DA08 DB02 DB06 DB09 DC25 5B075 ND12 NK06 NK39 5C052 AA01 AB02 AC08 CC01 DD04 5C053 FA14 GB19 GB21 HA29 5C055 CA16 EA00 FA21 5L096 AA02 AA06 BA18 FA15 GA08 GA38 HA03 Front page continuation (51) Int.Cl. 7 Identification code FI theme code (reference) G06T 7/20 G06T 7/20 A 5L096 H04N 5/91 H04N 5/91 N 9/79 9/79 K (72) Invention Person Hiromasa Yanagihara 2-15-1 Ohara, Kamifukuoka City, Saitama Prefecture F-term (reference) in CDI Research Institute, Inc. 5B057 AA20 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CD05 CG02 DA08 DB02 DB06 DB09 DC25 5B075 ND12 NK06 NK39 5C05 AA01 AB02 AC08 CC01 DD04 5C053 FA14 GB19 GB21 HA29 5C055 CA16 EA00 FA21 5L096 AA02 AA06 BA18 FA15 GA08 GA38 HA03

Claims (24)

【特許請求の範囲】[Claims] 【請求項1】 映像データを入力する手段と、 該映像データからセグメントを分割する手段と、 該分割されたセグメント内の動き情報を抽出する手段
と、 該分割されたセグメント内の特定色分布を検出する手投
と、 該動き情報と該特定色分布から人物画像を判定する手段
とを具備し、 前記映像データから人物検出を行うことを特徴とする映
像の検索装置。
1. A means for inputting video data, a means for dividing a segment from the video data, a means for extracting motion information in the divided segment, and a specific color distribution in the divided segment. An image retrieval apparatus comprising: a hand throw for detecting; and a means for determining a person image from the motion information and the specific color distribution, and performing person detection from the image data.
【請求項2】 映像データを入力する手段と、 該映像データからセグメントを分割する手段と、 該分割されたセグメントのセグメント長を測定する手投
と、 該分割されたセグメント内の動き情報を抽出する手殴
と、 該分割されたセグメント内の特定色分布を検出する手投
と、 該セグメント長、該動き情報、および該特定色分布から
人物画像を判定する手殴とを具備し、 前記映像データから人物検出を行うことを特徴とする映
像の検索装置。
2. A means for inputting video data, a means for dividing a segment from the video data, a manual pitch for measuring a segment length of the divided segment, and extraction of motion information in the divided segment. And a hand stroke for detecting a specific color distribution in the divided segment, and a hand stroke for determining a human image from the segment length, the motion information, and the specific color distribution. A video search device characterized by detecting a person from data.
【請求項3】 映像データを入力する手段と、 該映像データからセグメントを分割する手段と、 該分割されたセグメント内のセグメント長を測定する手
段と、 該分割されたセグメント内の動き情報を抽出する手段
と、 該分割されたセグメント内の特定色分布を検出する手段
と、 該分割されたセグメント内のテロップ検出を行う手段
と、 該セグメント長、該動き情報、該特定色分布、および該
テロップ検出結果から人物画像を判定する手段とを具備
し、 前記映像データから人物検出を行うことを特徴とする映
像の検索装置。
3. A means for inputting video data, a means for dividing a segment from the video data, a means for measuring a segment length in the divided segment, and an extraction of motion information in the divided segment. Means, a means for detecting a specific color distribution in the divided segment, a means for detecting a telop in the divided segment, the segment length, the motion information, the specific color distribution, and the telop A device for determining a person image from a detection result, wherein a person is detected from the image data.
【請求項4】 映像データを入力する手段と、 映像データからセグメントを分割する手段と、 該分割されたセグメントのセグメント長を測定する手段
と、 該分割されたセグメント内の動き情報を抽出する手殴
と、 該分割されたセグメント内の特定色分布を検出する手段
と、 該分割されたセグメント内のテロップ検出を行う手段
と、 該分割されたセグメント内の小領域色変化を測定する手
段と、 該セグメント長、該動き情報、該特定色分布、該テロッ
プ検出結果、および小領域色変化から人物画像を判定す
る手段とを具備し、 前記映像データから人物検出を行うことを特徴とする映
像の検索装置。
4. A means for inputting video data, a means for dividing a segment from the video data, a means for measuring a segment length of the divided segment, and a means for extracting motion information in the divided segment. A beat, a means for detecting a specific color distribution in the divided segment, a means for detecting a telop in the divided segment, a means for measuring a small area color change in the divided segment, Means for determining a person image from the segment length, the motion information, the specific color distribution, the telop detection result, and a small area color change, and performing person detection from the image data. Search device.
【請求項5】 請求項1ないし4のいずれかに記載の映
像の検索装置において、 前記動き情報から得られる動き量が小さい場合に前記特
定色分布を検出することを特徴とする映像の検索装置。
5. The video search device according to claim 1, wherein the specific color distribution is detected when a motion amount obtained from the motion information is small. .
【請求項6】 請求項2ないし4のいずれかに記載の映
像の検索装置において、 前記セグメント長が大きい場合のみ動き情報を抽出し、
前記動き情報から得られる動き量が小さい場合に前記特
定色分布を検出することを特徴とする映像の検索装置。
6. The video search device according to claim 2, wherein motion information is extracted only when the segment length is large,
A video search device, wherein the specific color distribution is detected when the amount of motion obtained from the motion information is small.
【請求項7】 請求項3または4に記載の映像の検索装
置において、 前記セグメント長が大きい場合のみ該動き情報を抽出
し、前記動き情報から得られる動き量が小さい場合に該
特定色分布の検出を行い、前記特定色分布が検出された
場合のみ該テロップ検出を行うことを特徴とする映像の
検索装置。
7. The video search apparatus according to claim 3, wherein the motion information is extracted only when the segment length is large, and the specific color distribution of the specific color distribution is calculated when the motion amount obtained from the motion information is small. A video search device, wherein the telop is detected only when the specific color distribution is detected.
【請求項8】 請求項4に記載の映像の検索装置におい
て、 前記セグメント長が大きい場合のみ前記動き情報を抽出
し、前記動き情報から得られる動き量が小さい場合に前
記特定色分布の抽出を行い、前記特定色分布が検出され
た場合のみ前記テロップ検出を行い、該テロップが検出
された場合のみ該小領域色変化を測定することを特徴と
する映像の検索装置。
8. The video search device according to claim 4, wherein the motion information is extracted only when the segment length is large, and the specific color distribution is extracted when the motion amount obtained from the motion information is small. A video search device, wherein the telop detection is performed only when the specific color distribution is detected, and the small area color change is measured only when the telop is detected.
【請求項9】 請求項1ないし8のいずれかに記載の映
像の検索装置において、 前記映像データからセグメントを分割する手段は、該セ
グメントの切り替わり点として映像のカット点またはオ
ーディオシーンの切り替わり点を用いることを特徴とす
る映像の検索装置。
9. The video search device according to claim 1, wherein the means for dividing a segment from the video data uses a video cut point or an audio scene switch point as the segment switching point. A video search device characterized by being used.
【請求項10】 請求項9に記載の映像の検索装置にお
いて、 前記オーディオシーンの切り替わり点として、無音と有
音の切り替わり点または無音を含む非音声と音声との切
り替わり点を用いることを特徴とする映像の検索装置。
10. The video search device according to claim 9, wherein a switching point between silence and voice or a switching point between non-voice and voice including silence is used as the switching point of the audio scene. Video search device.
【請求項11】 請求項1ないし8のいずれかに記載の
映像の検索装置において、 前記セグメント内の動き情報として、セグメント内の特
定の2画面のフレーム間差分値、セグメント内のフレー
ム間差分値のセグメント内統計量、および画面内の特定
の部分領域のみの動き情報の少なくとも一つを用いるこ
とを特徴とする映像の検索装置。
11. The video search device according to claim 1, wherein the motion information in the segment is a difference value between frames of two specific screens in the segment, and a difference value between frames in the segment. And a motion information of only a specific partial area in the screen.
【請求項12】 請求項11に記載の映像の検索装置に
おいて、 前記セグメント内のフレーム間差分値のセグメント内統
計量は、セグメント内の特定の2画面のフレーム間差分
値が小さい場合に測定されることを特徴とする映像の検
索装置。
12. The video search device according to claim 11, wherein the intra-segment statistic of the inter-frame difference value in the segment is measured when the inter-frame difference value of specific two screens in the segment is small. An image retrieval device characterized by the following.
【請求項13】 請求項1ないし12のいずれかに記載
の映像の検索装置において、 前記特定色分布の検出は、特定色分布画像と入力画像の
相関値、または顔領域の色成分平均値を用いて行うこと
を特徴とする映像の検索装置。
13. The video search device according to claim 1, wherein the specific color distribution is detected by using a correlation value between the specific color distribution image and the input image or a color component average value of a face area. A video search device characterized by being used.
【請求項14】 請求項13に記載の映像の検索装置に
おいて、 前記相関値は、色成分ヒストグラム絶対差分和または色
成分絶対差分和を用いることを特徴とする映像の検索装
置。
14. The video search device according to claim 13, wherein the correlation value uses a color component histogram absolute difference sum or a color component absolute difference sum.
【請求項15】 請求項13または14に記載の映像の
検索装置において、 前記相関値として、特定色分布画像と特定位置における
入力画像の相関値または入力画像の特定位置およびその
周辺における相関値を用いることを特徴とする映像の検
索装置。
15. The video search device according to claim 13 or 14, wherein as the correlation value, a correlation value between a specific color distribution image and an input image at a specific position or a correlation value at a specific position of the input image and its periphery. A video search device characterized by being used.
【請求項16】 請求項1ないし4のいずれかに記載の
映像の検索装置において、 前記分割されたセグメント内の特定色分布を検出する手
段の入力画像として、 周波数変換された画像データの低周波成分を用いて構成
される画像データ、または圧縮された画像データを一部
復号して得られる画像データの低周波成分を用いて構成
される画像データを用いることを特徴とする映像の検索
装置。
16. The video search device according to claim 1, wherein a low frequency of frequency-converted image data is used as an input image of a unit that detects a specific color distribution in the divided segment. A video search device characterized by using image data configured by using components, or image data configured by using low-frequency components of image data obtained by partially decoding compressed image data.
【請求項17】 請求項16に記載の映像の検索装置に
おいて、 前記画像データとして、縮小画像データを用いることを
特徴とする映像の検索装置。
17. The video search device according to claim 16, wherein reduced image data is used as the image data.
【請求項18】 特定の時間内の映像を記録する手段
と、 該記録された映像を映像データとし、前記請求項1ない
し17の映像の検索装置のいずれかを用いて検出された
人物画像間の相関を測定する手段と、 該相関の測定結果を用いて特定の人物画像群を選択する
手段とを具備したことを特徴とする映像の検索装置。
18. A means for recording a video image within a specific time period, and an interpersonal image detected by using any one of the video image retrieval devices according to any one of claims 1 to 17 as video data. An apparatus for retrieving video, comprising: a means for measuring the correlation of the above, and a means for selecting a specific person image group using the measurement result of the correlation.
【請求項19】 請求項18に記載の映像の検索装置に
おいて、 前記人物画像間の相関は、色成分ヒストグラム間絶対差
分和を用いて求めることを特徴とする映像の検索装置。
19. The video search device according to claim 18, wherein the correlation between the human images is obtained using a sum of absolute differences between color component histograms.
【請求項20】 請求項18または19に記載の映像の
検索装置において、 前記人物画像間の相関は、セグメント先頭画像の相関、
またはセグメント中心画像の相関を用いることを特徴と
する映像の検索装置。
20. The video search device according to claim 18, wherein the correlation between the person images is a correlation between segment head images,
Alternatively, a video search device characterized by using the correlation of segment center images.
【請求項21】 請求項20に記載の映像の検索装置に
おいて、 前記セグメント中心画像は、セグメント長の半分の位置
にある画像、またはセグメント内色ヒストグラム平均に
最も近い画像を用いることを特徴とする映像の検索装
置。
21. The video search device according to claim 20, wherein the segment center image is an image at a position of half the segment length or an image closest to the average of the color histogram in the segment. Video search device.
【請求項22】 請求項18ないし21のいずれかに記
された映像の検索装置において、 前記人物画像間の相関を測定する手段は、以前の人物画
像の特徴量を平均化したものを利用することを特徴とす
る映像の検索装置。
22. The video search device according to claim 18, wherein the means for measuring the correlation between the human images uses an average of the feature amounts of the previous human images. An image retrieval device characterized by the above.
【請求項23】 映像から人物検出を行うためにコンピ
ュータを、 映像データを入力する手段、 該映像データからセグメントを分割する手段、 該分割されたセグメント内の動き情報を抽出する手段、 該分割されたセグメント内の特定色分布を検出する手
段、および、 該動き情報と該特定色分布から人物画像を判定する手段
として機能させるための映像の検索プログラム。
23. A computer for detecting a person from an image, means for inputting image data, means for dividing a segment from the image data, means for extracting motion information in the divided segment, And a video search program for functioning as means for detecting a specific color distribution in a segment and means for determining a human image from the motion information and the specific color distribution.
【請求項24】 請求項23に記された映像の検索プロ
グラムにおいて、 前記コンピュータを、さらに、セグメント長を測定する
手投、セグメント内のテロップ検出を行う手段、および
セグメント内の小領域色変化を測定する手段の少なくと
も一つの手段として機能させるための映像の検索プログ
ラム。
24. The video search program according to claim 23, wherein the computer further comprises a manual throw for measuring a segment length, a means for detecting a telop in the segment, and a small area color change in the segment. A video search program that functions as at least one means for measuring.
JP2002065913A 2002-03-11 2002-03-11 Video search device and search program Expired - Fee Related JP4036321B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002065913A JP4036321B2 (en) 2002-03-11 2002-03-11 Video search device and search program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002065913A JP4036321B2 (en) 2002-03-11 2002-03-11 Video search device and search program

Publications (2)

Publication Number Publication Date
JP2003264757A true JP2003264757A (en) 2003-09-19
JP4036321B2 JP4036321B2 (en) 2008-01-23

Family

ID=29197984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002065913A Expired - Fee Related JP4036321B2 (en) 2002-03-11 2002-03-11 Video search device and search program

Country Status (1)

Country Link
JP (1) JP4036321B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251885A (en) * 2005-03-08 2006-09-21 Kddi Corp Device for classifying and device for log generating sports video
WO2007114241A1 (en) * 2006-03-29 2007-10-11 Pioneer Corporation Video image processing device
US7305128B2 (en) 2005-05-27 2007-12-04 Mavs Lab, Inc. Anchor person detection for television news segmentation based on audiovisual features
JP2008172318A (en) * 2007-01-09 2008-07-24 Noritsu Koki Co Ltd Image processor
US8170269B2 (en) 2006-03-07 2012-05-01 Sony Corporation Image processing apparatus, image processing method, and program
US9020259B2 (en) 2009-07-20 2015-04-28 Thomson Licensing Method for detecting and adapting video processing for far-view scenes in sports video

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251885A (en) * 2005-03-08 2006-09-21 Kddi Corp Device for classifying and device for log generating sports video
JP4577774B2 (en) * 2005-03-08 2010-11-10 Kddi株式会社 Sports video classification device and log generation device
US7305128B2 (en) 2005-05-27 2007-12-04 Mavs Lab, Inc. Anchor person detection for television news segmentation based on audiovisual features
US8170269B2 (en) 2006-03-07 2012-05-01 Sony Corporation Image processing apparatus, image processing method, and program
WO2007114241A1 (en) * 2006-03-29 2007-10-11 Pioneer Corporation Video image processing device
JP2008172318A (en) * 2007-01-09 2008-07-24 Noritsu Koki Co Ltd Image processor
US9020259B2 (en) 2009-07-20 2015-04-28 Thomson Licensing Method for detecting and adapting video processing for far-view scenes in sports video

Also Published As

Publication number Publication date
JP4036321B2 (en) 2008-01-23

Similar Documents

Publication Publication Date Title
JP4559935B2 (en) Image storage apparatus and method
US20080260255A1 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
JP4645707B2 (en) Content data processing device
US20100302453A1 (en) Detection of gradual transitions in video sequences
US8681239B2 (en) Image capturing device, image capturing method, program, and integrated circuit
JPH1066087A (en) Method for detecting change point of scene and method for editing and displaying moving image
JP2005243035A (en) Apparatus and method for determining anchor shot
JPWO2006025272A1 (en) Video classification device, video classification program, video search device, and video search program
JP2006092559A (en) Method of representing at least one image and image group, representations of image or image group, method of comparing image and/or image group, method of encoding image or image group, method of decoding image or image sequence, use of encoded data, apparatus of representing image or image group, apparatus of comparing image and/or image group, computer program, system and computer readable storage medium
JP2011108262A (en) Method for representing at least one image and image group, method for comparing image and/or image group, method for encoding image or image group, method for decoding image or image sequence, usage of encoded data, device, computer program, system, and computer readable storage medium
JP2003087772A (en) Image controller
CN116363554A (en) Method, system, medium, equipment and terminal for extracting key frames of surveillance video
JP2003264757A (en) Retrieval device and retrieval program for video image
KR100963701B1 (en) Video identification device
JP2978039B2 (en) Video cut screen detection method
WO1999051022A1 (en) Method of selecting key-frames from a video sequence
Lee et al. Real-time camera motion classification for content-based indexing and retrieval using templates
Fernando et al. Fade-in and fade-out detection in video sequences using histograms
CN116233479A (en) Live broadcast information content auditing system and method based on data processing
CN106951831B (en) Pedestrian detection tracking method based on depth camera
JP2000030033A (en) Person detecting method
JP6266088B2 (en) Person detection device and person detection method
JPH10224741A (en) Cut point detection method for moving image
JP5111269B2 (en) Image processing apparatus and image processing method
AbouGhazaleh et al. Compressed video indexing based on object motion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071025

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131109

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees