JP2005101906A - Moving image recording device, moving image recording method, and program - Google Patents

Moving image recording device, moving image recording method, and program Download PDF

Info

Publication number
JP2005101906A
JP2005101906A JP2003333052A JP2003333052A JP2005101906A JP 2005101906 A JP2005101906 A JP 2005101906A JP 2003333052 A JP2003333052 A JP 2003333052A JP 2003333052 A JP2003333052 A JP 2003333052A JP 2005101906 A JP2005101906 A JP 2005101906A
Authority
JP
Japan
Prior art keywords
person
scene
moving image
configuration
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003333052A
Other languages
Japanese (ja)
Other versions
JP4230870B2 (en
Inventor
Yukinori Noguchi
幸典 野口
Shuji Ono
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003333052A priority Critical patent/JP4230870B2/en
Publication of JP2005101906A publication Critical patent/JP2005101906A/en
Application granted granted Critical
Publication of JP4230870B2 publication Critical patent/JP4230870B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a moving image recording device by which a moving image photographing a person is retrieved and reproduced in accordance with a constitution of the person. <P>SOLUTION: The moving image recording device photographing the person by an installed camera 12 installed to a building is provided with a discrimination part 14 for discriminating a plurality of persons appearing in the moving image photographed by the installed camera 12 respectively; an index imparting part 16 for dividing a scene of the moving image when the constitution of the person appearing in the moving image is changed, and for imparting an index showing the constitution of the person to each of the scenes, and a recording and reproducing part 18 for recording the moving image and for retrieving and reproducing the scene by making the constitution of the person as a key. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、建築物に設置した設置カメラで人物を撮影する動画記録装置、動画記録方法、及びプログラムに関する。特に本発明は、設置カメラで撮影した動画を複数のシーンに分割してインデックスを付与し、当該インデックスに基づいてシーンを検索する動画記録装置、動画記録方法、及びプログラムに関する。   The present invention relates to a moving image recording apparatus, a moving image recording method, and a program for photographing a person with an installation camera installed in a building. In particular, the present invention relates to a moving image recording apparatus, a moving image recording method, and a program that divide a moving image captured by an installation camera into a plurality of scenes, assign an index, and search for a scene based on the index.

従来、公共の場所や建物の出入り口などに設置され、人物を撮影するカメラシステムは、連続して映像を記録することにより映像データが膨大になり、後で所望の画像を探し出すことが困難であるという課題があった。検索性を改善した動画像の蓄積方法として、例えば動画像を画像の変化率に応じて複数のシーンに分割し、シーン毎の代表的な顔画像をインデックスとして付与する技術がある（例えば、特許文献１参照。）。
特開平１０―２３４００４号公報 2. Description of the Related Art Conventionally, camera systems that are installed at public places, entrances and entrances of buildings, and take pictures of people have a huge amount of video data by continuously recording video, and it is difficult to find a desired image later. There was a problem. As a moving image accumulation method with improved searchability, for example, there is a technique in which a moving image is divided into a plurality of scenes according to the rate of change of the image, and a representative face image for each scene is assigned as an index (for example, patents) Reference 1).
Japanese Patent Laid-Open No. 10-234004

しかしながら、カメラの撮影範囲において複数の人物が連続的に出入りする場合、画像が大きく変化し続けるので、動画像を適切な長さのシーンに分割することができないという課題があった。   However, when a plurality of people continuously enter and exit the shooting range of the camera, the image continues to change greatly, and thus there is a problem that the moving image cannot be divided into scenes of an appropriate length.

そこで本発明は、上記の課題を解決することができる動画記録装置、動画記録方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   Accordingly, an object of the present invention is to provide a moving image recording apparatus, a moving image recording method, and a program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

本発明の第１の形態によると、建築物に設置した設置カメラで人物を撮影する動画記録装置は、設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別する識別部と、動画に映っている人物の構成が変化した場合に、動画のシーンを分割すると共に、人物の構成を示すインデックスをシーンのそれぞれに付与するインデックス付与部と、動画を記録し、人物の構成をキーとして、シーンを検索して再生する記録再生部とを備える。   According to the first aspect of the present invention, the moving picture recording apparatus for photographing a person with an installation camera installed in a building includes an identification unit that identifies each of a plurality of persons appearing in a movie taken with the installation camera, and a moving picture. When the composition of the person being shown changes, the scene of the video is divided, and an index assigning unit that assigns an index indicating the composition of the person to each of the scenes, the video is recorded, and the composition of the person is used as a key. And a recording / reproducing unit for retrieving and reproducing a scene.

インデックス付与部は、シーンにおける人物の構成が所定の時間以上一定であったことを条件に、当該シーンにインデックスを付与してもよい。   The index assigning unit may assign an index to the scene on condition that the configuration of the person in the scene is constant for a predetermined time or more.

インデックス付与部は、シーンにおける人物の顔画像のうちで、当該人物の特徴を最もよく表す顔画像をインデックスとして付与してもよい。   The index assigning unit may assign, as an index, a face image that best represents the characteristics of the person among the face images of the person in the scene.

記録再生部は、指定された人物をキーとしてシーンを検索し、指定された人物と同一のシーンに映っている他の人物を出力してもよい。   The recording / playback unit may search for a scene using a designated person as a key, and output another person appearing in the same scene as the designated person.

記録再生部は、識別部によって識別された人物が、動画にフレームインした時刻とフレームアウトした時刻とを、当該人物毎に記録してもよい。   The recording / reproducing unit may record, for each person, the time when the person identified by the identifying unit is framed in and out of the moving image.

本発明の第２の形態によれば、建築物に設置した設置カメラで人物を撮影する動画記録方法は、コンピュータが、設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別するステップと、動画に映っている人物の構成が変化した場合に、動画のシーンを分割すると共に、人物の構成を示すインデックスをシーンのそれぞれに付与するステップと、動画を記録し、人物の構成をキーとして、シーンを検索して再生するステップとを備える。   According to the second aspect of the present invention, in the moving image recording method for photographing a person with an installation camera installed in a building, the computer identifies each of a plurality of persons appearing in the movie taken with the installation camera; When the composition of a person in the video changes, the step of dividing the video scene and assigning an index indicating the configuration of the person to each scene, recording the video, and using the configuration of the person as a key And a step of searching and reproducing the scene.

本発明の第３の形態によれば、建築物に設置した設置カメラで人物を撮影する動画記録装置用のプログラムは、設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別する識別機能と、動画に映っている人物の構成が変化した場合に、動画のシーンを分割すると共に、人物の構成を示すインデックスをシーンのそれぞれに付与するインデックス付与機能と、動画を記録し、人物の構成をキーとして、シーンを検索して再生する記録再生機能とを動画記録装置に実現させる。   According to the third aspect of the present invention, a program for a moving picture recording apparatus for photographing a person with an installation camera installed in a building has an identification function for identifying each of a plurality of persons appearing in a movie taken with the installation camera. When the composition of a person in the video changes, the video scene is divided, and an indexing function for assigning an index indicating the configuration of the person to each of the scenes, and the video is recorded, and the configuration of the person Using the as a key, the moving image recording apparatus realizes a recording / reproducing function for searching and reproducing a scene.

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。   Note that the above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

本発明によれば、人物を撮影した動画像を、人物の構成に応じて検索して再生することができる。   According to the present invention, it is possible to search and reproduce a moving image obtained by photographing a person according to the structure of the person.

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all combinations of features described in the embodiments are inventions. It is not always essential to the solution.

図１は、本発明の一実施形態に係る動画記録装置１０の機能構成の一例を示す。動画記録装置１０は、人物を撮影した動画像を人物の構成に応じてシーン分割し、人物の構成に応じてシーンを検索して再生することを目的とする。   FIG. 1 shows an example of the functional configuration of a moving picture recording apparatus 10 according to an embodiment of the present invention. An object of the moving image recording apparatus 10 is to divide a scene of a moving image obtained by photographing a person according to the configuration of the person, and to search and reproduce the scene according to the configuration of the person.

動画記録装置１０は、建築物に設置した設置カメラ１２と、設置カメラ１２で撮影した動画に映っている複数の人物をそれぞれ識別する識別部１４と、動画に映っている人物の構成が変化した場合に、動画を複数のシーンに分割すると共に、人物の構成を示すインデックスをシーンのそれぞれに付与するインデックス付与部１６と、動画を記録し、人物の構成をキーとして、シーンを検索して再生する記録再生部１８とを備える。   In the moving image recording apparatus 10, the configuration of the installation camera 12 installed in the building, the identification unit 14 that identifies each of the plurality of persons shown in the video taken by the installation camera 12, and the configuration of the person shown in the video have changed. In this case, the video is divided into a plurality of scenes, and an index assigning unit 16 that assigns an index indicating the configuration of the person to each of the scenes, and the video is recorded, and the scene is searched and played using the configuration of the person as a key. And a recording / reproducing unit 18.

動画記録装置１０はさらに、設置カメラ１２が撮影した人物が、過去に撮影した人物と同一であるか否かを判断するために、撮影した人物の顔画像をマッチング画像として登録するマッチング画像格納部２０を更に備える。識別部１４は、動画中の人物の顔画像でマッチング画像を検索し、一致するマッチング画像がある場合には、当該一致したマッチング画像に付与されている人物識別コードを、動画中の人物に付与する。一致するマッチング画像がない場合には、当該人物の識別コードを新たに採番し、当該新たな識別コードに対応付けて、動画から切り出した顔画像をマッチング画像として登録する。   The moving image recording apparatus 10 further includes a matching image storage unit that registers a face image of the photographed person as a matching image in order to determine whether the person photographed by the installation camera 12 is the same as the person photographed in the past. 20 is further provided. The identification unit 14 searches for a matching image with a face image of a person in the moving image, and if there is a matching image matching, the identification unit 14 assigns the person identification code assigned to the matching image to the person in the moving image. To do. If there is no matching image that matches, the person's identification code is newly assigned, and the face image cut out from the moving image is registered as a matching image in association with the new identification code.

記録媒体６０は、上述の識別部１４、インデックス付与部１６、記録再生部１８、及びマッチング画像格納部２０の機能を動画記録装置１０に実現させるプログラムを格納する。動画記録装置１０は、そのようなプログラムをネットワーク経由でインストールして実行してもよい。   The recording medium 60 stores a program that causes the moving image recording apparatus 10 to realize the functions of the identification unit 14, the index adding unit 16, the recording / reproducing unit 18, and the matching image storage unit 20. The moving picture recording apparatus 10 may install and execute such a program via a network.

以上の構成によれば、動画記録装置１０は、人物を撮影した動画に含まれるシーンを、人物の構成に応じて検索して再生することができる。   According to the above configuration, the moving image recording apparatus 10 can search and reproduce a scene included in a moving image obtained by shooting a person according to the configuration of the person.

図２は、インデックス付与部１６が人物構成の変化に応じて動画を分割した例を示す。図中、（Ａ）、（Ｂ）、及び（Ｃ）は、人物構成の変化に応じてこの順番で分割されたシーン００１、シーン００２、及びシーン００３である。各シーンの画像上部には、シーンの撮影時刻が表示されている。また、画像右側には、シーン番号と、シーン毎の人物構成を示すインデックスと、当該インデックスに対応付けられた構成人物のフレームイン時刻とが表示される。   FIG. 2 shows an example in which the index assigning unit 16 divides the moving image according to the change in the person configuration. In the figure, (A), (B), and (C) are a scene 001, a scene 002, and a scene 003 that are divided in this order according to the change in the person configuration. The shooting time of the scene is displayed above the image of each scene. Also, on the right side of the image, the scene number, an index indicating the person configuration for each scene, and the frame-in time of the constituent person associated with the index are displayed.

図２（Ａ）において、画像には３人の人物が写っている。識別部１４は、それぞれの人物の顔の輪郭、髪型、服装、及び身長等の情報を画像から読み取り、人物の男／女、大人／子供を判断する。そして、それぞれの顔画像でマッチング画像を検索し、一致するマッチング画像があれば、当該マッチング画像に対応付けられている人物識別コードを画像中の人物に付与する。ここで、当該３人は、いずれも設置カメラ１２に初めて映るものとする。この場合、識別部１４は、マッチング画像格納部２０に、画像中の人物と一致するマッチング画像がないと判断し、新規の人物認識コードを採番し、画像中の人物に付与する。   In FIG. 2A, the image shows three persons. The identification unit 14 reads information such as the face outline, hairstyle, clothes, and height of each person from the image, and determines the person's man / woman and adult / child. Then, a matching image is searched for each face image, and if there is a matching matching image, a person identification code associated with the matching image is assigned to the person in the image. Here, it is assumed that the three persons are shown on the installation camera 12 for the first time. In this case, the identification unit 14 determines that there is no matching image that matches the person in the image in the matching image storage unit 20, assigns a new person recognition code, and assigns it to the person in the image.

識別部１４は、画像中の３人の人物のそれぞれに、例えば「Ａｄ♂００１」、「Ａｄ♀００１」「Ｃｈ♂００１」という人物識別コードを付与する。なお、人物識別コード中、「Ａｄ」は「大人（Ａｄｕｌｔ）」を、「Ｃｈ」は「子供（Ｃｈｉｌｄ）」を、「♂」は「男性」を、「♀」は「女性」をそれぞれ示す。また、下３桁は、男／女、大人／子供の区別が同じ人物における連番である。インデックス付与部１６は、当該人物識別コードのそれぞれを、当該シーンのインデックスとして記録する。   The identification unit 14 assigns, for example, person identification codes “AdＡ001”, “Ad♀001”, and “Ch♂001” to each of the three persons in the image. In the person identification code, “Ad” indicates “adult”, “Ch” indicates “child”, “♂” indicates “male”, and “♀” indicates “female”. . The last three digits are serial numbers for the same person / man and adult / child. The index assigning unit 16 records each person identification code as an index of the scene.

インデックス付与部１６は、同一の人物構成が一定時間以上、例えば１０秒以上続いた場合に限って、当該人物構成を示すインデックスをシーンに付与してもよい。これにより、画像中の人物の構成が頻繁に変化する場合に、インデックスの数が急激に増加することを防止することができる。   The index assigning unit 16 may assign an index indicating the person configuration to the scene only when the same person configuration continues for a certain time or longer, for example, 10 seconds or longer. Thereby, when the composition of the person in the image frequently changes, it is possible to prevent the number of indexes from rapidly increasing.

インデックス付与部１６はさらに、シーンにおける人物の顔画像のうちで、当該人物の特徴を最もよく表す顔画像をインデックスとして付与する。例えば、インデックス付与部１６は、人物がフレームインした直後に当該人物の顔画像を取り込み、フレームアウトするまでに、当該人物のより特徴的な顔画像が映った場合、当該より特徴的な顔画像でインデックスを更新する。なお、人物の特徴を良く表す顔画像を判断するには、公知の顔認証技術を用いればよい。例えば、より正面を向いている画像を取得するために、両目の間隔が広い画像ほど優先的に取得する。また、両目が大きく開いている画像ほど優先的に取得してもよい。   The index assigning unit 16 further assigns, as an index, a face image that best represents the feature of the person among the face images of the person in the scene. For example, the index assigning unit 16 takes in a face image of the person immediately after the person enters the frame, and if a more characteristic face image of the person appears before the frame is out, the more characteristic face image is displayed. Update the index with. It should be noted that a known face authentication technique may be used to determine a face image that well represents a person's characteristics. For example, in order to acquire an image that faces more front, an image with a wider interval between both eyes is preferentially acquired. Alternatively, an image with both eyes wide open may be preferentially acquired.

このように、インデックス付与部１６は、分割されたシーンの中で人物の特徴を最もよく表す顔画像をインデックスとして付与する。したがって、記録再生部１８は、人物の顔画像に基づいてシーンを検索する場合に、同一人物を別人物と誤認識する可能性が低い、すなわち動画記録装置１０は、人物の顔画像に基づく検索の精度が高い。   As described above, the index assigning unit 16 assigns the face image that best represents the feature of the person in the divided scene as an index. Therefore, when the recording / reproducing unit 18 searches for a scene based on a person's face image, the recording / reproducing unit 18 is less likely to misrecognize the same person as another person. High accuracy.

なお、顔画像インデックスの更新は、同一シーンの範囲内で行われ、前後のシーンには影響しないことが望ましい。これにより、シーン毎の人物の表情に特徴が有る場合に、当該特徴を示す顔画像をシーンのインデックスとして付与することができる。   It is desirable that the face image index is updated within the same scene and does not affect the preceding and succeeding scenes. Thereby, when there is a feature in the facial expression of the person for each scene, a face image showing the feature can be given as an index of the scene.

シーン００２は、シーン００１における人物「Ａｄ♂００１」がフレームアウトしたときの映像を示す。インデックス付与部１６は、シーン００１における人物「Ａｄ♂００１」のフレームアウトを検出して動画のシーンを分割し、分割後のシーンにシーン００２を付与する。そして、シーン００２の人物構成（Ａｄ♀００１、Ｃｈ♂００１）が所定の時間以上一定であった場合に、シーン００２の構成人物を示すインデックスとして「Ａｄ♀００１」及び「Ｃｈ♂００１」を付与する。なお、シーン００２において、人物「Ａｄ♀００１」及び「Ｃｈ♂００１」は、直前のシーン００１から連続して映像に映っているので、顔画像インデックス及びフレームイン時刻をそれぞれ、直前のシーン００１から引き継ぐ。   A scene 002 shows an image when the person “Ad♂001” in the scene 001 is out of frame. The index assigning unit 16 detects the frame-out of the person “Ad♂001” in the scene 001, divides the moving image scene, and assigns the scene 002 to the divided scene. Then, when the person configuration (Ad シ ー ン 001, Ch♀001) of the scene 002 is constant for a predetermined time or longer, “Ad♀001” and “Ch♂001” are assigned as indexes indicating the constituent members of the scene 002. To do. In the scene 002, since the characters “AdＡ001” and “Ch♂001” are continuously displayed in the video from the immediately preceding scene 001, the face image index and the frame-in time are respectively changed from the immediately preceding scene 001. take over.

シーン００３は、人物「Ａｄ♂００１」が再度フレームインした映像を示す。インデックス付与部１６は、人物の構成の変化を検出してシーンを分割し、分割後のシーンにシーン００３を付与する。一方、識別部１４は、フレームインした人物の顔画像をマッチング画像と照合することにより、当該人物が過去に識別した人物「Ａｄ♂００１」であると判断する。そして、人物構成が所定の時間以上一定であった場合に、当該フレームインした人物を示すインデックス「Ａｄ♂００１」を追加する。また、記録再生部１８は、人物「ＡＡ♂００１」の新たなフレームイン時刻を記録する。   A scene 003 shows an image in which the person “Ad♂001” is framed in again. The index assigning unit 16 detects a change in the composition of the person, divides the scene, and assigns the scene 003 to the divided scene. On the other hand, the identification unit 14 determines that the person is the person “Ad♂001” identified in the past by comparing the face image of the person who has entered the frame with the matching image. When the person configuration is constant for a predetermined time or longer, an index “Ad「 001 ”indicating the person who has entered the frame is added. Further, the recording / reproducing unit 18 records the new frame-in time of the person “AA♂001”.

記録再生部１８は、以上の様に記録されたシーンを、人物構成を示すインデックスをキーとして検索して再生する。さらに記録再生部１８は、特定の人物と一緒に映っていた人物を出力してもよい。すなわち、インデックスの一例である人物識別コードをキーとしてシーンを検索し、検出されたシーンに対応付けられている他の人物識別コード及び顔画像を出力する。   The recording / reproducing unit 18 retrieves and reproduces the scene recorded as described above using an index indicating a person configuration as a key. Further, the recording / reproducing unit 18 may output a person shown together with a specific person. That is, a scene is searched using a person identification code as an example of an index as a key, and another person identification code and a face image associated with the detected scene are output.

例えば、人物「Ｃｈ♂００１」が入力されると、「Ｃｈ♂００１」を検索キーとして、少なくともシーン００１、シーン００２、及びシーン００３を読み出し、当該シーンに対応付けられている「Ｃｈ♂００１」以外の人物識別コード、すなわち「Ａｄ♂００１」及び「Ａｄ♀００１」と、それぞれの顔画像とを出力する。このようにして、動画記録装置１０は、指定された人物と一緒に行動している人物を検索して出力することができる。他の実施例としては、識別部１４は、動画中の人物の男／女、及び大人／子供を区別することなく、人物毎に００１、００２等の番号を付与してもよい。   For example, when a person “Ch♂001” is input, at least scene 001, scene 002, and scene 003 are read using “Ch と し て 001” as a search key, and “Ch♂001” associated with the scene is read. Person identification codes other than those, that is, “Ad♂001” and “Ad♀001”, and the respective face images are output. In this way, the moving picture recording apparatus 10 can search for and output a person who is acting with the designated person. As another example, the identification unit 14 may assign a number such as 001, 002 or the like to each person without distinguishing between the male / female and the adult / child of the person in the moving image.

図３は、人物構成に応じて分割されたシーンが、記録再生部１８において時系列的に記録された図である。インデックス付与部１６は、動画データを人物構成の変化に応じて複数のシーンに分割し、シーン毎の人物構成が所定の時間以上一定であった場合に、人物構成を示すインデックスを当該シーンに付与する。例えば、図中のシーン１０４、１０７、１０８、及び１０９は、人物構成が所定の間以上一定でないので、インデックス付与部１６は当該シーンにインデックスを付与しない。また、記録再生部１８は、人物のフレームイン及びフレームアウトの時刻を、人物識別コードに対応付けて記録している。このような記録フォーマットによれば、記録再生部１８は、動画のシーンを人物の構成に応じて検索し、再生することができる。   FIG. 3 is a diagram in which scenes divided according to the person configuration are recorded in time series in the recording / playback unit 18. The index assigning unit 16 divides the moving image data into a plurality of scenes according to changes in the person composition, and assigns an index indicating the person composition to the scene when the person composition for each scene is constant for a predetermined time or more. To do. For example, in the scenes 104, 107, 108, and 109 in the figure, the person composition is not constant for a predetermined period or more, so the index assigning unit 16 does not assign an index to the scene. The recording / playback unit 18 records the person's frame-in and frame-out times in association with the person identification code. According to such a recording format, the recording / reproducing unit 18 can search and reproduce a moving image scene according to the configuration of a person.

図４は、マッチング画像格納部２０のデータフォーマットの一例である。マッチング画像格納部２０は、人物識別コードに対応付けて、マッチング画像の一例である顔画像を例えば最大で５つ記録する。マッチング画像格納部２０は、顔画像を一定期間毎に１枚ずつ更新してもよい。例えば、最大で５つの顔画像を１ヶ月に一枚ずつ更新することによって、例えば５ヶ月前までの顔画像を記録することができる。またはマッチング画像格納部２０は、マッチング画像の例である顔画像を顔の向き毎に格納してもよい。   FIG. 4 is an example of the data format of the matching image storage unit 20. The matching image storage unit 20 records, for example, a maximum of five face images, which are examples of matching images, in association with the person identification code. The matching image storage unit 20 may update the face images one by one at regular intervals. For example, by updating a maximum of five face images one by one every month, for example, face images up to five months ago can be recorded. Or the matching image storage part 20 may store the face image which is an example of a matching image for every direction of a face.

したがって、識別部１４は、マッチング画像格納部２０に格納されたマッチング画像に基づいて、動画に映っている人物を高い精度で識別することができる。   Therefore, the identification unit 14 can identify the person appearing in the moving image with high accuracy based on the matching image stored in the matching image storage unit 20.

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

動画記録装置１０の機能構成の一例を示すブロック図である。3 is a block diagram illustrating an example of a functional configuration of the moving image recording apparatus 10. FIG. 人物構成の変化に応じて動画を分割した例を示す。The example which divided | segmented the moving image according to the change of a person structure is shown. 人物構成に応じて分割されたシーンが、記録再生部１８において時系列的に記録された図である。FIG. 4 is a diagram in which scenes divided according to a person configuration are recorded in time series in the recording / reproducing unit 18. マッチング画像格納部２０のデータフォーマットの一例である。It is an example of the data format of the matching image storage part 20. FIG.

符号の説明Explanation of symbols

１０ 動画記録装置、１２ 設置カメラ、１４ 識別部、１６ インデックス付与部、１８ 記録再生部、２０ マッチング画像格納部 DESCRIPTION OF SYMBOLS 10 Movie recording device, 12 Installation camera, 14 Identification part, 16 Index provision part, 18 Recording / reproducing part, 20 Matching image storage part

Claims (7)

建築物に設置した設置カメラで人物を撮影する動画記録装置であって、
前記設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別する識別部と、
前記動画に映っている人物の構成が変化した場合に、前記動画のシーンを分割すると共に、前記人物の構成を示すインデックスを前記シーンのそれぞれに付与するインデックス付与部と
前記動画を記録し、前記人物の構成をキーとして、前記シーンを検索して再生する記録再生部と
を備える動画記録装置。 A video recording device for photographing a person with an installation camera installed in a building,
An identification unit for identifying each of a plurality of persons shown in the video shot by the installation camera;
When the configuration of a person shown in the video changes, the scene of the video is divided, and an index adding unit that adds an index indicating the configuration of the person to each of the scenes, and the video is recorded, A moving image recording apparatus comprising: a recording / reproducing unit that retrieves and reproduces the scene using a person configuration as a key. 前記インデックス付与部は、前記シーンにおける前記人物の構成が所定の時間以上一定であったことを条件に、当該シーンに前記インデックスを付与する、請求項１に記載の動画記録装置。   The moving image recording apparatus according to claim 1, wherein the index assigning unit assigns the index to the scene on condition that the configuration of the person in the scene is constant for a predetermined time or more. 前記インデックス付与部は、シーンにおける人物の顔画像のうちで、当該人物の特徴を最もよく表す顔画像を前記インデックスとして付与する、請求項１に記載の動画記録装置。   The moving image recording apparatus according to claim 1, wherein the index assigning unit assigns, as the index, a face image that best represents the characteristics of the person among the face images of the person in the scene. 前記記録再生部は、指定された人物をキーとして前記シーンを検索し、前記指定された人物と同一のシーンに映っている他の人物を出力する、請求項１に記載の動画記録装置。   The moving image recording apparatus according to claim 1, wherein the recording / reproducing unit searches the scene using a designated person as a key, and outputs another person appearing in the same scene as the designated person. 前記記録再生部は、前記識別部によって識別された前記人物が、前記動画にフレームインした時刻とフレームアウトした時刻とを、当該人物毎に記録する、請求項１に記載の動画記録装置。   The moving image recording apparatus according to claim 1, wherein the recording / reproducing unit records the time when the person identified by the identifying unit frames in and out the moving image for each person. 建築物に設置した設置カメラで人物を撮影する動画記録方法であって、コンピュータが、
前記設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別するステップと、
前記動画に映っている人物の構成が変化した場合に、前記動画のシーンを分割すると共に、前記人物の構成を示すインデックスを前記シーンのそれぞれに付与するステップと
前記動画を記録し、前記人物の構成をキーとして、前記シーンを検索して再生するステップと
を備える動画記録方法。 A video recording method for photographing a person with an installation camera installed in a building, wherein a computer
Identifying each of a plurality of persons appearing in a video shot by the installation camera;
When the configuration of a person shown in the video changes, the scene of the video is divided, and an index indicating the configuration of the person is assigned to each of the scenes, and the video is recorded, And a step of searching and playing back the scene using the configuration as a key. 建築物に設置した設置カメラで人物を撮影する動画記録装置用のプログラムであって、
前記設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別する識別機能と、
前記動画に映っている人物の構成が変化した場合に、前記動画のシーンを分割すると共に、前記人物の構成を示すインデックスを前記シーンのそれぞれに付与するインデックス付与機能と、
前記動画を記録し、前記人物の構成をキーとして、前記シーンを検索して再生する記録再生機能と
を前記動画記録装置に実現させるプログラム。 A program for a video recording device that shoots a person with an installation camera installed in a building,
An identification function for identifying each of a plurality of persons shown in the video shot by the installation camera;
An indexing function for dividing the scene of the moving image and assigning an index indicating the configuration of the person to each of the scenes when the configuration of the person shown in the moving image is changed;
A program for causing the moving image recording apparatus to realize a recording / reproducing function for recording the moving image and searching and reproducing the scene using the configuration of the person as a key.
JP2003333052A 2003-09-25 2003-09-25 Movie recording apparatus, movie recording method, and program Expired - Fee Related JP4230870B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003333052A JP4230870B2 (en) 2003-09-25 2003-09-25 Movie recording apparatus, movie recording method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003333052A JP4230870B2 (en) 2003-09-25 2003-09-25 Movie recording apparatus, movie recording method, and program

Publications (2)

Publication Number Publication Date
JP2005101906A true JP2005101906A (en) 2005-04-14
JP4230870B2 JP4230870B2 (en) 2009-02-25

Family

ID=34461177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003333052A Expired - Fee Related JP4230870B2 (en) 2003-09-25 2003-09-25 Movie recording apparatus, movie recording method, and program

Country Status (1)

Country Link
JP (1) JP4230870B2 (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006117968A1 (en) * 2005-04-27 2006-11-09 Fujifilm Corporation Image capturing apparatus, image capturing method, and program
JP2006343791A (en) * 2005-06-07 2006-12-21 Hitachi Ltd Face image database preparation method
JP2007052626A (en) * 2005-08-18 2007-03-01 Matsushita Electric Ind Co Ltd Metadata input device and content processor
JP2007174026A (en) * 2005-12-20 2007-07-05 Sony Corp Image collection system, electronic equipment, image transmission method, program, and recording medium
JP2007520010A (en) * 2004-02-02 2007-07-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Continuous face recognition using online learning
JP2007249588A (en) * 2006-03-15 2007-09-27 Omron Corp Face image registration device, method, program, and storage medium
WO2008035688A1 (en) * 2006-09-19 2008-03-27 Sony Corporation Recording device and method, program, and reproducing device and method
JP2008228134A (en) * 2007-03-15 2008-09-25 Sony Corp Image processor, imaging apparatus, image display control method and computer program
JP2008278466A (en) * 2007-03-30 2008-11-13 Sanyo Electric Co Ltd Image processing apparatus and imaging apparatus mounting the same, and image processing method
WO2008136466A1 (en) * 2007-05-01 2008-11-13 Dep Co., Ltd. Dynamic image editing device
JP2008283486A (en) * 2007-05-10 2008-11-20 Sony Corp Information processor, information processing method, and program
JP2009033351A (en) * 2007-07-25 2009-02-12 Canon Inc Recording and reproducing device and method
JP2009245314A (en) * 2008-03-31 2009-10-22 Kddi Corp Identification system of time-series data, and apparatus of giving personal meta information to moving image
JP2010109592A (en) * 2008-10-29 2010-05-13 Canon Inc Information processing apparatus and control method for the same
JP2010118868A (en) * 2008-11-12 2010-05-27 Canon Inc Information processor and control method thereof
JP2010154134A (en) * 2008-12-24 2010-07-08 Toshiba Corp Video monitoring system
JP2010171705A (en) * 2009-01-22 2010-08-05 Hitachi Kokusai Electric Inc Device and program for searching monitored video image
JP2010257509A (en) * 2009-04-22 2010-11-11 Toshiba Corp Authoring apparatus, authoring method, and program
JP2012054948A (en) * 2011-09-26 2012-03-15 Sony Corp Information processing apparatus and method, and program
JP2013183332A (en) * 2012-03-02 2013-09-12 Nikon Corp Image processor
JP2014030260A (en) * 2010-02-10 2014-02-13 Panasonic Corp Video-image extraction device, program and recording medium
US8782563B2 (en) 2006-07-04 2014-07-15 Sony Corporation Information processing apparatus and method, and program
JP2015126517A (en) * 2013-12-27 2015-07-06 キヤノン株式会社 Image processing system, image processing method, and program
JP2017016687A (en) * 2016-09-09 2017-01-19 オリンパス株式会社 Image handling device, image handling method, and program
KR20190102112A (en) * 2018-02-23 2019-09-03 (주)온넷시스템즈코리아 Scene-based video navigation appratus

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520010A (en) * 2004-02-02 2007-07-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Continuous face recognition using online learning
WO2006117968A1 (en) * 2005-04-27 2006-11-09 Fujifilm Corporation Image capturing apparatus, image capturing method, and program
JP2006333443A (en) * 2005-04-27 2006-12-07 Fujifilm Holdings Corp Imaging apparatus, method, and program
US8111304B2 (en) 2005-04-27 2012-02-07 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer readable medium in which an image extracted in association with selected object information is displayed
JP2006343791A (en) * 2005-06-07 2006-12-21 Hitachi Ltd Face image database preparation method
JP4591215B2 (en) * 2005-06-07 2010-12-01 株式会社日立製作所 Facial image database creation method and apparatus
JP2007052626A (en) * 2005-08-18 2007-03-01 Matsushita Electric Ind Co Ltd Metadata input device and content processor
JP2007174026A (en) * 2005-12-20 2007-07-05 Sony Corp Image collection system, electronic equipment, image transmission method, program, and recording medium
JP2007249588A (en) * 2006-03-15 2007-09-27 Omron Corp Face image registration device, method, program, and storage medium
US8848985B2 (en) 2006-03-15 2014-09-30 Omron Corporation Face-image registration device, face-image registration method, face-image registration program, and storage medium
JP4725377B2 (en) * 2006-03-15 2011-07-13 オムロン株式会社 Face image registration device, face image registration method, face image registration program, and recording medium
US8782563B2 (en) 2006-07-04 2014-07-15 Sony Corporation Information processing apparatus and method, and program
US8762659B2 (en) 2006-09-19 2014-06-24 Sony Corporation Storage apparatus and method, program, and playback apparatus and method
WO2008035688A1 (en) * 2006-09-19 2008-03-27 Sony Corporation Recording device and method, program, and reproducing device and method
JP2008078713A (en) * 2006-09-19 2008-04-03 Sony Corp Recording apparatus and method, program, and reproducing apparatus and method
JP2008228134A (en) * 2007-03-15 2008-09-25 Sony Corp Image processor, imaging apparatus, image display control method and computer program
JP2008278466A (en) * 2007-03-30 2008-11-13 Sanyo Electric Co Ltd Image processing apparatus and imaging apparatus mounting the same, and image processing method
JP2008278467A (en) * 2007-03-30 2008-11-13 Sanyo Electric Co Ltd Image processing apparatus, and image processing method
WO2008136466A1 (en) * 2007-05-01 2008-11-13 Dep Co., Ltd. Dynamic image editing device
JP2008283486A (en) * 2007-05-10 2008-11-20 Sony Corp Information processor, information processing method, and program
JP2009033351A (en) * 2007-07-25 2009-02-12 Canon Inc Recording and reproducing device and method
JP2009245314A (en) * 2008-03-31 2009-10-22 Kddi Corp Identification system of time-series data, and apparatus of giving personal meta information to moving image
JP2010109592A (en) * 2008-10-29 2010-05-13 Canon Inc Information processing apparatus and control method for the same
US8270806B2 (en) 2008-10-29 2012-09-18 Canon Kabushiki Kaisha Information processing apparatus and method of controlling same
US8866900B2 (en) 2008-11-12 2014-10-21 Canon Kabushiki Kaisha Information processing apparatus and method of controlling same
JP2010118868A (en) * 2008-11-12 2010-05-27 Canon Inc Information processor and control method thereof
JP2010154134A (en) * 2008-12-24 2010-07-08 Toshiba Corp Video monitoring system
US8339455B2 (en) 2008-12-24 2012-12-25 Kabushiki Kaisha Toshiba System for monitoring persons by using cameras
JP2010171705A (en) * 2009-01-22 2010-08-05 Hitachi Kokusai Electric Inc Device and program for searching monitored video image
JP2010257509A (en) * 2009-04-22 2010-11-11 Toshiba Corp Authoring apparatus, authoring method, and program
JP2014030260A (en) * 2010-02-10 2014-02-13 Panasonic Corp Video-image extraction device, program and recording medium
US8964065B2 (en) 2010-02-10 2015-02-24 Panasonic Intellectual Property Management Co., Ltd. Video picture extracting apparatus, imaging apparatus and recording medium
JP2012054948A (en) * 2011-09-26 2012-03-15 Sony Corp Information processing apparatus and method, and program
JP2013183332A (en) * 2012-03-02 2013-09-12 Nikon Corp Image processor
JP2015126517A (en) * 2013-12-27 2015-07-06 キヤノン株式会社 Image processing system, image processing method, and program
JP2017016687A (en) * 2016-09-09 2017-01-19 オリンパス株式会社 Image handling device, image handling method, and program
KR20190102112A (en) * 2018-02-23 2019-09-03 (주)온넷시스템즈코리아 Scene-based video navigation appratus
KR102027297B1 (en) * 2018-02-23 2019-10-02 (주)온넷시스템즈코리아 Scene-based video navigation appratus

Also Published As

Publication number Publication date
JP4230870B2 (en) 2009-02-25

Similar Documents

Publication Publication Date Title
JP4230870B2 (en) Movie recording apparatus, movie recording method, and program
KR100636910B1 (en) Video Search System
JP5507386B2 (en) Generating video content from image sets
Truong et al. Video abstraction: A systematic review and classification
TWI374668B (en)
CN101645089B (en) Image processing device, imaging apparatus, and image-processing method
CN101425133B (en) Human image retrieval system
US8254752B2 (en) Method and system for replaying a movie from a wanted point by searching specific person included in the movie
US8542982B2 (en) Image/video data editing apparatus and method for generating image or video soundtracks
RU2440606C2 (en) Method and apparatus for automatic generation of summary of plurality of images
CN101202864B (en) Player for movie contents
CN111046235B (en) Method, system, equipment and medium for searching acoustic image archive based on face recognition
US20150243325A1 (en) Automatic generation of compilation videos
Chen et al. Tiling slideshow
KR20070118635A (en) Summarization of audio and/or visual data
US8068678B2 (en) Electronic apparatus and image processing method
WO2004002144A1 (en) Metadata preparing device, preparing method therefor and retrieving device
JP2006236218A (en) Electronic album display system, electronic album display method, and electronic album display program
JP4490214B2 (en) Electronic album display system, electronic album display method, and electronic album display program
JP2003204541A (en) Video processing method and video processing apparatus
JP2006081021A (en) Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program
WO2008099141A2 (en) Analysing video material
JP2004187115A (en) Monitoring system and program
CN113269854B (en) Method for intelligently generating interview-type comprehensive programs
JP2834148B2 (en) Video search device and video processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060413

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4230870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees