JP6214762B2 - Image search system, search screen display method - Google Patents
Image search system, search screen display method Download PDFInfo
- Publication number
- JP6214762B2 JP6214762B2 JP2016521039A JP2016521039A JP6214762B2 JP 6214762 B2 JP6214762 B2 JP 6214762B2 JP 2016521039 A JP2016521039 A JP 2016521039A JP 2016521039 A JP2016521039 A JP 2016521039A JP 6214762 B2 JP6214762 B2 JP 6214762B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- face
- face image
- monitoring terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Description
本発明は、画像検索システムに係り、特に、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を効率良く捜すことが可能な画像検索システムに関する。 The present invention relates to an image search system, and more particularly to an image search system capable of efficiently searching for a search key face image used for a similar face image search from a moving image file.
従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意する、対応する、或いは映像を記録するものである。 Conventionally, video surveillance systems are installed in facilities visited by an unspecified number of people such as hotels, buildings, convenience stores, financial institutions, dams and roads for the purpose of crime prevention and accident prevention. This is because a person to be monitored is photographed by an imaging device such as a camera, and the video is transmitted to a monitoring center such as a management office or a security room, and the resident supervisor monitors it, and the purpose and necessity It is to be noted accordingly, corresponding, or recording video.
映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、HDD(Hard Disk Drive)に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録映像を目視でチェックする負担の増加が問題点として顕在化しつつある。In video surveillance systems, as a recording medium for recording video, there are an increasing number of cases where a random access medium represented by HDD (Hard Disk Drive) is used from a conventional video tape medium. In recent years, the capacity of such recording media has been increasing.
Increasing the capacity of recording media has dramatically increased the amount of video that can be recorded, making it possible to record more locations and for longer periods of time, but on the other hand, the burden of visually checking recorded video has become a problem. It is becoming.
このような背景から、記録した映像(動画ファイル)の中から所望の画像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象(イベント)の発生に対して、画像認識技術を用いてリアルタイムに自動検知して映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。From such a background, video surveillance systems having a search function for more easily finding a desired image from recorded video (moving image file) are becoming widespread. In particular, in recent years, the occurrence of specific events (events) in video can be automatically detected in real time using image recognition technology and recorded along with the video, and these events can be searched afterwards. A system with a simple search function is emerging. One of them is a person search function.
The person search function is a function that records in real time the appearance of a person in a video as an object of automatic detection, and can search for a person appearance image from recorded images after the fact.
機能面から人物検索機能は、以下の2種類に大別される。
1つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場(イベント)の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像(人物登場画像)等を提示する。なお、この検索のクエリ(Query)には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。From the functional aspect, the person search function is roughly divided into the following two types.
The first is an appearance event search function. The appearance event search function is a function for simply searching for the presence or absence of a person (event) in the video. In the search result, in addition to the presence or absence of an event, if it is determined that there is an event, the number of events, the time of occurrence of each event, the imaging device number that captured the event, the captured image (person appearance image), etc. are presented . This search query (Query) is often given as information for narrowing the search target range such as the event occurrence time and imaging device number. Hereinafter, the information for narrowing down the search target range is referred to as “narrowing parameter”.
2つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、或いは他の地点の撮像装置で撮影されていないかどうかを、記録画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像(人物登場画像)、後述の類似度等を返す。
特定人物の指定は、探したい人物が映った画像(以降、検索キー画像)をユーザが1ケ指定することで実施される。検索キー画像は、記録画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、記録画像中の人物の画像特徴量と照合し、その類似性(類似度)を求め、同一人物判定を実施することにより実現される。同一人物判定では、一例として、比較する2つの画像の人物について画像特徴量の類似度を求め、その結果(類似度)が所定の基準値以上である場合に、これらの人物は同一人物であると判定する。なお、記録画像中の人物の画像特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。The second is a similar person search function. While the above-mentioned appearance event search function is a search that does not specify a character, this is whether or not a specific person specified by the user has been taken by an imaging device at another time or at another point. This is a function for searching for recorded images. In the search result, in addition to the presence / absence of other images showing a specific person, the number and shooting time, imaging device number, captured image (person appearing image), similarity degree to be described later, and the like are returned if present. .
The designation of the specific person is performed by the user designating one image (hereinafter referred to as a search key image) showing the person to be searched. The search key image is designated from a recorded image or an arbitrary image from an external device. In the search, the image feature quantity of the person in this search key image is extracted by image recognition technology, collated with the image feature quantity of the person in the recorded image, the similarity (similarity) is obtained, and the same person determination is performed. It is realized by doing. In the same person determination, as an example, the similarity of the image feature amount is obtained for the persons of the two images to be compared, and when the result (similarity) is equal to or greater than a predetermined reference value, these persons are the same person. Is determined. It should be noted that the extraction and recording of the image feature amount of the person in the recorded image is performed in advance at another timing such as video recording. Even in this search query, it is often possible to give a refinement parameter.
両検索機能のどちらにおいても、検索結果には記録画像を取り出すためのリンケージ情報が付与されており、検索結果から記録画像の頭出し再生が可能になっている。
特許文献1には、このように検索キー画像を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次の検索キー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。
また、特許文献2には、ユーザの利便性をさらに高める類似画像検索システムが開示されている。この特許文献2では、ユーザは、類似画像検索の結果に対して、人名や特徴などのキーワードを付与する。画像検索には、二種類の検索方法が用意されており、キーワードが付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。ユーザは、類似画像検索を複数回行い、充分多くの画像にキーワードを付与した判断をした後に、登場イベント検索を行う。In both search functions, linkage information for taking out a recorded image is given to the search result, and it is possible to cue and reproduce the recorded image from the search result.
In
ところで、複数の監視エリアに設置した撮像装置で撮影した大量の動画ファイルは、画像記録装置に記録・保存される。そして、類似画像検索において、類似する顔画像を検索する場合には、監視者が監視端末を操作して、画像記録装置に記録・保存しておいた所定の動画ファイルを読み出して保存し、所定の動画ファイルの中から類似顔画像検索の基にする検索キー顔画像を捜して、その顔画像を設定・登録する必要がある。 By the way, a large number of moving image files photographed by imaging devices installed in a plurality of monitoring areas are recorded and stored in an image recording device. In the similar image search, when searching for a similar face image, the monitor operates the monitoring terminal to read and save a predetermined moving image file recorded and stored in the image recording apparatus, It is necessary to search for a search key face image based on the similar face image search from the video file and set and register the face image.
そこで、動画ファイルの中から検索キー顔画像を捜す際、監視者は、動画ファイルを再生中に人物の有無を確認し、例えば、不審な人物が映っている箇所(フレーム)があれば一旦動画ファイルの再生を停止させ、目視でそのフレーム画像に映っている人物の顔を確認し、顔がはっきりと映っているかどうかを判断する。そして、人物の顔がはっきりと映っていれば、その人物の顔画像を検索キー顔画像として設定・登録し、その後、その検索キー画像を基にして、複数の撮像装置で撮影した複数の動画ファイルについて、類似顔画像検索を行う。 Therefore, when searching for a search key face image from a video file, the supervisor checks the presence or absence of a person during playback of the video file. For example, if there is a part (frame) in which a suspicious person is shown, Stop playing the file, visually check the face of the person in the frame image, and determine whether the face is clearly visible. If a person's face is clearly shown, the person's face image is set / registered as a search key face image, and then a plurality of videos shot by a plurality of imaging devices based on the search key image. A similar face image search is performed for the file.
しかし、一旦停止したフレーム画像に映っている人物の顔が、後ろ向きであったり、横向きであったり、または、ぼやけていてはっきりしていなかった場合には、類似顔画像検索には不向きな顔画像であるため、再度、動画再生、一旦停止、及び顔の状態確認を行う必要がある。
つまり、監視者は、類似顔画像検索に使用する検索キー顔画像として適した顔画像を捜すために、動画ファイルの再生、一旦停止、及び顔の状態確認の一連の動作を複数回繰り返す必要があり、非常に時間と手間がかかるという問題があった。
また、監視者は、明らかに類似顔画像検索が可能な顔画像だと判断しても、類似顔画像検索を行う画像検索サーバ側で、顔の角度、大きさ、照明などによる影響によって、検索キー顔画像として使用できないと判断される場合もある。However, if the face of the person shown in the frame image that was paused is backward, sideways, or blurred and unclear, the face image is not suitable for similar face image search. Therefore, it is necessary to replay the video, pause, and check the face state again.
In other words, in order to search for a face image suitable as a search key face image used for the similar face image search, the supervisor needs to repeat a series of operations of reproducing the video file, temporarily stopping, and checking the face state a plurality of times. There was a problem that it took a lot of time and effort.
In addition, even if it is determined that the face image can be searched for similar face images, the supervisor can search by the image search server performing the similar face image search due to the influence of the face angle, size, lighting, etc. It may be determined that the key face image cannot be used.
本発明は、このような従来の事情に鑑みなされたものであり、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を効率良く捜すことが可能な画像検索システムを提供することを目的とする。 The present invention has been made in view of such a conventional situation, and provides an image search system capable of efficiently searching for a search key face image used for a similar face image search from a moving image file. Objective.
上記目的を達成するための本発明に係る画像検索システムは、撮像装置と、前記撮像装置から入力された動画ファイルを記録媒体に記録する画像検索サーバと、監視端末とから構成され、前記監視端末からの指示に基づき、前記画像検索サーバが、前記動画ファイルを構成する複数の画像フレームに映る顔画像の特徴量を抽出し、顔画像の類似度を評価し、検索キー顔画像を指定して、指定された当該検索キー顔画像に対して類似顔画像検索を行う画像検索システムであって、前記画像検索サーバは、前記監視端末からの指示に基づき、所定の動画ファイルを構成する複数の画像フレームの中から顔が映る顔画像フレームを検索する顔画像検索手段を備え、前記監視端末は、前記画像検索サーバから前記所定の動画ファイルをダウンロードして再生表示する動画再生表示エリアと、前記画像検索サーバの前記顔画像検索手段が検索した前記顔画像フレームの情報を基に、当該顔画像フレームの撮像時間をライン表示するタイムライン表示エリアと、を有する表示部を備えることを特徴とする。 In order to achieve the above object, an image search system according to the present invention includes an imaging device, an image search server that records a moving image file input from the imaging device on a recording medium, and a monitoring terminal. The image search server extracts feature amounts of face images appearing in a plurality of image frames constituting the moving image file, evaluates the similarity of the face images, and designates a search key face image. An image search system for performing a similar face image search for a specified search key face image, wherein the image search server is configured to include a plurality of images constituting a predetermined moving image file based on an instruction from the monitoring terminal. Face image search means for searching for a face image frame in which a face appears in the frame, and the monitoring terminal downloads the predetermined video file from the image search server. A video playback display area for playback display, and a timeline display area for displaying in line the imaging time of the face image frame based on the information of the face image frame searched by the face image search means of the image search server. It has the display part which has.
また、上記目的を達成するための本発明に係る画像検索システムは、上記した画像検索システムにおいて、前記監視端末は、前記タイムライン表示エリアの位置を選択する選択手段を備え、前記選択手段で前記顔画像フレームの撮像時間が表示されたラインの任意の位置を選択すると、前記動画再生表示エリアに当該位置に応じた顔画像フレームを再生表示することを特徴とする。 Further, an image search system according to the present invention for achieving the above object is the above-described image search system, wherein the monitoring terminal includes a selection unit that selects a position of the timeline display area, and the selection unit includes the selection unit. When an arbitrary position on the line in which the imaging time of the face image frame is displayed is selected, the face image frame corresponding to the position is reproduced and displayed in the moving image reproduction display area.
また、上記目的を達成するための本発明に係る画像検索システムは、上記した画像検索システムにおいて、前記監視端末は、前記選択手段により、類似顔画像検索の検索キー顔画像として使用する前記顔画像フレームを選択して、当該顔画像フレーム情報を前記画像検索サーバに送信し、前記画像検索サーバは、前記監視端末から送信された前記顔画像フレーム情報に基づいて、類似顔画像検索を行うことを特徴とする。 In addition, the image search system according to the present invention for achieving the above object is the above-described image search system, wherein the monitoring terminal uses the selection means as the search key face image for similar face image search. A frame is selected and the face image frame information is transmitted to the image search server, and the image search server performs a similar face image search based on the face image frame information transmitted from the monitoring terminal. Features.
本発明によれば、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を効率良く捜すことが可能な画像検索システムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the image search system which can search efficiently the search key face image used for a similar face image search from a moving image file can be provided.
<実施形態1> 以下、本発明の実施形態1に係る画像検索システムについて、図面を参照して説明する。なお、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略するようにした。
<
まず、図1〜図4を参照して、本発明の実施形態1に係る画像検索システムの構成について説明する。
図1には、本発明の実施形態1に係る画像検索システムのシステム構成を例示してある。
本発明の画像検索システムは、図1に示すように、ネットワーク200に、撮像装置201、画像検索サーバ102、監視端末103が接続され、互いに通信可能な状態で構成される。First, with reference to FIGS. 1-4, the structure of the image search system which concerns on
FIG. 1 illustrates a system configuration of an image search system according to the first embodiment of the present invention.
As shown in FIG. 1, the image search system of the present invention is configured such that an
ネットワーク200は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線LAN(Local Area Network)等の各装置を相互に接続して通信を行う通信手段である。
The
撮像装置201は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)素子等で撮像した画像にデジタル変換処理を施し、変換結果の画像データを、ネットワーク200を介して画像検索サーバ102へ出力するネットワークカメラや監視カメラ等の装置である。
The
画像検索サーバ102は、ネットワーク200を介して撮像装置201より入力された画像データをHDD等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本サーバは、本発明の方式を含む人物検索機能も搭載している。
画像検索サーバ102は、機能構成として、画像送受信部210、画像記録部211、再生制御部212、人物領域検出部213、人物特徴量抽出部214、顔領域検出部111、顔特徴量抽出部112、人物・顔特徴量記録部215、属性情報記録部216、要求受信部217、顔画像検索部218、類似顔画像検索部219、検索結果送信部220の各処理部を有する。The
The
画像送受信部210は、サーバ外部からの画像の入出力を行う処理部であり、撮像装置201からの入力画像データの受信、監視端末103への出力画像データの送信を行う。
画像記録部211は、入力画像データの記録媒体への書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ID(画像の識別情報)も併せて記録する。また、画像記録部211は、記録媒体の記憶容量が満杯になるのを防止するため、古い画像データに新たに撮影した画像データを自動的に上書きするようにしている。
再生制御部212は、監視端末103への映像再生を制御する。The image transmission /
The image recording unit 211 writes input image data to a recording medium and reads output image data from the recording medium. At the time of writing, in addition to the image data, an image ID (image identification information) serving as information for reading the image data is also recorded. Further, the image recording unit 211 automatically overwrites old image data with newly captured image data in order to prevent the storage capacity of the recording medium from becoming full.
The playback control unit 212 controls video playback on the
人物領域検出部213は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部214は、人物領域検出部213で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容(どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方)などである。
顔領域検出部111は、人物領域検出部213で検出した領域に対し画像認識技術を用いて顔の領域を判定し、その領域の座標算出を行う。
顔特徴量抽出部112は、顔領域検出部111で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する顔特徴量とは、例えば、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等である。
なお、本実施形態においては、人物特徴量抽出部214及び顔特徴量抽出部112で使用する特徴量の種類や数はいずれであってもよい。The person
The person feature
The face area detection unit 111 determines a face area using an image recognition technique for the area detected by the person
The face feature quantity extraction unit 112 performs feature quantity calculation on the area detected by the face area detection unit 111 using an image recognition technique. The facial feature amount calculated here is, for example, the shape and direction of the outline of a face, which is a representative part for specifying a person, the size, shape, and arrangement relationship of main components such as eyes, nose, and mouth. .
In the present embodiment, the type and number of feature amounts used by the person feature
人物・顔特徴量記録部215は、人物特徴量抽出部214及び顔特徴量抽出部112で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部211における画像データの記録媒体と本処理部における人物・顔特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部216は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。The person / face feature
The attribute information recording unit 216 writes and reads attribute information related to image data to and from a recording medium. The attribute information is, for example, an image shooting time, an imaging device number, or the like.
要求受信部217は、監視端末103からの検索要求、動画ファイルダウンロード要求、顔画像一覧取得要求および検索キー顔画像登録要求の受信を行う。
顔画像検索部218は、要求受信部217にて受信した要求が顔画像検索要求であった場合に、顔画像検索を行う。顔画像検索部219は、人物・顔特徴量記録部215に登録された顔特徴量を基に、顔として類似顔画像検索が可能な顔画像ファイルを抽出する。
類似顔画像検索部219は、要求受信部217にて受信した要求が類似顔画像検索要求であった場合に、類似顔画像検索を行う。The
The face
When the request received by the
検索結果送信部220は、顔画像検索部218や類似顔画像検索部219から得た顔画像検索結果や類似顔画像検索結果の監視端末103への送信を行う。
The search
監視端末103は、ネットワーク機能を有する一般のPC(パーソナルコンピュータ)で実現してもよいし、専用の検索端末でもよい。
監視端末103は、機能構成として、検索要求送信部221、検索結果受信部222、検索結果表示部223、再生画像表示部224、画面操作検知部225の各処理部を有する。The
The
検索要求送信部221は、顔画像検索要求および類似顔画像検索要求の画像検索サーバ102への送信を行う。類似顔画像検索要求の場合、検索要求データには、類似顔画像検索の検索キーとして、所望の検索キー顔画像或いは所望の検索キー顔画像を特定するための画像IDが含まれる。また、検索要求データには、複数の検索キーを含めることも可能である。
検索結果受信部222は、検索結果の画像検索サーバ102からの受信を行う。検索結果として受信するデータには、画像検索サーバ102において、顔画像検索を実施して得られた顔検出時刻、また、類似顔画像検索を実施して得られた画像の集合が含まれる。なお、集合を構成する個々の画像は、画像検索サーバ102に記録された画像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」という。The search
The search
検索結果表示部223は、検索結果受信部222にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部224は、画像検索サーバ102から入力された画像データの画面への連続動画表示を行う。
画面操作検知部225は、ユーザによる操作内容の検知及び取得を行う。The search
The reproduction
The screen
図2には、本発明の実施形態1に係る画像検索システムに用いる撮像装置201のハードウェア構成を例示してある。
撮像装置201のハードウェア構成は、図2に示すように、撮像部241、主記憶部242、符号化部243、ネットワークインタフェース(I/F)244が、バス240で結合された形態である。FIG. 2 illustrates a hardware configuration of the
As shown in FIG. 2, the hardware configuration of the
撮像部241は、レンズを通して撮像した光信号をデジタルデータに変換する。符号化部243は、撮像部241が出力するデジタルデータを符号化して、JPEG(Joint Photographic Experts Group)などの画像データに変換する。主記憶部242は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークI/F244は、バス240に結合され、ネットワーク200を介して、主記憶部242上の画像データを画像検索サーバ102に送信するためのインタフェースである。
The
図3には、本発明の実施形態1に係る画像検索システムに用いる画像検索サーバ102のハードウェア構成を例示してある。
画像検索サーバ102のハードウェア構成は、図3に示すように、CPU(Central Processing Unit)251、主記憶部252、補助記憶部253、ネットワークI/F254が、バス250で結合された形態である。FIG. 3 illustrates a hardware configuration of the
As shown in FIG. 3, the hardware configuration of the
CPU251は、画像検索サーバ102の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部252は、DRAM(Dynamic Random Access Memory)などの半導体装置で実現され、検索のための画像データやCPU251で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部253は、HDDやフラッシュメモリなどで実現され、主記憶部252より大容量のメモリであり、画像データやプログラムを格納する。ネットワークI/F254は、ネットワーク200を介して、撮像装置201からの画像データを受信したり、監視端末103から検索キーを受信したり、監視端末103に画像データを送信するためのインタフェースである。
The
図4には、本発明の実施形態1に係る画像検索システムに用いる監視端末103のハードウェア構成を例示してある。
監視端末103のハードウェア構成は、図4に示すように、CPU261、主記憶部262、補助記憶部263、表示I/F264、入出力I/F265、ネットワークI/F266が、バス260で結合された形態である。また、表示I/F264は、表示装置270と接続され、入出力I/F265は、キーボード280やマウス282などの入出力装置と接続される。FIG. 4 illustrates a hardware configuration of the
As shown in FIG. 4, the hardware configuration of the
CPU261は、監視端末103の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部262は、DRAMなどの半導体装置で実現され、表示のための画像データやCPU261で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部263は、HDDやフラッシュメモリなどで実現され、主記憶部262より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示I/F264は、表示装置270と接続するためのインタフェースである。入出力I/F265は、キーボード280やマウス282などの入出力装置と接続するためのインタフェースである。ネットワークI/F266は、ネットワーク200を介して、画像検索サーバ102からの画像データを受信したり、画像検索サーバ102に検索キーを送信するためのインタフェースである。
表示装置270は、例えば、LCD(Liquid Crystal Display)などの装置であり、画像や動画をその表示部に表示する装置である。監視者は、表示装置270の表示部に表示された画像を、キーボード280やマウス282などの入出力装置を操作して、例えばGUI(Graphical User Interface)操作することによって、監視端末103及び画像検索システムを操作する。The
The
次に、図5及び図6を用いて本発明の実施形態1に係る画像検索システムに用いられるデータ構造について説明する。図5は、本発明の画像検索システムに用いられる動画ファイルテーブル300のデータ構造の一実施例を示す図である。また、図6は、本発明の画像検索システムに用いられる属性情報データテーブル310のデータ構造の一実施例を示す図である。 Next, a data structure used in the image search system according to the first embodiment of the present invention will be described with reference to FIGS. 5 and 6. FIG. 5 is a diagram showing an example of the data structure of the moving image file table 300 used in the image search system of the present invention. FIG. 6 is a view showing an example of the data structure of the attribute information data table 310 used in the image search system of the present invention.
動画ファイルテーブル300は、動画ファイル毎に画像データを格納するためのテーブルである。動画ファイルテーブル300には、各動画ファイルを構成する画像データ毎に画像ID301が付され、付された画像IDと関連付けられたフレームデータ302とが記録される。フレームデータ302は、例えば、JPEG形式のデータなどで記録される。
The moving image file table 300 is a table for storing image data for each moving image file. In the moving image file table 300, an
属性情報データテーブル310は、画像データを解析した結果の画像についての属性情報データを格納するためのテーブルである。属性情報データテーブル310には、登録ID311が識別のために付与され、付与された登録ID311と関連付けられて、画像ID312、特徴量313、カメラID314及び時刻情報315が記録される。
例えば、付与された登録ID311と関連付けられて、動画ファイルテーブル300に格納された画像フレームの一部が、画像ID312により指定される。また、その画像の人物・顔特徴量は、特徴量313に、撮像した撮像装置201のIDは、カメラID314に、フレームの撮像時刻に関する情報は、時刻情報315にと、各々のフィールドに格納される。The attribute information data table 310 is a table for storing attribute information data for an image obtained as a result of analyzing image data. In the attribute information data table 310, a
For example, a part of the image frame stored in the moving image file table 300 in association with the given
なお、例えば、録画のフレームレートが、30fps(Frames Per Second)のときに、画像の解析を行うのは、その中で、人がいると認識した部分であり、最大3fps程度のフレームレートで画像を捉えて解析を行うのが一般的である。 For example, when the recording frame rate is 30 fps (Frames Per Second), the image analysis is performed on the part that is recognized as having a person, and the image is recorded at a maximum frame rate of about 3 fps. It is common to analyze by capturing.
次に、図7及び図8を用いて、本発明の実施形態1に係る画像検索システムにおける監視端末103と画像検索サーバ102との間の処理シーケンスについて説明する。図7は、本発明の実施形態1に係る画像検索システムにおいて、監視端末103と画像検索サーバ102との間の処理シーケンスの一実施例を示す図である。また、図8は、本発明の実施形態1に係る画像検索システムにおいて、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を設定・登録し、類似顔画像検索を実施するまでの操作を説明するための検索画面の一実施例を示した図である。
Next, a processing sequence between the monitoring
図7に示すように、ステップS101において、監視者は、監視端末103を操作して、所望の監視領域を撮影している撮像装置201と、その撮像装置201が撮影した時間を指定し、画像検索サーバ102に対して、所望の動画ファイル(1)のダウンロード要求を行う。
ステップS102において、画像検索サーバ102では、画像送受信部210が、画像記録部211の動画ファイルテーブル300から、監視端末103より要求された動画ファイル(1)を読み出して、監視端末103に送信する。
ステップS103において、監視端末103では、画像検索サーバ102から動画ファイル(1)が送信されると、再生画像表示部224が、表示装置270の図8に示す操作画面上に、動画ファイル(1)の自動再生を開始する。図8に示す操作画面500において、501は動画再生エリアであって、受信した動画ファイル(1)は動画再生エリア501に自動再生され、監視者は、巻き戻し、再生、一時停止及び早送りの各ボタンを備えた動画再生用ボタン群503を操作しながら、画面に不審な人物などが映っていないかの確認を始める。As shown in FIG. 7, in step S101, the monitor operates the
In step S <b> 102, in the
In step S103, when the moving image file (1) is transmitted from the
ステップS104において、監視端末103では、検索要求送信部221が動画ファイル(1)に関する顔画像検索実行コマンドを画像検索サーバ102に送信する。
ステップS105において、画像検索サーバ102では、監視端末103から送信された顔画像検索実行コマンドに応答して、顔画像検索部218が画像記録部211の動画ファイルテーブル300から動画ファイル(1)を読み出して、顔画像検索処理を開始する。
ステップS106において、監視端末103では、検索要求送信部221が動画ファイル(1)に関する顔画像一覧取得コマンドを画像検索サーバ102に送信する。
ステップS107において、画像検索サーバ102では、監視端末103から送信された顔画像一覧取得コマンドに応答して、顔画像検索処理によってその時までに抽出した顔画像フレーム情報(識別ID、時刻情報等)をリスト化して監視端末103に送信する。
ステップS108において、監視端末103では、画像検索サーバ102から送信された顔画像フレーム情報リストに基づいて、再生画像表示部224が図8に示す操作画面500のタイムライン表示エリア504上に、斜線で示すように、顔検出時刻ライン504aを表示する。In step S <b> 104, in the
In step S <b> 105, in the
In step S <b> 106, in the
In step S107, in response to the face image list acquisition command transmitted from the
In step S108, in the
その後、ステップS109において、監視端末103では、検索要求送信部221が定期的に画像検索サーバ102に対して動画ファイル(1)に関する顔画像一覧取得コマンドを送信する。
ステップS110において、画像検索サーバ102では、監視端末103からの顔画像一覧取得コマンドに応答して、顔画像検索処理によってその時までに抽出した顔画像フレーム情報(識別ID、時刻情報等)をリスト化して監視端末103に送信する。
ステップS111において、監視端末103では、画像検索サーバ102から送信された顔画像フレーム情報リストに基づいて、再生画像表示部224が図8に示す操作画面500のタイムライン表示エリア504上に、顔検出時刻ライン504aをライン表示する。
なお、監視端末103と画像検索サーバ102との間では、ステップS109〜ステップS111の処理を、画像検索サーバ102での動画ファイル(1)内の顔画像検索が終了するまで繰り返し行う。Thereafter, in step S <b> 109, in the
In step S110, in response to the face image list acquisition command from the
In step S111, in the
In addition, between the monitoring
画像検索サーバ102では、動画ファイル(1)内の顔画像検索が終了すると(ステップS112)、顔画像検索終了応答を監視端末103に送信する(ステップS113)。
ステップS114において、監視端末103では、検索要求送信部221が顔画像検索終了時までの動画ファイル(1)に関する顔画像一覧取得コマンドを画像検索サーバ102に送信する。
ステップS115において、画像検索サーバ102では、監視端末103から送信された顔画像一覧取得コマンドに応答して、顔画像検索処理によって顔画像検索終了時までに抽出した顔画像フレーム情報(識別ID、時刻情報等)をリスト化して監視端末103に送信する。
ステップS116において、監視端末103では、画像検索サーバ102から送信された顔画像フレーム情報リストに基づいて、再生画像表示部224が図8に示す操作画面500のタイムライン表示エリア504上に、顔検出時刻ライン504aをライン表示する。In the
In step S <b> 114, in the
In step S115, in the
In step S116, in the
上述したように、監視者が監視端末103を操作して、所望の動画ファイル(1)を再生し不審な人物等の監視を始めると同時に、監視端末103から画像検索サーバ102に対して動画ファイル(1)に関する顔画像検索要求が為されるので、監視者の目視による監視行動と並行して画像検索サーバ102で顔画像検索処理が行われることになる。
つまり、監視端末103での動画ファイル(1)再生による監視者の目視監視(顔画像検索)に比べて、画像検索サーバ102での顔画像検索処理の方が処理速度が速いため、図8の操作画面500において、動画再生エリア501で動画ファイル(1)を再生中に、ステップS108、S111及びS116による顔検出時刻のタイムライン表示処理によって、タイムライン表示エリア504の動画ファイル(1)の開始時刻(タイムライン表示エリア504の左端)から動画ファイル(1)の終了時刻(タイムライン表示エリア504の右端)に向かって徐々に顔検出時刻ライン504a(斜線部)が増えていくことになる。なお、エリア504b内に示す下向きの矢印は、画像検索サーバ102での顔画像検索処理の進行状況を示している。As described above, the monitor operates the
That is, since the processing speed of the face image search process in the
そこで、ステップS117において、監視者は、監視端末103の操作画面500で動画ファイル(1)再生による目視監視(顔画像検索)中であっても、類似顔画像検索に使用する検索キー顔画像を捜すために、マウス282を使ったドラッグ操作によって、例えば、図8のエリア505a内の上向きの矢印をエリア505b内の上向き点線の矢印の位置に移動させることにより、上向きの矢印が示す時刻での顔画像フレームを動画再生エリア501内に表示させて、検索キー顔画像に使用するか否かの確認及び選択を効率良く行うことができる。
また、操作画面500には、類似顔画像検索に使用する検索キー顔画像を選択するための前顔画像検出位置ボタン502a及び次顔画像検出位置ボタン502bを有している。前顔画像検出位置ボタン502aを押下することにより、上記した上向き矢印が現在示している時刻の顔画像フレームの前に存在する顔画像フレームの位置に移動して、当該顔画像フレームを動画再生エリア501内に表示させ、また、次顔画像検出位置ボタン502bを押下することにより、上記した上向き矢印が現在示している時刻の顔画像フレームの次に存在する顔画像フレームの位置に移動して、当該顔画像フレームを動画再生エリア501内に表示させる。Therefore, in step S117, the monitor selects the search key face image used for the similar face image search even during visual monitoring (face image search) by reproduction of the moving image file (1) on the
The
次に、監視者は、複数の顔画像フレームの中から類似顔画像検索に使用する検索キー顔画像を含む顔画像フレームが決まった場合に、操作画面500右下にある類似顔画像検索実行ボタン506を押下することにより、類似顔画像検索に使用する検索キー顔画像を含む顔画像フレーム情報が画像検索サーバ102に送信される(ステップS118)。
ステップS119において、画像検索サーバ102では、属性情報記録部216が監視端末103から送信された類似顔画像検索に使用する検索キー顔画像を含む顔画像フレーム情報を基に属性情報データテーブル310に設定・登録を行う。
ステップS120において、画像検索サーバ102では、監視端末103から送信された類似顔画像検索に使用する検索キー顔画像に基づいて、所定の動画ファイルを対象に、特開2012−242878号公報等に開示された公知の技術を使い類似顔画像検索を行う。Next, when the face image frame including the search key face image used for the similar face image search is determined from among the plurality of face image frames, the supervisor selects the similar face image search execution button at the lower right of the
In step S119, in the
In step S <b> 120, the
以上説明したように、本発明の実施形態1に係る画像検索システムによれば、動画ファイルの中から類似顔画像検索に使用する検索キー顔画像を効率良く捜すことが可能な画像検索システムを提供することができる。 As described above, the image search system according to the first embodiment of the present invention provides an image search system that can efficiently search for a search key face image used for similar face image search from a moving image file. can do.
なお、上記実施形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。 Note that the configuration and operation of the above embodiment are examples, and it is needless to say that the configuration and operation can be appropriately changed and executed without departing from the gist of the present invention.
102:画像検索サーバ、103:監視端末、111:顔領域検出部、112:顔特徴量抽出部、200:ネットワーク、201:撮像装置、210:画像送受信部、211:画像記録部、212:再生制御部、213:人物領域検出部、214:人物特徴量抽出部、215:人物・顔特徴量記録部、216:属性情報記録部、217:要求受信部、218:顔画像検索部、219:類似顔画像検索部、220:検索結果送信部、221:検索要求送信部、222:検索結果受信部、223:検索結果表示部、224:再生画像表示部、225:画面操作検知部、240:バス、241:撮像部、242:主記憶部、243:符号化部、244:ネットワークインタフェース、250:バス、251:CPU、252:主記憶部、253:補助記憶部、254:ネットワークインタフェース、260:バス、261:CPU、262:主記憶部、263:補助記憶部、264:表示インタフェース、265:入出力インタフェース、266:ネットワークインタフェース、270:表示装置、280:キーボード、282:マウス、 300:動画ファイルテーブル、301:画像ID、302:フレームデータ、310:属性情報データテーブル、311:登録ID、312:画像ID、313:特徴量、314:カメラID、315:時刻情報、500:操作画面、501:動画再生エリア、502a:前顔画像検出位置ボタン、502b:次顔画像検出位置ボタン、503:動画再生用ボタン群、504:タイムライン表示エリア、504a:顔検出時刻ライン、504b:エリア、505a:エリア、505b:エリア、506:類似顔画像検索実行ボタン。 102: Image search server, 103: Monitoring terminal, 111: Face area detection unit, 112: Face feature amount extraction unit, 200: Network, 201: Imaging device, 210: Image transmission / reception unit, 211: Image recording unit, 212: Playback Control unit, 213: Person area detection unit, 214: Person feature amount extraction unit, 215: Person / face feature amount recording unit, 216: Attribute information recording unit, 217: Request reception unit, 218: Face image search unit, 219: Similar face image search unit 220: Search result transmission unit 221: Search request transmission unit 222: Search result reception unit 223: Search result display unit 224: Reproduced image display unit 225: Screen operation detection unit 240: Bus, 241: Imaging unit, 242: Main storage unit, 243: Encoding unit, 244: Network interface, 250: Bus, 251: CPU, 252: Main storage unit, 253: Supplementary Storage unit, 254: Network interface, 260: Bus, 261: CPU, 262: Main storage unit, 263: Auxiliary storage unit, 264: Display interface, 265: Input / output interface, 266: Network interface, 270: Display device, 280 : Keyboard, 282: Mouse, 300: Movie file table, 301: Image ID, 302: Frame data, 310: Attribute information data table, 311: Registration ID, 312: Image ID, 313: Feature amount, 314: Camera ID, 315: Time information, 500: Operation screen, 501: Moving image playback area, 502a: Front face image detection position button, 502b: Next face image detection position button, 503: Button group for moving image playback, 504: Timeline display area, 504a : Face detection time line, 504b: D Rear, 505a: Area, 505b: Area, 506: Similar face image search execution button.
Claims (4)
前記監視端末は、前記画像検索サーバから所定の動画ファイルをダウンロードして再生表示する動画再生表示エリアを有する表示部と、
前記画像検索サーバから前記所定の動画ファイルをダウンロードし、前記表示部の再生表示エリアで当該動画ファイルを再生表示すると、当該動画ファイルに関する顔画像の検索の実行コマンドと、前記顔画像の取得コマンドと、を前記画像検索サーバへ送信する検索要求送信部と、を備え、
前記画像検索サーバは、前記監視端末からの前記実行コマンドに基づき、前記所定の動画ファイルを構成する複数の画像フレームの中から顔が映る顔画像フレームを検索する顔画像検索手段と、
前記取得コマンドに基づき、前記顔画像検索手段が前記取得コマンドを受信した時までに検索した前記顔画像フレームの情報を、前記監視端末へ送信する検索結果送信部と、を備え、
さらに、前記監視端末の前記表示部は、前記画像検索サーバから受信した前記顔画像フレームの情報を基に、当該顔画像フレームの撮像時間をライン表示するタイムライン表示エリアを有するものであり、
前記検索要求送信部は、前記顔画像検索手段による前記動画ファイル内の顔画像フレームの検索が終了するまで、前記取得コマンドを、前記画像検索サーバへ繰り返し送信する
ことを特徴とする画像検索システム。 An imaging device, an image search server that records a moving image file input from the imaging device on a recording medium, and a monitoring terminal, and based on an instruction from the monitoring terminal, the image searching server stores the moving image file Extracts feature quantities of face images that appear in multiple image frames, evaluates the similarity of face images, specifies search key face images, and searches for similar face images for the specified search key face images An image search system that performs
The monitoring terminal includes a display unit having a video playback display area for downloading and displaying a predetermined video file from the image search server;
When the predetermined moving image file is downloaded from the image search server, and the moving image file is reproduced and displayed in the reproduction display area of the display unit, a face image search execution command related to the moving image file, and the face image acquisition command, And a search request transmission unit that transmits the image search server to the image search server,
The image search server, based on the execution command from the monitoring terminal, a face image search means for searching a face image frame in which a face appears from a plurality of image frames constituting the predetermined moving image file;
A search result transmission unit that transmits information on the face image frame searched by the time when the face image search means receives the acquisition command based on the acquisition command, to the monitoring terminal;
Further, the display unit of the monitor terminal, based on information of the face image frame received from the image search server, is intended to have a time line display area for the line displaying the imaging time of the face image frame,
The search request transmission unit repeatedly transmits the acquisition command to the image search server until the face image search unit finishes searching for a face image frame in the moving image file. Image search system.
前記監視端末は、前記タイムライン表示エリアの位置を選択する選択手段を備え、前記選択手段で前記顔画像フレームの撮像時間が表示されたラインの任意の位置を選択すると、前記動画再生表示エリアに当該位置に応じた顔画像フレームを再生表示することを特徴とする画像検索システム。 The image search system according to claim 1,
The monitoring terminal includes a selection unit that selects a position of the timeline display area. When the selection unit selects an arbitrary position on the line on which the imaging time of the face image frame is displayed, the monitoring terminal displays the moving image reproduction display area. An image search system characterized in that a face image frame corresponding to the position is reproduced and displayed.
前記監視端末は、前記選択手段により、類似顔画像検索の検索キー顔画像として使用する前記顔画像フレームを選択して、当該顔画像フレーム情報を前記画像検索サーバに送信し、
前記画像検索サーバは、前記監視端末から送信された前記顔画像フレーム情報に基づいて、類似顔画像検索を行うことを特徴とする画像検索システム。 The image search system according to claim 2,
The monitoring terminal selects the face image frame to be used as a search key face image for a similar face image search by the selection unit, and transmits the face image frame information to the image search server;
The image search system, wherein the image search server performs a similar face image search based on the face image frame information transmitted from the monitoring terminal.
前記監視端末が、前記画像検索サーバから所定の動画ファイルをダウンロードし、当該動画ファイルを再生表示するステップと、
前記監視端末が、前記所定の動画ファイルに関する顔画像の検索の実行コマンドを、前記画像検索サーバへ送信するステップと、
前記画像検索サーバが、前記実行コマンドを受信すると、前記実行コマンドに基づき、前記所定の動画ファイルを構成する複数の画像フレームの中から顔が映る顔画像フレームの検索を開始するステップと、
前記監視端末が、前記顔画像フレームの情報の取得コマンドを、前記画像検索サーバへ送信するステップと、
前記画像検索サーバが、前記取得コマンドを受信すると、前記取得コマンドを受信した時までに検索した前記顔画像フレームの情報を、前記監視端末へ送信するステップと、
前記監視端末が、前記顔画像フレームの情報を受信すると、前記顔画像フレームの情報に基づいて、当該顔画像フレームの撮影時間をライン表示するステップと、
前記動画ファイル内の前記顔画像フレームの検索が終了するまで、前記取得コマンドを、前記画像検索サーバへ繰り返し送信するステップと、
を有することを特徴とする検索画面表示方法。
An imaging device, an image search server that records a moving image file input from the imaging device on a recording medium, and a monitoring terminal, and based on an instruction from the monitoring terminal, the image searching server stores the moving image file Extracts feature quantities of face images that appear in multiple image frames, evaluates the similarity of face images, specifies search key face images, and searches for similar face images for the specified search key face images Search screen display method in the image search system
The monitoring terminal downloading a predetermined moving image file from the image search server, and reproducing and displaying the moving image file ;
The monitoring terminal sending a face image search execution command for the predetermined video file to the image search server;
When the image search server receives the execution command, based on the execution command, starting a search for a face image frame showing a face from a plurality of image frames constituting the predetermined moving image file;
The monitoring terminal transmitting an acquisition command of the face image frame information to the image search server;
When the image search server receives the acquisition command, transmitting the face image frame information searched up to when the acquisition command is received to the monitoring terminal;
When the monitoring terminal receives the information on the face image frame, a line display of the shooting time of the face image frame based on the information on the face image frame;
Repeatedly sending the acquisition command to the image search server until the search for the face image frame in the video file is completed;
A search screen display method characterized by comprising:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014106010 | 2014-05-22 | ||
JP2014106010 | 2014-05-22 | ||
PCT/JP2015/063450 WO2015178234A1 (en) | 2014-05-22 | 2015-05-11 | Image search system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015178234A1 JPWO2015178234A1 (en) | 2017-04-27 |
JP6214762B2 true JP6214762B2 (en) | 2017-10-18 |
Family
ID=54553907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016521039A Active JP6214762B2 (en) | 2014-05-22 | 2015-05-11 | Image search system, search screen display method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6214762B2 (en) |
WO (1) | WO2015178234A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018180201A1 (en) * | 2017-03-29 | 2018-10-04 | 株式会社日立国際電気 | Similar facial image search system |
JP7238274B2 (en) * | 2018-06-06 | 2023-03-14 | 日本電気株式会社 | Information processing device, information processing method and program |
CN108769604B (en) * | 2018-06-13 | 2021-01-26 | 深圳绿米联创科技有限公司 | Monitoring video processing method and device, terminal equipment and storage medium |
JP7406976B2 (en) * | 2019-12-20 | 2023-12-28 | シャープ株式会社 | Monitoring system and method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5087867B2 (en) * | 2006-07-04 | 2012-12-05 | ソニー株式会社 | Information processing apparatus and method, and program |
JP2011019192A (en) * | 2009-07-10 | 2011-01-27 | Toshiba Corp | Image display |
JP5649425B2 (en) * | 2010-12-06 | 2015-01-07 | 株式会社東芝 | Video search device |
JP5863400B2 (en) * | 2011-11-07 | 2016-02-16 | 株式会社日立国際電気 | Similar image search system |
-
2015
- 2015-05-11 JP JP2016521039A patent/JP6214762B2/en active Active
- 2015-05-11 WO PCT/JP2015/063450 patent/WO2015178234A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2015178234A1 (en) | 2015-11-26 |
JPWO2015178234A1 (en) | 2017-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5863400B2 (en) | Similar image search system | |
US9013604B2 (en) | Video summary including a particular person | |
EP2710594B1 (en) | Video summary including a feature of interest | |
JP5506324B2 (en) | Similar image search system and similar image search method | |
EP2860968B1 (en) | Information processing device, information processing method, and program | |
JP6589082B2 (en) | Similar image search system | |
JP6214762B2 (en) | Image search system, search screen display method | |
JP6203188B2 (en) | Similar image search device | |
JP5153478B2 (en) | Image processing apparatus and image processing method | |
KR20170098139A (en) | Apparatus and method for summarizing image | |
JP6485978B2 (en) | Image processing apparatus and image processing system | |
JP6210634B2 (en) | Image search system | |
JP5826513B2 (en) | Similar image search system | |
KR20160016746A (en) | Determining start and end points of a video clip based on a single click | |
JP4326753B2 (en) | Video information indexing support system, program, and storage medium | |
JP5147737B2 (en) | Imaging device | |
GB2570498A (en) | A method and user device for displaying video data, a method and apparatus for streaming video data and a video surveillance system | |
WO2017056948A1 (en) | Image processing system | |
JP2005045606A (en) | Image processing method, image processing device, and program | |
US20150229786A1 (en) | Communication device and control method of communication device | |
JP2016167716A (en) | Imaging device | |
JP2010212821A (en) | Recording and reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161121 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6214762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |