JP2014225143A - Video signal recording and reproducing device - Google Patents

Video signal recording and reproducing device Download PDF

Info

Publication number
JP2014225143A
JP2014225143A JP2013104191A JP2013104191A JP2014225143A JP 2014225143 A JP2014225143 A JP 2014225143A JP 2013104191 A JP2013104191 A JP 2013104191A JP 2013104191 A JP2013104191 A JP 2013104191A JP 2014225143 A JP2014225143 A JP 2014225143A
Authority
JP
Japan
Prior art keywords
video
metadata
search
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013104191A
Other languages
Japanese (ja)
Other versions
JP6180179B2 (en
Inventor
舞 菊地
Mai Kikuchi
舞 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013104191A priority Critical patent/JP6180179B2/en
Publication of JP2014225143A publication Critical patent/JP2014225143A/en
Application granted granted Critical
Publication of JP6180179B2 publication Critical patent/JP6180179B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide search priority order on the basis of the selection of video data to be searched and the hierarchization of video meta data to improve the efficiency in video searching and reduce the time to search for desired recorded video data.SOLUTION: A video signal recording and reproducing device includes a video meta data creating unit that creates video meta data hierarchized into upper video meta data and lower video meta data in terms of whether or not the image feature amount of video data satisfies set conditions, and a video searching unit that receives video searching conditions, performs searching the upper video meta data for pieces of video meta data recorded in a recording database, to specify video meta data satisfying the searching conditions, and outputs video data corresponding to the specified video meta data.

Description

この発明は、映像メタデータを用いて、映像の記録および記録映像検索時に、検索対象となる映像データを選別し、選別された候補データを優先的に検索することにより、検索時間を短縮させる映像信号記録再生装置に関するものである。   The present invention uses video metadata to select video data to be searched at the time of video recording and recorded video search, and to reduce search time by preferentially searching the selected candidate data. The present invention relates to a signal recording / reproducing apparatus.

セキュリティーシステムで用いる映像信号記録再生装置では、監視カメラなどからの映像データを記録デバイスに蓄積し、その蓄積された記録映像について、検索および再生することが可能な映像信号記録再生装置が多く用いられている。複数台の監視カメラによる監視システムの普及、記録デバイスの高容量化に伴い、記録すべき映像データは増加の傾向にある。これら蓄積された映像データの中からユーザが所望する記録映像を検索する際には、記録映像が多いほど映像検索に多くの時間を要するという欠点があった。   Video signal recording / playback devices used in security systems often use video signal recording / playback devices that store video data from surveillance cameras or the like in a recording device, and can search and play back the stored recorded video. ing. With the widespread use of surveillance systems with a plurality of surveillance cameras and an increase in capacity of recording devices, video data to be recorded is on the rise. When searching for the recorded video desired by the user from the stored video data, there is a disadvantage that the more recorded video is, the more time is required for the video search.

上記対策として、映像データから抽出した画像特徴量と映像データ属性情報とを併せたメタデータを生成し、その生成したメタデータについて、過去の検索履歴等に基づいて必要最低限の情報だけを含む内容に変更したメタデータを参照して映像検索を行うことにより、検索時間の短縮を図る方法がある(例えば、特許文献1参照)。   As the above measures, metadata including image feature values extracted from video data and video data attribute information is generated, and the generated metadata includes only necessary minimum information based on past search history and the like. There is a method for shortening the search time by performing a video search with reference to the metadata changed to the content (see, for example, Patent Document 1).

特開2006−195807号公報JP 2006-195807 A

従来の映像信号記録再生装置は、複数台の監視カメラによる監視システムの普及、記録デバイスの高容量化に伴い、蓄積される映像データは増加の傾向にあり、これら蓄積された映像データの中からユーザが所望する記録映像を検索する際には、記録映像が多いほど映像検索に多くの時間を要してしまうという課題がある。   Conventional video signal recording / playback apparatuses have a tendency to increase the amount of video data stored with the spread of a monitoring system using a plurality of monitoring cameras and the increase in capacity of recording devices. When searching for the recorded video desired by the user, there is a problem that the more recorded video is, the more time is required for the video search.

これに対し、特許文献1では、過去の検索履歴等に応じて必要最低限の情報だけを含むデータ量の少ないメタデータへ変更することで、メタデータの参照時間を短くし映像検索効率を向上させているが、メタデータの絞込みにより検索時間が短縮される一方、ユーザが所望の記録映像を入手できなくなる可能性が増加し得るという課題があった。   On the other hand, in Patent Document 1, the metadata reference time is shortened and the video search efficiency is improved by changing to metadata with a small amount of data including only necessary minimum information according to the past search history and the like. However, there is a problem that the search time is shortened by narrowing down the metadata, and the possibility that the user cannot obtain the desired recorded video may increase.

この発明は、上記のような課題を解決するためになされたもので、検索対象となる映像データの選別、および映像メタデータの階層化をもって検索優先順位を付与することにより、映像検索効率を向上させ、かつ、所望の記録映像データに対する検索時間を短縮することを目的とするものである。   The present invention has been made to solve the above-described problems, and improves video search efficiency by assigning a search priority by selecting video data to be searched and hierarchizing video metadata. In addition, an object of the present invention is to reduce the search time for desired recorded video data.

この発明に係る映像信号記録再生装置は、カメラによって撮影された映像データを受信する映像入力部と、前記映像入力部が受信した前記映像データの符号化を行なう映像データ符号化部と、前記映像データの画像特徴量が、設定された条件を満たすかどうかによって上位映像メタデータと下位映像メタデータとに階層化された映像メタデータを生成する映像メタデータ生成部と、前記映像データ符号化部が符号化した前記映像データと、前記映像メタデータ生成部が生成した前記映像メタデータとを記録データベースに記録させる映像信号処理部と、映像検索条件を受信し、前記記録データベースに記録されている階層化された前記映像メタデータのうち、前記上位映像メタデータから検索を実行して前記映像検索条件を満たす前記映像メタデータを特定し、特定した前記映像データに対応する、前記記録部に記録されている前記映像データを出力する映像検索部とを備えたものである。   The video signal recording / reproducing apparatus according to the present invention includes a video input unit that receives video data captured by a camera, a video data encoding unit that encodes the video data received by the video input unit, and the video A video metadata generation unit that generates video metadata layered into upper video metadata and lower video metadata depending on whether an image feature amount of data satisfies a set condition; and the video data encoding unit A video signal processing unit that records the video data encoded by the video metadata and the video metadata generated by the video metadata generation unit in a recording database; and a video search condition that is received and recorded in the recording database Of the layered video metadata, a search is performed from the upper video metadata to satisfy the video search condition. Identifying data, in which a video retrieval unit corresponding to the specified the image data, and outputs the image data recorded in the recording unit.

この発明によれば、所望の映像検索条件に対する判定条件(閾値)により、判定条件を満たす上位映像メタデータと判定条件を満たさない下位映像メタデータを生成(メタデータの階層化)し、先ずは上位映像メタデータ内から優先して検索することで、所望の映像検索に要する時間の短縮を図り、検索効率を向上させることができる。   According to the present invention, based on a determination condition (threshold) for a desired video search condition, upper video metadata that satisfies the determination condition and lower video metadata that does not satisfy the determination condition are generated (metadata hierarchy). By preferentially searching from the upper video metadata, it is possible to shorten the time required for the desired video search and to improve the search efficiency.

この発明の実施の形態1に係る映像信号記録再生装置の構成を示すブロック図である。It is a block diagram which shows the structure of the video signal recording / reproducing apparatus concerning Embodiment 1 of this invention. この発明の実施の形態1における映像メタデータ生成部の映像メタデータ生成に伴う処理に関するフローチャートである。It is a flowchart regarding the process accompanying the video metadata production | generation of the video metadata production | generation part in Embodiment 1 of this invention. この発明の実施の形態1における映像検索部の記録映像データ検索処理に関するフローチャートである。It is a flowchart regarding the recorded video data search process of the video search part in Embodiment 1 of this invention. この発明の実施の形態2における映像メタデータ生成部のメタデータ生成に伴う処理に関するフローチャートである。It is a flowchart regarding the process accompanying the metadata production | generation of the image | video metadata production | generation part in Embodiment 2 of this invention. この発明の実施の形態2における映像検索部の記録映像データ検索処理に関するフローチャートである。It is a flowchart regarding the recording video data search process of the video search part in Embodiment 2 of this invention.

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る映像信号記録再生装置10の構成を示すブロック図である。
図1において、映像信号記録再生装置10は、外部のカメラが撮影した監視場所等の映像を受信し、受信した映像の記録および再生を行なうものであり、映像データ入力部102と、映像データ符号化部103と、映像メタデータ生成部104と、映像信号処理部105と、記録データベース(以下、記録DBという)106と、映像検索部107と、条件入力部108と、表示部109とを備える。記録DB106は、映像データと映像メタデータを記録しており、映像メタデータは階層化された上位映像メタデータと下位映像メタデータで構成されている。
なお、メタデータとは、一般にデータのデータを意味する。ここでは、画像データに付随する各種属性情報や画像特徴量を記述したデータを指し、映像データのメタデータを映像メタデータという。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of a video signal recording / reproducing apparatus 10 according to Embodiment 1 of the present invention.
In FIG. 1, a video signal recording / reproducing apparatus 10 receives a video of a monitoring place taken by an external camera, records and reproduces the received video, and includes a video data input unit 102, a video data code, and the like. , A video metadata generation unit 104, a video signal processing unit 105, a recording database (hereinafter referred to as a recording DB) 106, a video search unit 107, a condition input unit 108, and a display unit 109. . The recording DB 106 records video data and video metadata, and the video metadata is composed of hierarchical upper video metadata and lower video metadata.
The metadata generally means data data. Here, it refers to data describing various attribute information and image feature amounts attached to image data, and metadata of video data is referred to as video metadata.

映像データ入力部102は、カメラ101から、カメラ101が撮影した映像データを受信する。映像データ符号化部103は、映像データ入力部102が受信した映像データを符号化し、符号化処理に伴う映像データ属性情報を映像メタデータ生成部104に出力する。なお、映像データ属性情報とは、例えば、1フレームの映像データのデータ長や符号化処理を行なった時刻など、符号化処理に関わる任意の情報を指す。また、映像データ符号化部103は、符号化した映像データを映像信号処理部105に出力する。映像メタデータ生成部104は、映像データ入力部102が受信した映像データから画像特徴量を抽出し、画像特徴量が、設定された条件を満たすかどうかによって上位映像メタデータと下位映像メタデータとに階層化された映像メタデータを生成する。なお、映像メタデータは、映像データ入力部102が受信した映像データと、映像データ符号化部103から入力した映像データ属性情報とを合わせて生成される。   The video data input unit 102 receives video data captured by the camera 101 from the camera 101. The video data encoding unit 103 encodes the video data received by the video data input unit 102 and outputs video data attribute information associated with the encoding process to the video metadata generation unit 104. Note that the video data attribute information refers to arbitrary information related to the encoding process, such as the data length of one frame of video data and the time when the encoding process was performed. The video data encoding unit 103 outputs the encoded video data to the video signal processing unit 105. The video metadata generation unit 104 extracts an image feature amount from the video data received by the video data input unit 102, and determines whether the upper video metadata and the lower video metadata depending on whether the image feature amount satisfies a set condition. The video metadata layered is generated. The video metadata is generated by combining the video data received by the video data input unit 102 and the video data attribute information input from the video data encoding unit 103.

映像信号処理部105は、映像メタデータ生成部104が出力する映像メタデータと、映像データ符号化部103が出力する映像データとを記録DB106に記録する。映像検索部107は、映像検索条件の入力を受けて記録DB106に記録されている映像メタデータの上位メタデータから検索をかけ、該当映像の有無を判断し、上位メタデータに該当映像がなければ下位映像メタデータの検索を行ない、検索結果に基づく映像データを特定し、出力する。条件入力部108は、ユーザが設定する映像検索条件を受け付ける。表示部109は、映像検索部107が出力した映像データを表示する。   The video signal processing unit 105 records the video metadata output from the video metadata generation unit 104 and the video data output from the video data encoding unit 103 in the recording DB 106. The video search unit 107 receives a video search condition and performs a search from the upper metadata of the video metadata recorded in the recording DB 106, determines whether there is a corresponding video, and if there is no corresponding video in the higher metadata. The lower video metadata is searched, and the video data based on the search result is specified and output. The condition input unit 108 receives video search conditions set by the user. The display unit 109 displays the video data output from the video search unit 107.

映像メタデータ生成部104および映像検索部107の動作について詳細に説明する。
図2は、この発明の実施の形態1における映像メタデータ生成部104の映像メタデータ生成に伴う処理に関するフローチャートである。
映像メタデータ生成部104は、映像データ入力部102より取得した映像データから任意の画像特徴量を抽出する(ステップST201)。
映像メタデータ生成部104は、映像データ符号化部103から、映像データの符号化処理時に取得される映像データ属性情報を受信する(ステップST202)。
映像メタデータ生成部104は、ステップST201において抽出した画像特徴量が任意の条件(閾値以上)であるかの判定を行なう(ステップST203)。例えば、「条件:一定の場所に一定時間留まる」などを条件に設定することができ、画像のある部分が一定時間動かなければ、一定時間留まっていたとして任意の条件を満たしたと判断する。なお、設定閾値は映像メタデータ生成部104が記憶しており、予めユーザにより任意に設定可能である。また、映像検索時に都度ユーザが条件入力部108より閾値を設定入力することも可能である。
The operations of the video metadata generation unit 104 and the video search unit 107 will be described in detail.
FIG. 2 is a flowchart relating to processing associated with video metadata generation in the video metadata generation unit 104 according to Embodiment 1 of the present invention.
The video metadata generation unit 104 extracts an arbitrary image feature amount from the video data acquired from the video data input unit 102 (step ST201).
The video metadata generation unit 104 receives the video data attribute information acquired during the video data encoding process from the video data encoding unit 103 (step ST202).
The video metadata generation unit 104 determines whether the image feature amount extracted in step ST201 is an arbitrary condition (a threshold value or more) (step ST203). For example, “condition: stay in a certain place for a certain period of time” can be set as a condition, and if a certain part of the image does not move for a certain period of time, it is determined that an arbitrary condition has been satisfied because it has remained for a certain period of time. The setting threshold value is stored in the video metadata generation unit 104 and can be arbitrarily set by the user in advance. Also, the user can set and input a threshold value from the condition input unit 108 each time a video is searched.

ステップST203において、画像特徴量が設定閾値以上であると判断された場合(ステップST203の“YES”の場合)、映像メタデータ生成部104は、ステップST202で受信した映像データ属性情報とあわせて、上位映像メタデータを生成する(ステップST204)。一方、ステップST203において、画像特徴量が設定閾以上でないと判断された場合(ステップST203の“NO”の場合)、映像メタデータ生成部104は、ステップST202で受信した映像データ属性情報とあわせて、下位映像メタデータを生成する(ステップST205)。   When it is determined in step ST203 that the image feature amount is equal to or larger than the set threshold (in the case of “YES” in step ST203), the video metadata generation unit 104 combines the video data attribute information received in step ST202, Upper video metadata is generated (step ST204). On the other hand, when it is determined in step ST203 that the image feature amount is not equal to or greater than the set threshold (in the case of “NO” in step ST203), the video metadata generation unit 104 combines with the video data attribute information received in step ST202. Then, lower video metadata is generated (step ST205).

映像メタデータ生成部104は、ステップST204で生成した上位映像メタデータ、および、ステップST205で生成した下位映像メタデータを階層化した映像メタデータを映像信号処理部105へ送信する(ステップST206)。映像信号処理部105では、受信した映像メタデータを記録DBに記録する。   The video metadata generation unit 104 transmits the higher-level video metadata generated in step ST204 and the video metadata obtained by hierarchizing the lower-level video metadata generated in step ST205 to the video signal processing unit 105 (step ST206). The video signal processing unit 105 records the received video metadata in the recording DB.

図3は、この発明の実施の形態1における映像検索部107の記録映像データ検索処理に関するフローチャートである。
映像検索部107は、条件入力部108から、ユーザが設定した映像検索条件を受信する(ステップST301)。
ステップST301において映像検索条件を受信すると、映像検索部107は、受信した映像検索条件に基づき、記録DB106に記録されている上位映像メタデータ内を検索する(ステップST302)。なお、この上位映像メタデータは、図2のステップST204において映像メタデータ生成部104により生成されたものである。
FIG. 3 is a flowchart relating to the recorded video data search processing of the video search unit 107 according to Embodiment 1 of the present invention.
Video search unit 107 receives the video search conditions set by the user from condition input unit 108 (step ST301).
When receiving the video search condition in step ST301, the video search unit 107 searches the upper video metadata recorded in the recording DB 106 based on the received video search condition (step ST302). Note that the higher-level video metadata is generated by the video metadata generation unit 104 in step ST204 of FIG.

ステップST302において、上位映像メタデータ内にステップST301で受信した映像検索条件を満たす映像メタデータがあると判断された場合(ステップST302の“YES”の場合)、映像検索部107は、該当の映像メタデータに対応する映像データを記録DB106から特定し、特定した映像データを表示部109に送信する(ステップST304)。一方、ステップST302において、映像検索条件を満たす映像メタデータがないと判断された場合(ステップST302の“NO”の場合)、映像検索部107は、受信した映像検索条件に基づき、記録DB106に記録されている下位映像メタデータ内を検索する(ステップST303)。なお、この下位映像メタデータは、図2のステップST205において映像メタデータ生成部104により生成されたものである。下位映像メタデータは映像メタデータ生成部104において、判別条件を満たさなかったものとして格納された映像メタデータであるが、その中には判別条件を満たせずとも周辺特徴を有する映像データを保持しているものも含まれており、下位映像メタデータ内を引き続き検索することは、検索効率の向上に有効である。   In step ST302, when it is determined that there is video metadata satisfying the video search condition received in step ST301 in the upper video metadata (in the case of “YES” in step ST302), the video search unit 107 selects the corresponding video. Video data corresponding to the metadata is specified from the recording DB 106, and the specified video data is transmitted to the display unit 109 (step ST304). On the other hand, when it is determined in step ST302 that there is no video metadata that satisfies the video search condition (in the case of “NO” in step ST302), the video search unit 107 records in the recording DB 106 based on the received video search condition. The searched lower video metadata is searched (step ST303). The lower-level video metadata is generated by the video metadata generation unit 104 in step ST205 of FIG. The low-order video metadata is video metadata stored in the video metadata generation unit 104 as not satisfying the determination condition, but holds video data having peripheral features even if the determination condition is not satisfied. Therefore, it is effective to improve the search efficiency to continuously search in the lower video metadata.

ステップST303において、下位映像メタデータ内にステップST301で受信した映像検索条件を満たす映像メタデータがあると判断された場合(ステップST303の“YES”の場合)、映像検索部107は、該当の映像メタデータに対応する映像データを記録DB106から特定し、特定した映像データを表示部109に出力する(ステップST304)。一方、ステップST303において、映像検索条件を満たす映像メタデータがないと判断された場合(ステップST303の“NO”の場合)、ステップST301に戻り、再度映像検索条件の受信を行なう。具体的には、ステップST303において、下位映像メタデータにも該当の映像メタデータがないと判断すると、映像検索部107は、表示部109に、再度検索条件の受付を促す画面を表示させる。なお、この時、受け付けた検索条件に該当する映像がない旨のメッセージを表示させるようにしてもよい。ユーザは、再度映像検索条件の入力を行ない、図3のステップST301からの処理が繰り返される。   If it is determined in step ST303 that there is video metadata that satisfies the video search condition received in step ST301 in the lower video metadata (in the case of “YES” in step ST303), the video search unit 107 selects the corresponding video. Video data corresponding to the metadata is specified from the recording DB 106, and the specified video data is output to the display unit 109 (step ST304). On the other hand, when it is determined in step ST303 that there is no video metadata that satisfies the video search condition (in the case of “NO” in step ST303), the process returns to step ST301 and receives the video search condition again. Specifically, when it is determined in step ST303 that there is no corresponding video metadata in the lower video metadata, the video search unit 107 causes the display unit 109 to display a screen that prompts reception of search conditions again. At this time, a message that there is no video corresponding to the accepted search condition may be displayed. The user inputs video search conditions again, and the processing from step ST301 in FIG. 3 is repeated.

以上のように、この発明の実施の形態1に係る映像信号記録再生装置によれば、映像データに対してユーザ任意の条件判定にて階層化された、所望映像候補の可能性が高い上位映像メタデータについて優先的に検索をかけることが可能であり、映像検索効率を向上させ、映像検索に要する時間短縮が可能である。また、検索に要する時間が短縮されることにより、ユーザの利便性が向上することが期待される。   As described above, according to the video signal recording / reproducing apparatus according to Embodiment 1 of the present invention, a high-order video that has a high possibility of a desired video candidate that is hierarchized based on user's arbitrary condition determination on video data It is possible to preferentially search for metadata, improving the video search efficiency and reducing the time required for video search. Moreover, it is expected that the convenience for the user is improved by reducing the time required for the search.

なお、この発明の実施の形態1については、カメラ101が1台接続された場合について記載したが、複数台のカメラを接続し、カメラ毎に同等の処理を行うように構成してもよい。
また、カメラ101が、映像信号記録再生装置10の外部に備えられるものとしたが、これに限らず、カメラ101を映像信号記録再生装置10に備えるものとしてもよい。
また、表示部109について、映像信号記録再生装置10の内部に備えるものとしたが、これに限らず、映像信号記録再生装置10が外部の表示装置と接続され、外部の表示装置において、ユーザからの入力受付、映像表示を行なうものとしてもよい。
Although the first embodiment of the present invention has been described with respect to the case where one camera 101 is connected, a configuration may be adopted in which a plurality of cameras are connected and equivalent processing is performed for each camera.
In addition, the camera 101 is provided outside the video signal recording / reproducing apparatus 10. However, the present invention is not limited thereto, and the camera 101 may be provided in the video signal recording / reproducing apparatus 10.
In addition, the display unit 109 is provided inside the video signal recording / reproducing apparatus 10, but the display unit 109 is not limited thereto, and the video signal recording / reproducing apparatus 10 is connected to an external display device. It is good also as what performs the input reception and video display.

実施の形態2.
実施の形態1では、映像メタデータ生成部104は、一つの条件に基づき、上位映像メタデータを生成するか下位映像メタデータを生成するかの判定を行なっていた。この実施の形態2では、少なくとも2つ以上の条件に基づき、上位映像メタデータもしくは下位映像メタデータを生成する実施の形態について説明する。
この実施の形態2に係る映像信号記録再生装置10の構成は、実施の形態1において図1で示したものと同様であるため重複した説明を省略する。
実施の形態1とは、映像メタデータ生成部104,映像検索部107の動作が異なるのみであるので、以下異なる点についてのみ説明する。
Embodiment 2. FIG.
In the first embodiment, the video metadata generation unit 104 determines whether to generate high-order video metadata or low-order video metadata based on one condition. In the second embodiment, an embodiment in which upper video metadata or lower video metadata is generated based on at least two conditions will be described.
Since the configuration of the video signal recording / reproducing apparatus 10 according to the second embodiment is the same as that shown in FIG. 1 in the first embodiment, a duplicate description is omitted.
Since only the operations of the video metadata generation unit 104 and the video search unit 107 are different from those of the first embodiment, only different points will be described below.

図4は、この発明の実施の形態2における映像メタデータ生成部104のメタデータ生成に伴う処理に関するフローチャートである。なお、図4のステップST401〜ステップST402は、図2のステップST201〜ステップST202と同様であるため詳細な説明を省略する。   FIG. 4 is a flowchart relating to processing associated with metadata generation in the video metadata generation unit 104 according to Embodiment 2 of the present invention. Note that step ST401 to step ST402 in FIG. 4 are the same as step ST201 to step ST202 in FIG.

映像メタデータ生成部104は、ステップST401において抽出した画像特徴量が任意の第1の条件(閾値以上)を満たすかどうかの判定を行なう(第1の条件:ステップST403)。
映像メタデータ生成部104は、ステップST401において抽出した画像特徴量が任意の第2の条件(閾値以上)を満たすかどうかの判定を行なう(第2の条件:ステップST404)。
なお、設定閾値は映像メタデータ生成部104が記憶しており、例えば、「条件1:一定の場所に一定時間留まる」「条件2:大声で叫ぶ」などをそれぞれ設定することが可能であり、画像のある部分が一定時間動かなければ、一定時間留まっていたとして任意の条件を満たしたと判断する。また、一定値以上の音量が検出されれば大声で叫んだとして任意の条件を満たしたと判断する。この条件は、予めユーザにより任意に設定することとしてもよいし、映像検索時に都度ユーザが条件入力部108より閾値を設定入力するようにしてもよい。
The video metadata generation unit 104 determines whether or not the image feature amount extracted in step ST401 satisfies any first condition (threshold value or more) (first condition: step ST403).
The video metadata generation unit 104 determines whether or not the image feature amount extracted in step ST401 satisfies an arbitrary second condition (threshold value or more) (second condition: step ST404).
Note that the setting threshold value is stored in the video metadata generation unit 104. For example, “condition 1: stay in a certain place for a certain time”, “condition 2: shout loudly”, and the like can be set. If a certain part of the image does not move for a certain period of time, it is determined that an arbitrary condition has been satisfied because it has remained for a certain period of time. Further, if a sound volume of a certain value or more is detected, it is determined that an arbitrary condition has been satisfied because it is yelled out loud. This condition may be set arbitrarily by the user in advance, or the user may set and input a threshold value from the condition input unit 108 each time a video is searched.

ステップST403において、画像特徴量が条件1の設定閾値以上であると判断された場合(ステップST403の“YES”の場合)、映像メタデータ生成部104は、ステップST402で受信した映像データ属性情報とあわせて、上位映像メタデータを生成する(ステップST405)。一方、ステップST403において、画像特徴量が条件1の設定閾以上でないと判断された場合(ステップST403の“NO”の場合)、映像メタデータ生成部104は、ステップST402で受信した映像データ属性情報とあわせて、下位映像メタデータを生成する(ステップST406)。   In step ST403, when it is determined that the image feature amount is equal to or larger than the setting threshold value of condition 1 (in the case of “YES” in step ST403), the video metadata generation unit 104 and the video data attribute information received in step ST402 In addition, upper video metadata is generated (step ST405). On the other hand, when it is determined in step ST403 that the image feature amount is not equal to or greater than the setting threshold of condition 1 (in the case of “NO” in step ST403), the video metadata generation unit 104 receives the video data attribute information received in step ST402. In addition, lower video metadata is generated (step ST406).

また、ステップST404において、画像特徴量が条件2の設定閾値以上であると判断された場合(ステップST404の“YES”の場合)、映像メタデータ生成部104は、ステップST402で受信した映像データ属性情報とあわせて、上位映像メタデータを生成する(ステップST405)。一方、ステップST404において、画像特徴量が条件1の設定閾以上でないと判断された場合(ステップST404の“NO”の場合)、映像メタデータ生成部104は、ステップST402で受信した映像データ属性情報とあわせて、下位映像メタデータを生成する(ステップST406)。
なお、ステップST405,ステップST406において、映像メタデータ生成部104は、対応する条件に関するフラグを持った状態で各映像メタデータを生成する。
ステップST407の処理は、図2のステップST202と同様であるため詳細な説明を省略する。
When it is determined in step ST404 that the image feature amount is equal to or greater than the setting threshold value of condition 2 (in the case of “YES” in step ST404), the video metadata generation unit 104 receives the video data attribute received in step ST402. Together with the information, high-order video metadata is generated (step ST405). On the other hand, when it is determined in step ST404 that the image feature amount is not equal to or greater than the setting threshold of condition 1 (in the case of “NO” in step ST404), the video metadata generation unit 104 receives the video data attribute information received in step ST402. In addition, lower video metadata is generated (step ST406).
In step ST405 and step ST406, the video metadata generation unit 104 generates each video metadata with a flag regarding the corresponding condition.
Since the process of step ST407 is the same as that of step ST202 of FIG. 2, detailed description is abbreviate | omitted.

図5は、この発明の実施の形態2における映像検索部107の記録映像データ検索処理に関するフローチャートである。
映像検索部107は、条件入力部108から、ユーザが設定した映像検索条件1を受信する(ステップST501)。また、映像検索部107は、条件入力部108から、ユーザが設定した映像検索条件2を受信する(ステップST502)。
ステップST501において映像検索条件1、ステップST502において映像検索条件2を受信すると、映像検索部107は、受信した映像検索条件1,2に基づき、記録DB106に記録されている上位映像メタデータ内を検索する(ステップST503)。なお、この上位映像メタデータは、図4のステップST405において映像メタデータ生成部104により生成されたものである。
FIG. 5 is a flowchart relating to the recorded video data search processing of the video search unit 107 according to the second embodiment of the present invention.
Video search unit 107 receives video search condition 1 set by the user from condition input unit 108 (step ST501). In addition, video search unit 107 receives video search condition 2 set by the user from condition input unit 108 (step ST502).
When the video search condition 1 is received in step ST501 and the video search condition 2 is received in step ST502, the video search unit 107 searches the upper video metadata recorded in the recording DB 106 based on the received video search conditions 1 and 2. (Step ST503). The upper video metadata is generated by the video metadata generation unit 104 in step ST405 of FIG.

ステップST503において、上位映像メタデータ内にステップST501,ステップST502で受信した映像検索条件1,2を満たす映像メタデータがあると判断された場合(ステップST503の“YES”の場合)、映像検索部107は、該当の映像メタデータに対応する映像データを記録DB106から特定し、特定した映像データを表示部109に送信する(ステップST505)。一方、ステップST503において、映像検索条件1,2を満たす映像メタデータがないと判断された場合(ステップST503の“NO”の場合)、映像検索部107は、受信した映像検索条件1,2に基づき、記録DB106に記録されている下位映像メタデータ内を検索する(ステップST504)。なお、この下位映像メタデータは、図2のステップST205において映像メタデータ生成部104により生成されたものである。下位映像メタデータは映像メタデータ生成部104において、判別条件を満たさなかったものとして格納された映像メタデータであるが、その中には判別条件を満たせずとも周辺特徴を有する映像データを保持しているものも含まれており、下位映像メタデータ内を引き続き検索することは、検索効率の向上に有効である。   When it is determined in step ST503 that there is video metadata satisfying the video search conditions 1 and 2 received in step ST501 and step ST502 in the upper video metadata (in the case of “YES” in step ST503), the video search unit 107 identifies video data corresponding to the corresponding video metadata from the recording DB 106, and transmits the identified video data to the display unit 109 (step ST505). On the other hand, when it is determined in step ST503 that there is no video metadata that satisfies the video search conditions 1 and 2 (in the case of “NO” in step ST503), the video search unit 107 determines that the received video search conditions 1 and 2 are satisfied. Based on the lower video metadata recorded in the recording DB 106, the search is performed (step ST504). The lower-level video metadata is generated by the video metadata generation unit 104 in step ST205 of FIG. The low-order video metadata is video metadata stored in the video metadata generation unit 104 as not satisfying the determination condition, but holds video data having peripheral features even if the determination condition is not satisfied. Therefore, it is effective to improve the search efficiency to continuously search in the lower video metadata.

ステップST504において、映像検索条件1,2を満たす映像メタデータがあると判断された場合(ステップST504の“YES”の場合)、映像検索部107は、該当の映像メタデータに対応する映像データを記録DB106から特定し、特定した映像データを表示部109に送信する(ステップST505)。一方、ステップST504において、映像検索条件1,2を満たす映像メタデータがないと判断された場合(ステップST504の“NO”の場合)、ステップST501,ステップST502に戻り、再度映像検索条件の受信を行なう。具体的には、ステップST504において、下位映像メタデータにも該当の映像メタデータがないと判断すると、映像検索部107は、表示部109に、再度検索条件の受付を促す画面を表示させる。なお、この時、受け付けた検索条件に該当する映像がない旨のメッセージを表示させるようにしてもよい。ユーザは、再度映像検索条件の入力を行ない、図5のステップST501,502からの処理が繰り返される。   When it is determined in step ST504 that there is video metadata that satisfies the video search conditions 1 and 2 (in the case of “YES” in step ST504), the video search unit 107 selects video data corresponding to the corresponding video metadata. The video data specified from the recording DB 106 is transmitted to the display unit 109 (step ST505). On the other hand, when it is determined in step ST504 that there is no video metadata satisfying the video search conditions 1 and 2 (in the case of “NO” in step ST504), the process returns to step ST501 and step ST502 to receive the video search conditions again. Do. Specifically, when it is determined in step ST504 that there is no corresponding video metadata in the lower-level video metadata, the video search unit 107 causes the display unit 109 to display a screen that prompts reception of search conditions again. At this time, a message that there is no video corresponding to the accepted search condition may be displayed. The user inputs video search conditions again, and the processes from steps ST501 and 502 in FIG. 5 are repeated.

なお、映像検索条件1,2のいずれか一方の条件を満たさなかったと判断した場合、映像検索部107は、上位映像メタデータおよび下位映像メタデータのフラグに基づきそれを特定し、表示部109に対し、例えば、満たさなかった方の条件を知らせるメッセージを表示させたり、満たさなかった方の条件の入力部のみを反転させるなどするようにしてもよい。   If it is determined that either one of the video search conditions 1 and 2 is not satisfied, the video search unit 107 identifies it based on the flags of the upper video metadata and the lower video metadata and displays them on the display unit 109. On the other hand, for example, a message notifying the condition that has not been satisfied may be displayed, or only the input part of the condition that has not been satisfied may be reversed.

ここで、ステップST503,ステップST504の判定について補足する。
ここでは、映像検索条件1,2を共に満たす場合に該当映像があると判断するものとしたが、映像検索条件1,2のどちらか一方を満たす場合に該当映像があると判断してもよく、ユーザが映像検索条件を入力する際に指定すればよい。映像検索部107は、その指定に基づき、ステップST503で該当映像があるかどうかの判定を行なう。
Here, it supplements about determination of step ST503 and step ST504.
Here, it is determined that there is a corresponding video when both of the video search conditions 1 and 2 are satisfied, but it may be determined that there is a corresponding video when either of the video search conditions 1 and 2 is satisfied. This may be specified when the user inputs video search conditions. Based on the designation, video search section 107 determines whether there is a corresponding video in step ST503.

以上のように、この実施の形態2によれば、実施の形態1と同様、映像データに対してユーザ任意の条件判定にて階層化された、所望映像候補の可能性が高い上位映像メタデータについて優先的に検索をかけることが可能であり、映像検索に要する時間短縮が可能である。また、この発明の実施の形態2によれば、映像メタデータの階層化の際、および、再生画像の検索の際に複数の条件を指定することが可能となり、例えば、セキュリティーシステムにおける映像信号記録再生装置のように、ユーザが検索を望む映像の特徴がある程度想定可能である場合に、事前設定により想定され得るいくつかのパターンを指定しておくことで、新規検索条件入力およびそれに伴う映像メタデータ階層化の時間を削減することが可能となり、より検索の効率化を図ることができる。   As described above, according to the second embodiment, as in the first embodiment, the higher-order video metadata that has a high possibility of a desired video candidate and is hierarchized based on the user's arbitrary condition determination on the video data. Can be preferentially searched, and the time required for video search can be shortened. Further, according to the second embodiment of the present invention, it is possible to specify a plurality of conditions at the time of hierarchizing video metadata and at the time of retrieving a playback image. For example, video signal recording in a security system is possible. When the features of the video that the user wants to search can be assumed to some extent, as in the case of a playback device, by specifying some patterns that can be assumed by presetting, new search condition input and accompanying video meta-data are specified. Data stratification time can be reduced, and search efficiency can be improved.

なお、この発明の実施の形態2については、カメラ部101が1台接続された場合について記載したが、複数台のカメラを接続し、カメラ毎に同等の処理を行うように構成してもよい。
また、上記の説明において、映像メタデータ作成の際の階層化の条件は2つとしたが、これに限らず、3つ以上の条件を指定するように構成することもできる。また、映像検索条件についても、上記説明においては2つとしたが、これに限らず、3つ以上の条件を指定するように構成することもできる。
In addition, about Embodiment 2 of this invention, although the case where one camera part 101 was connected was described, you may comprise so that several cameras may be connected and an equivalent process may be performed for every camera. .
In the above description, the number of hierarchization conditions at the time of creating the video metadata is two. However, the present invention is not limited to this, and three or more conditions may be designated. Also, the video search conditions are two in the above description. However, the present invention is not limited to this, and three or more conditions may be designated.

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。   In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .

10 映像信号記録再生装置、101 カメラ、102 映像データ入力部、103 映像データ符号化部、104 映像メタデータ生成部、105 映像信号処理部、106 記録データベース、107 映像検索部、108 条件入力部、109 表示部。   DESCRIPTION OF SYMBOLS 10 Video signal recording / reproducing apparatus, 101 Camera, 102 Video data input part, 103 Video data encoding part, 104 Video metadata production | generation part, 105 Video signal processing part, 106 Recording database, 107 Video search part, 108 Condition input part, 109 Display unit.

Claims (3)

カメラによって撮影された映像データを受信する映像入力部と、
前記映像入力部が受信した前記映像データの符号化を行なう映像データ符号化部と、
前記映像データの画像特徴量が、設定された条件を満たすかどうかによって上位映像メタデータと下位映像メタデータとに階層化された映像メタデータを生成する映像メタデータ生成部と、
前記映像データ符号化部が符号化した前記映像データと、前記映像メタデータ生成部が生成した前記映像メタデータとを記録データベースに記録させる映像信号処理部と、
映像検索条件を受信し、前記記録データベースに記録されている階層化された前記映像メタデータのうち、前記上位映像メタデータから検索を実行して前記映像検索条件を満たす前記映像メタデータを特定し、特定した前記映像データに対応する、前記記録部に記録されている前記映像データを出力する映像検索部
とを備えた映像信号記録再生装置。
A video input unit for receiving video data captured by the camera;
A video data encoding unit for encoding the video data received by the video input unit;
A video metadata generation unit that generates video metadata layered into upper video metadata and lower video metadata depending on whether the image feature amount of the video data satisfies a set condition;
A video signal processing unit that records the video data encoded by the video data encoding unit and the video metadata generated by the video metadata generation unit in a recording database;
A video search condition is received, and the video metadata satisfying the video search condition is identified by performing a search from the higher-order video metadata among the hierarchized video metadata recorded in the recording database. A video signal recording / reproducing apparatus comprising: a video search unit that outputs the video data recorded in the recording unit corresponding to the specified video data.
前記設定された条件は、ユーザによる設定および設定変更が可能である
ことを特徴とする請求項1記載の映像信号記録再生装置。
The video signal recording / reproducing apparatus according to claim 1, wherein the set condition can be set and changed by a user.
前記映像メタデータ生成部は、複数の条件による判定にて、各条件に基づき階層化された前記映像メタデータを生成し、
前記映像検索部は、複数の前記映像検索条件を受信し、各映像検索条件に応じた前記映像メタデータの検索を実行する
ことを特徴とする請求項1記載の映像信号記録再生装置。
The video metadata generation unit generates the video metadata layered based on each condition in the determination based on a plurality of conditions,
The video signal recording / reproducing apparatus according to claim 1, wherein the video search unit receives a plurality of the video search conditions, and searches the video metadata according to each video search condition.
JP2013104191A 2013-05-16 2013-05-16 Video signal recording and playback device Active JP6180179B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013104191A JP6180179B2 (en) 2013-05-16 2013-05-16 Video signal recording and playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013104191A JP6180179B2 (en) 2013-05-16 2013-05-16 Video signal recording and playback device

Publications (2)

Publication Number Publication Date
JP2014225143A true JP2014225143A (en) 2014-12-04
JP6180179B2 JP6180179B2 (en) 2017-08-16

Family

ID=52123775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013104191A Active JP6180179B2 (en) 2013-05-16 2013-05-16 Video signal recording and playback device

Country Status (1)

Country Link
JP (1) JP6180179B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097672A (en) * 2015-11-25 2017-06-01 京セラドキュメントソリューションズ株式会社 Information providing device and image forming apparatus
WO2018110100A1 (en) 2016-12-15 2018-06-21 オムロン株式会社 Instruction system, instruction device, method, and program
JP2019533233A (en) * 2016-09-14 2019-11-14 アマゾン・テクノロジーズ、インコーポレイテッド Media storage

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011244043A (en) * 2010-05-14 2011-12-01 Mitsubishi Electric Corp Recorded video playback system
JP2013009248A (en) * 2011-06-27 2013-01-10 Nippon Telegr & Teleph Corp <Ntt> Video detection method, video detection device, and video detection program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011244043A (en) * 2010-05-14 2011-12-01 Mitsubishi Electric Corp Recorded video playback system
JP2013009248A (en) * 2011-06-27 2013-01-10 Nippon Telegr & Teleph Corp <Ntt> Video detection method, video detection device, and video detection program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097672A (en) * 2015-11-25 2017-06-01 京セラドキュメントソリューションズ株式会社 Information providing device and image forming apparatus
JP2019533233A (en) * 2016-09-14 2019-11-14 アマゾン・テクノロジーズ、インコーポレイテッド Media storage
US10701377B2 (en) 2016-09-14 2020-06-30 Amazon Technologies, Inc. Media storage
US11553196B2 (en) 2016-09-14 2023-01-10 Amazon Technologies, Inc. Media storage
US11785232B2 (en) 2016-09-14 2023-10-10 Amazon Technologies, Inc. Media storage
WO2018110100A1 (en) 2016-12-15 2018-06-21 オムロン株式会社 Instruction system, instruction device, method, and program
US11036498B2 (en) 2016-12-15 2021-06-15 Omron Corporation Instruction system, instruction device, method, and program

Also Published As

Publication number Publication date
JP6180179B2 (en) 2017-08-16

Similar Documents

Publication Publication Date Title
US8966372B2 (en) Systems and methods for performing geotagging during video playback
US11704328B2 (en) Columnar storage and query method and system for time series data
JP2019501466A (en) Method and system for search engine selection and optimization
CN106156244B (en) Information search navigation method and device
US9323803B2 (en) Collaborative filtering of a graph
JP2015204105A (en) Method and device for providing recommendation information
CN111881422B (en) Picture processing method and device based on block chain
CN104881451A (en) Image searching method and image searching device
CN108319628B (en) User interest determination method and device
JP6180179B2 (en) Video signal recording and playback device
KR100946694B1 (en) System and Method for managing and detecting duplicate moving picture files based on video contents
US20180011613A1 (en) Generating interactive menu for contents search based on user inputs
CN107451204B (en) Data query method, device and equipment
US8868429B2 (en) Method and device for storing audio data
JP2005033619A (en) Contents management device and contents management method
US9053526B2 (en) Method and apparatus for encoding cloud display screen by using application programming interface information
US9224069B2 (en) Program, method and apparatus for accumulating images that have associated text information
JP5210970B2 (en) Common query graph pattern generation method, common query graph pattern generation device, and common query graph pattern generation program
KR102519159B1 (en) Electronic apparatus and control method thereof
JP6203424B2 (en) Video / audio recording apparatus and monitoring system
KR100896335B1 (en) System and Method for managing and detecting duplicate movie files based on audio contents
JP2021111838A (en) File generator, file playback device, file generation method, file playback method, and program
CN108428189B (en) Social resource processing method and device and readable medium
US10027750B1 (en) Utilizing network identifiers that are based on media items
JP2006139682A (en) Video search system, video search method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170718

R150 Certificate of patent or registration of utility model

Ref document number: 6180179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250