JP2018011113A - Video recording and playback system - Google Patents

Video recording and playback system Download PDF

Info

Publication number
JP2018011113A
JP2018011113A JP2016136790A JP2016136790A JP2018011113A JP 2018011113 A JP2018011113 A JP 2018011113A JP 2016136790 A JP2016136790 A JP 2016136790A JP 2016136790 A JP2016136790 A JP 2016136790A JP 2018011113 A JP2018011113 A JP 2018011113A
Authority
JP
Japan
Prior art keywords
search
video
image
processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016136790A
Other languages
Japanese (ja)
Other versions
JP6662223B2 (en
Inventor
将博 松江
Masahiro Matsue
将博 松江
裕志 笠原
Hiroshi Kasahara
裕志 笠原
舞 菊地
Mai Kikuchi
舞 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016136790A priority Critical patent/JP6662223B2/en
Publication of JP2018011113A publication Critical patent/JP2018011113A/en
Application granted granted Critical
Publication of JP6662223B2 publication Critical patent/JP6662223B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve a problem in that in a video and monitor system in recent years, the image quality of a camera video, the rating of frame, the capacity of HDD incorporated in a recorder have been increased, and hence processing capability required for a recorder has also been increased, to cope with which, prior art provides an external processing device in addition to a recorder and retrieves a video, in which case a cost increase for carry, space or the like for the device installation are involved.SOLUTION: A video recording and playback system comprises a processing section including: a retrieval processing section; and an image processing section that performs an image correction process. In the processing section, one of a retrieval process in the retrieval processing section and the image correction process in the image processing section is performed.SELECTED DRAWING: Figure 5

Description

本発明は、監視カメラに接続された映像記録再生装置に関し、特に映像検索機能を有するものである。   The present invention relates to a video recording / playback apparatus connected to a surveillance camera, and particularly has a video search function.

近年、映像監視システムでは、レコーダーに複数のカメラを接続し、各カメラで撮影した映像をレコーダーに内蔵されたHDD(Hard Disk Drive)に記録する監視カメラシステムが一般的となっている。また、カメラの映像は高画質化・高フレームレート化し、レコーダーに内蔵されるHDDは大容量化が進んでおり、鮮明な映像を長時間記録できるようになってきている。しかし、映像の高画質化・高フレームレート化に伴い、レコーダーに求められる処理能力は高くなっている。また、HDDは大容量化に伴い、再生したい映像の撮影時刻が明確にわからない場合、映像を探し出すことが難しく、ユーザーの負担が大きくなっている。   2. Description of the Related Art In recent years, a surveillance camera system in which a plurality of cameras are connected to a recorder and an image photographed by each camera is recorded on a HDD (Hard Disk Drive) built in the recorder has become common in the video surveillance system. In addition, the video of the camera has been improved in image quality and frame rate, and the HDD built in the recorder has been increased in capacity, so that a clear video can be recorded for a long time. However, with the increase in image quality and frame rate of video, the processing capability required of recorders has increased. Further, as the capacity of an HDD increases, it is difficult to find the video when the shooting time of the video to be reproduced is not clearly known, which increases the burden on the user.

従来から、映像の再生時におけるユーザーの負荷軽減を目的とし、記録映像をユーザーが指定する条件により検索し、目的の映像を再生する技術がある。特許文献1では、外部処理装置をレコーダーに接続し、レコーダーのHDDに記録された映像を外部処理装置に読み出し、外部処理装置にてユーザーの指定する条件で検索して、目的の映像を外部記録媒体に再度記録し、ユーザーの要求時に再生することで、レコーダーに映像検索時の負荷をかけずにユーザーが指定する条件を満たす記録映像を抽出する映像記録システムが開示されている。   2. Description of the Related Art Conventionally, there is a technique for searching a recorded video according to a condition specified by the user and reproducing the target video for the purpose of reducing the load on the user during video playback. In Patent Document 1, an external processing device is connected to a recorder, a video recorded on the HDD of the recorder is read to the external processing device, and the external processing device searches for the conditions specified by the user, and the target video is recorded externally. There has been disclosed a video recording system that extracts a recorded video that satisfies a condition specified by the user without applying a load at the time of video search to the recorder by re-recording on the medium and playing it when requested by the user.

特開2011−188370号公報JP 2011-188370 A

特許文献1に開示されている従来技術では、レコーダーの他に、外部処理装置が必要となり運用時のコスト上昇や新たな装置を設置するスペース等が必要となるとの課題がある。本発明は上記のような課題を解消するためになされたものである。   In the prior art disclosed in Patent Document 1, there is a problem that, in addition to the recorder, an external processing device is required, which increases costs during operation and requires a space for installing a new device. The present invention has been made to solve the above-described problems.

この発明は上述のような課題を解消するためになされたもので、本発明によれば、ネットワークを介してカメラと接続する映像記録再生装置は、カメラから検索用の第一の映像ストリームと再生用の第二の映像ストリームとを受信する受信部と、検索用の第一の映像ストリームをデコード後第一の映像データへ、再生用の第二の映像ストリームをデコード後第二の映像データへ復号処理するデコード部と、検索条件を受付ける入力部と、デコード後第一の映像データを用いて検索条件に一致する映像フレームを検索する検索処理を実施する検索処理部と、デコード後第二の映像データを用いて画像補正処理を実施する画像処理部とを含む処理部とを備え、処理部において、検索処理部における検索処理と画像処理部における画像補正処理とはいずれか一方を実施する。   The present invention has been made to solve the above-described problems. According to the present invention, a video recording / playback apparatus connected to a camera via a network plays back a first video stream for retrieval from the camera. A receiver for receiving the second video stream for decoding, the first video stream for search to the first video data after decoding, and the second video stream for playback to the second video data after decoding A decoding unit that performs a decoding process, an input unit that receives a search condition, a search processing unit that performs a search process that searches for a video frame that matches the search condition using the first video data after decoding, and a second after decoding A processing unit including an image processing unit that performs image correction processing using video data. In the processing unit, search processing in the search processing unit and image correction processing in the image processing unit Deviation or to implement one.

この発明に依れば、外部処理装置を用いることなく、またレコーダーの処理能力を増加させることなく、映像検索を実現することが可能となる。これにより、映像監視システムの運用コストの抑制や、設置スペースの削減との効果を得ることができる。   According to the present invention, it is possible to realize video search without using an external processing device and without increasing the processing capability of the recorder. As a result, it is possible to obtain the effects of suppressing the operation cost of the video surveillance system and reducing the installation space.

この発明の実施の形態1による映像記録再生装置を含む映像監視システム全体の構成図である。It is a block diagram of the whole video surveillance system including the video recording / reproducing apparatus by Embodiment 1 of this invention. この発明の実施の形態1による映像記録再生装置102の機能構成図である。It is a function block diagram of the video recording / reproducing apparatus 102 by Embodiment 1 of this invention. この発明の実施の形態1によるカメラから送信される検索用の第一の映像ストリームと再生用の第二の映像ストリームの概念図である。It is a conceptual diagram of the 1st video stream for a search transmitted from the camera by Embodiment 1 of this invention, and the 2nd video stream for reproduction | regeneration. この発明の実施の形態1による映像記録再生装置102のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the video recording / reproducing apparatus 102 by Embodiment 1 of this invention. この発明の実施の形態1による動作フロー図である。It is an operation | movement flowchart by Embodiment 1 of this invention. この発明の実施の形態1による出力部213へ接続されたモニタのメイン画面の表示例である。It is an example of a display of the main screen of the monitor connected to the output part 213 by Embodiment 1 of this invention. この発明の実施の形態1による出力部213へ接続されたモニタのカメラ選択画面の表示例である。ユーザーが検索対象とするカメラを指定する画面を示す説明図である。It is an example of a display of the camera selection screen of the monitor connected to the output part 213 by Embodiment 1 of this invention. It is explanatory drawing which shows the screen which a user designates the camera made into search object. この発明の実施の形態2による動作フロー図である。It is an operation | movement flowchart by Embodiment 2 of this invention. この発明の実施の形態2による出力部213へ接続されたモニタのサムネイル表示画面の表示例である。It is a display example of the thumbnail display screen of the monitor connected to the output part 213 by Embodiment 2 of this invention.

実施の形態1.
図1は、この発明の実施の形態1による映像記録再生装置を含む映像監視システム全体の構成図である。 図1において、カメラ101、映像記録再生装置102は、ネットワーク103に接続されている。カメラ101は、対象領域を撮影することで得た映像を検索用の第一の映像ストリームと、再生用の第二の映像ストリームとして、ネットワーク103を介して映像記録再生装置102へ送信する。映像記録再生装置102は、受信した映像を記録する。映像は、画像でもよい。モニタ104は、映像記録再生装置102から入力されるカメラ101にて撮影された映像、映像記録再生装置102の操作画面を表示する。また、映像記録再生装置102は、入力装置105によりユーザーによる操作が可能である。なお、カメラ101は、撮像装置とも称され、また具体的には監視カメラであってもよく、複数接続されてもよい。また、カメラ101と映像記録再生装置102は直接接続されてもよい。
Embodiment 1 FIG.
FIG. 1 is a configuration diagram of an entire video monitoring system including a video recording / reproducing apparatus according to Embodiment 1 of the present invention. In FIG. 1, a camera 101 and a video recording / playback apparatus 102 are connected to a network 103. The camera 101 transmits the video obtained by shooting the target area as a first video stream for search and a second video stream for playback to the video recording / playback apparatus 102 via the network 103. The video recording / playback apparatus 102 records the received video. The video may be an image. The monitor 104 displays the video captured by the camera 101 input from the video recording / playback apparatus 102 and the operation screen of the video recording / playback apparatus 102. Further, the video recording / reproducing apparatus 102 can be operated by the user with the input apparatus 105. Note that the camera 101 is also referred to as an imaging device, and more specifically, may be a surveillance camera, or a plurality of cameras may be connected. Further, the camera 101 and the video recording / reproducing apparatus 102 may be directly connected.

図2は、この発明の実施の形態1による映像記録再生装置102の機能構成図である。受信部201は、ネットワーク103を介してカメラ101から検索用の第一の映像ストリーム202と再生用の第二の映像ストリーム203を受信する。   FIG. 2 is a functional configuration diagram of the video recording / reproducing apparatus 102 according to Embodiment 1 of the present invention. The receiving unit 201 receives the first video stream 202 for search and the second video stream 203 for reproduction from the camera 101 via the network 103.

図3は、この発明の実施の形態1による映像記録再生装置102が受信する検索用の第一の映像ストリーム202と再生用の第二の映像ストリーム203の概念図である。カメラ101は、常時、検索用の第一の映像ストリーム202と再生用の第二の映像ストリーム203とを送信し、映像記録再生装置102は、各カメラから、常時、検索用の第一の映像ストリーム202と再生用の第二の映像ストリーム203とを受信する。映像記録再生装置102に、カメラ101を、複数接続しても良い。また、図3では、検索用の第一の映像ストリーム202と再生用の第二の映像ストリーム203とを便宜上、別線にて表しているが、異なるストリームであればよく、同一の通信線を用いて通信されてよい。なお、検索用の第一の映像ストリーム202は、QVGA(Quadruple Video Graphics Array)、1fps程度、再生用の第二の映像ストリーム203は、FullHD(Full High Definition)、30fps程度を想定する。   FIG. 3 is a conceptual diagram of the first video stream 202 for search and the second video stream 203 for playback received by the video recording / playback apparatus 102 according to the first embodiment of the present invention. The camera 101 always transmits the first video stream 202 for search and the second video stream 203 for playback, and the video recording / playback apparatus 102 always transmits the first video for search from each camera. A stream 202 and a second video stream 203 for reproduction are received. A plurality of cameras 101 may be connected to the video recording / reproducing apparatus 102. In FIG. 3, the first video stream 202 for search and the second video stream 203 for reproduction are represented by separate lines for convenience, but different streams may be used, and the same communication line may be connected. May be used to communicate. It is assumed that the first video stream 202 for search is about QVGA (Quadruple Video Graphics Array) and about 1 fps, and the second video stream 203 for reproduction is about Full HD (Full High Definition) and about 30 fps.

検索用の第一の映像ストリーム202は、第二のストリーム203と比較して低解像度、あるいは低フレームレートとする。検索用の第一の映像ストリーム202のデータ量が、第二のストリーム203とのデータ量と比較して少なくなることから、検索処理に要する時間が短くなるとの効果を得ることができる。
再生用の第二の映像ストリーム203は、第一のストリーム202と比較して高解像度、あるいは高フレームレートとする。再生用の第二の映像ストリーム202のデータ量が、第二のストリーム203とのデータ量と比較して多くなることから、再生処理を高解像にて実施することができ、再生処理の際に画像をよりよく見せることができるとの効果を得ることができる。
The first video stream 202 for search has a lower resolution or a lower frame rate than the second stream 203. Since the data amount of the first video stream 202 for search is smaller than the data amount of the second stream 203, an effect that the time required for the search process is shortened can be obtained.
The second video stream 203 for reproduction has a higher resolution or a higher frame rate than the first stream 202. Since the amount of data in the second video stream 202 for reproduction is larger than the amount of data in the second stream 203, the reproduction process can be performed with high resolution. It is possible to obtain an effect that the image can be shown better.

図2に戻って説明する。検索用の第一の映像ストリーム202は、第一記録部204へ記録する。再生用の第二の映像ストリーム203は、第二記録部205へ記録され、またデコード部209へ入力される。処理部206は、検索処理部207と画像処理部208を有する。検索処理部207が処理中は、画像処理部208の処理を停止する。つまり検索処理部207と画像処理部208は、いずれか一方を動作させる。あるいは排他的に動作させる、あるいは択一的に動作させるとも言う。これにより、処理部206全体の処理負荷を増加させることなく、映像記録再生装置102内で検索処理と画像処理を実現することができる。画像処理部208で実施する処理の具体例としては、超解像処理などの画像をより良く見せるための画像補正処理である。   Returning to FIG. The first video stream 202 for search is recorded in the first recording unit 204. The second video stream 203 for reproduction is recorded in the second recording unit 205 and input to the decoding unit 209. The processing unit 206 includes a search processing unit 207 and an image processing unit 208. While the search processing unit 207 is processing, the processing of the image processing unit 208 is stopped. That is, either the search processing unit 207 or the image processing unit 208 is operated. Alternatively, it is said to operate exclusively or alternatively. Thereby, it is possible to realize search processing and image processing within the video recording / reproducing apparatus 102 without increasing the processing load of the entire processing unit 206. A specific example of the processing performed by the image processing unit 208 is image correction processing for better displaying an image such as super-resolution processing.

検索用の第一の映像ストリーム202は、デコード部209で復号され、デコード後第一の映像データ210として処理部206の検索処理部207へ入力される。
再生用の第二の映像ストリーム203は、デコード部209で復号され、デコード後第二の映像データ211として処理部206の画像処理部208へ入力する。画像処理部208は、デコード後第二の映像データ211に対して、超解像処理などの画像をより良く見せるための画像補正処理を実施し、画像処理後第二の映像データ212を出力部213へ入力する。
The first video stream 202 for search is decoded by the decoding unit 209 and input to the search processing unit 207 of the processing unit 206 as first video data 210 after decoding.
The second video stream 203 for reproduction is decoded by the decoding unit 209 and input to the image processing unit 208 of the processing unit 206 as second video data 211 after decoding. The image processing unit 208 performs image correction processing for better displaying the image such as super-resolution processing on the second video data 211 after decoding, and outputs the second video data 212 after image processing to the output unit Input to 213.

入力部214は、検索情報を入力するためのユーザー操作を受付ける。検索情報の具体例としては、検索開始指示、検索条件などがある。検索条件の具体例としては、「検索範囲」「抽出画像の条件」などである。検索範囲は、例えば、検索対象期間、撮影カメラなどである。抽出画像の条件は、例えば、動き検知有の映像フレームを抽出するなどである。   The input unit 214 receives a user operation for inputting search information. Specific examples of search information include a search start instruction and search conditions. Specific examples of the search condition include “search range” and “extraction image condition”. The search range is, for example, a search target period, a shooting camera, or the like. The extracted image condition is, for example, extracting a video frame with motion detection.

検索情報は、入力部214から制御部215を介して検索処理部207へ入力される。
検索処理部207は、検索情報に基づいて、デコード後第一の映像データ210を用いて検索処理を実施する。検索処理部207は、検索結果をメモリ216へ記録する。具体的には、検索条件に一致した画像(映像フレーム)の撮影時刻、撮影カメラの識別情報を含む検索結果をメモリ216へ記録する。加えて、検索条件に一致した映像フレームをメモリ216へ記録してもよい。検索処理部207は、検索範囲内の検索処理が完了した場合、検索処理が完了したことを示す検索処理完了情報を制御部215へ通知する。
The search information is input from the input unit 214 to the search processing unit 207 via the control unit 215.
The search processing unit 207 performs search processing using the first video data 210 after decoding based on the search information. The search processing unit 207 records the search result in the memory 216. Specifically, the search result including the shooting time of the image (video frame) that matches the search condition and the identification information of the shooting camera is recorded in the memory 216. In addition, a video frame that matches the search condition may be recorded in the memory 216. When the search process within the search range is completed, the search processing unit 207 notifies the control unit 215 of search process completion information indicating that the search process has been completed.

制御部215は、検索情報と検索処理完了情報とに基づきスイッチ217、スイッチ218、スイッチ219、スイッチ220を制御する。
制御部215は、検索情報の検索開始指示に基づいて、スイッチ217の端子1と端子2を接続し、第一記録部204に記録されている「検索範囲」に一致する検索用の第一の映像ストリーム202をデコード部209へ入力する。
制御部215は、検索情報の検索開始指示に基づいて、スイッチ218の端子1と端子2を接続し、検索処理部207の動作を開始させ、デコード後第一の映像データ210を検索処理部207へ入力する。
制御部215は、検索情報の検索開始指示に基づいて、スイッチ219の端子1と端子2を接続し、入力部214から入力された検索情報などを出力部213へ入力する。
制御部215は、検索情報の検索開始指示に基づいて、スイッチ220の端子1と端子2を接続し、画像処理部208の動作を停止させ、デコード後第二の映像データ211を画像処理部208を経由せずに、出力部213へ入力する。
The control unit 215 controls the switch 217, the switch 218, the switch 219, and the switch 220 based on the search information and the search process completion information.
The control unit 215 connects the terminal 1 and the terminal 2 of the switch 217 based on the search start instruction of the search information, and searches for the first search for matching the “search range” recorded in the first recording unit 204. The video stream 202 is input to the decoding unit 209.
The control unit 215 connects the terminal 1 and the terminal 2 of the switch 218 based on the search start instruction for the search information, starts the operation of the search processing unit 207, and stores the first video data 210 after decoding as the search processing unit 207. Enter.
Based on the search information search start instruction, the control unit 215 connects the terminal 1 and the terminal 2 of the switch 219 and inputs the search information input from the input unit 214 to the output unit 213.
Based on the search start instruction of the search information, the control unit 215 connects the terminal 1 and the terminal 2 of the switch 220, stops the operation of the image processing unit 208, and outputs the decoded second video data 211 to the image processing unit 208. Is input to the output unit 213 without going through.

制御部215は、検索処理完了情報に基づいて、スイッチ217の端子1と端子2を開放し、検索用の第一の映像ストリーム202をデコード部209へ入力しない。
制御部215は、検索処理完了情報に基づいて、スイッチ218の端子1と端子2を開放し、検索処理部207の動作を停止させ、デコード後第一の映像データ210を検索処理部207へ入力しない。
制御部215は、検索処理完了情報に基づいて、スイッチ220の端子1と端子3を接続し、画像処理部208の動作を開始させ、デコード後第二の映像データ211を画像処理部208へ入力する。
また、図示を省略しているが、制御部215は、映像記録再生装置102の各部を制御する。
Based on the search processing completion information, the control unit 215 opens the terminals 1 and 2 of the switch 217 and does not input the first video stream 202 for search to the decoding unit 209.
Based on the search processing completion information, the control unit 215 opens the terminals 1 and 2 of the switch 218, stops the operation of the search processing unit 207, and inputs the first video data 210 after decoding to the search processing unit 207. do not do.
The control unit 215 connects the terminal 1 and the terminal 3 of the switch 220 based on the search processing completion information, starts the operation of the image processing unit 208, and inputs the decoded second video data 211 to the image processing unit 208. To do.
Although not shown, the control unit 215 controls each unit of the video recording / reproducing device 102.

出力部213は、デコード部209で復号され、画像処理部208で画像補正処理を実施後のデータ212と入力部214から入力された検索情報などの操作画面とを合成し、接続されたモニタなどへ表示画像データを出力する。あるいは、デコード部209で復号され、画像補正処理を未実施のデコード後第二の映像データ211と入力部213から入力された検索情報などの操作画面とを合成し、接続されたモニタなどへ表示画像データを出力する。   The output unit 213 combines the data 212 decoded by the decoding unit 209 and subjected to the image correction processing by the image processing unit 208 and the operation screen such as search information input from the input unit 214, and connected monitors, etc. Display image data is output to Alternatively, the decoded second video data 211 that has been decoded by the decoding unit 209 and has not been subjected to image correction processing and the search information input operation screen input from the input unit 213 are combined and displayed on a connected monitor or the like. Output image data.

図4は、この発明の実施の形態1による映像記録再生装置102のハードウェア構成を示すブロック図である。映像記録再生装置102は、受信装置401、出力装置402、HDD403、入力装置404、処理回路405、メモリ406とを備える。HDD403は、映像記録再生装置102と一体で構成されてもよいし、別装置として構成されてもよい。入力装置404の具体例としては、マウス、キーボード、マイク、リモートコントローラなどがある。また処理回路405は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するCPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSP(Digital Signal Processor)ともいう)であってもよい。   FIG. 4 is a block diagram showing a hardware configuration of the video recording / playback apparatus 102 according to the first embodiment of the present invention. The video recording / reproducing device 102 includes a receiving device 401, an output device 402, an HDD 403, an input device 404, a processing circuit 405, and a memory 406. The HDD 403 may be configured integrally with the video recording / reproducing device 102 or may be configured as a separate device. Specific examples of the input device 404 include a mouse, a keyboard, a microphone, and a remote controller. Further, even if the processing circuit 405 is dedicated hardware, a CPU (Central Processing Unit, a central processing unit, a processing unit, a processing unit, a microprocessor, a microcomputer, a processor, a DSP (DSP) that executes a program stored in a memory It may also be referred to as Digital Signal Processor).

図2の受信部201は、図4の受信装置401によって実現される。図2の第一記録部204、第二記録部205は、図4のメモリ406によって実現される。図2の処理部206、検索処理部207、画像処理部208、デコード部209、制御部215、スイッチ217、スイッチ218、スイッチ219、スイッチ220は、図4の処理回路405によって実現される。図2の入力部214は、図4の入力装置404によって実現される。図2のメモリ216は、図4のメモリ406によって実現される。図2の出力部213は、図4の出力装置402によって実現される。   The receiving unit 201 in FIG. 2 is realized by the receiving device 401 in FIG. The first recording unit 204 and the second recording unit 205 in FIG. 2 are realized by the memory 406 in FIG. The processing unit 206, the search processing unit 207, the image processing unit 208, the decoding unit 209, the control unit 215, the switch 217, the switch 218, the switch 219, and the switch 220 in FIG. 2 are realized by the processing circuit 405 in FIG. The input unit 214 in FIG. 2 is realized by the input device 404 in FIG. The memory 216 in FIG. 2 is realized by the memory 406 in FIG. The output unit 213 in FIG. 2 is realized by the output device 402 in FIG.

次に動作について説明する。図5は、この発明の実施の形態1による動作フロー図である。
ステップST501にて、制御部215は、入力部214から入力される検索情報に基づいて、検索処理が開始されたか否か判断する。開始されたと判断する場合、ステップST502へ移行する。開始されていないと判断する場合、ステップST512へ移行する。入力部214より検索情報、具体的には検索開始指示の入力がある場合、検索処理が開始されたと判断する。また、検索情報、具体的には検索開始指示の入力がない場合、検索処理が開始されていないと判断する。
Next, the operation will be described. FIG. 5 is an operation flowchart according to the first embodiment of the present invention.
In step ST501, control unit 215 determines whether or not the search process has been started based on the search information input from input unit 214. When determining that it has started, the mobile terminal makes a transition to step ST502. When it determines that it has not started, it transfers to step ST512. When there is input of search information, specifically, a search start instruction from the input unit 214, it is determined that the search process has started. In addition, when there is no input of search information, specifically, a search start instruction, it is determined that the search process has not been started.

ステップST502にて、制御部215は、画像処理部208の動作を停止する。あるいは画像処理部208の画像補正処理を停止する。また、スイッチ220の端子1と端子2を接続し、デコード後第二の映像データ211を画像処理部208を経由せずに、出力部213へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施せずに、デコード後第二の映像データ211を出力部213へ入力する。これにより、検索処理実施中であっても、リアルタイム(現在)の撮影画像を表示可能となる。
ステップST503にて、制御部215は、検索処理部207の動作を開始する。あるいは検索処理部207の検索処理を開始する。
なお、ステップST502とステップST503は、同時であってもよい。
In step ST502, control unit 215 stops the operation of image processing unit 208. Alternatively, the image correction processing of the image processing unit 208 is stopped. Further, the terminal 1 and the terminal 2 of the switch 220 are connected, and the decoded second video data 211 is input to the output unit 213 without passing through the image processing unit 208. That is, the second video data 211 after decoding is input to the output unit 213 without performing image correction processing for making the image look better, such as super-resolution processing. As a result, a real-time (current) captured image can be displayed even during search processing.
In step ST503, control unit 215 starts operation of search processing unit 207. Alternatively, the search processing of the search processing unit 207 is started.
Note that step ST502 and step ST503 may be performed simultaneously.

ステップST504にて、制御部215は、スイッチ217の端子1と端子2を接続し、第一記録部204に記録されている「検索範囲」に一致する検索用の第一の映像ストリーム202を読出し、デコード部209へ入力する。
ステップST505にて、デコード部209は、ステップST504で入力された検索用の第一の映像ストリーム202をデコード処理し、デコード後第一の映像データ210を出力する。
ステップST506にて、制御部215は、スイッチ218の端子1と端子2を接続し、デコード後第一の映像データ210を検索処理部207へ入力する。
In step ST504, the control unit 215 connects the terminal 1 and the terminal 2 of the switch 217, and reads the first video stream 202 for search that matches the “search range” recorded in the first recording unit 204. , Input to the decoding unit 209.
In step ST505, the decoding unit 209 decodes the search first video stream 202 input in step ST504, and outputs the decoded first video data 210.
In step ST506, control unit 215 connects terminal 1 and terminal 2 of switch 218, and inputs decoded first video data 210 to search processing unit 207.

ステップST507にて、検索処理部207は、検索処理を実行する。ステップST501にて、入力部214から入力される検索情報に基づいて検索処理を実行する。例えば、検索範囲である指定された検索対象期間における、指定された撮影カメラにて撮影された映像フレームに、抽出画像の条件に一致する映像フレームの有無を検索する。抽出画像の条件が、動き検知が有の映像フレームを抽出するとの条件の場合、指定された検索対象期間における指定された撮影カメラにて撮影された映像フレームのうち動き検知が有る映像フレームを抽出する。動き検知が有る映像フレームの抽出方法の具体例としては、検索処理部207は判断の対象となる映像フレームと1つ前の映像フレームとの差分と予め決められた閾値との比較結果に基づき動きの有無を判定する。
ステップST508にて、検索処理部207は、検索結果をメモリ216へ記録する。例えば、抽出画像の条件に一致する映像フレームの撮影時刻、撮影カメラの識別情報、当該一致した映像フレームをメモリ216へ記録する。
In step ST507, search processing section 207 executes search processing. In step ST501, search processing is executed based on the search information input from input unit 214. For example, a search is performed for the presence or absence of a video frame that matches the extracted image condition in a video frame shot by a specified shooting camera in a specified search target period that is a search range. When the condition of the extracted image is that the video frame with motion detection is extracted, the video frame with motion detection is extracted from the video frames shot by the specified shooting camera in the specified search target period. To do. As a specific example of a method for extracting a video frame with motion detection, the search processing unit 207 performs motion based on a comparison result between a difference between a video frame to be determined and the previous video frame and a predetermined threshold. Determine the presence or absence.
In step ST508, search processing section 207 records the search result in memory 216. For example, the shooting time of the video frame that matches the extracted image condition, the identification information of the shooting camera, and the matched video frame are recorded in the memory 216.

ステップST509にて、検索処理部207は、検索処理が完了したか否か判断する。ステップST501にて、入力部214から入力される検索範囲の検索処理が完了したか否か判断する。検索処理が完了したと判断する場合、検索処理が完了したことを示す検索処理完了情報を制御部215へ通知し、ステップST510へ移行する。検索処理が完了していないと判断する場合、ステップST504へ戻る。入力部214より検索情報、具体的には検索終了時刻の入力がある場合、検索終了時刻までの映像フレームの検索処理が完了している場合、検索処理が完了したと判断する。また、検索終了時刻までの映像フレームの検索処理が完了していない場合、検索処理が完了していないと判断する。   In step ST509, search processing section 207 determines whether or not the search processing has been completed. In step ST501, it is determined whether or not the search processing of the search range input from input unit 214 has been completed. If it is determined that the search process is completed, search process completion information indicating that the search process is completed is notified to the control unit 215, and the process proceeds to step ST510. If it is determined that the search process has not been completed, the process returns to step ST504. When the search information, specifically, the search end time is input from the input unit 214, when the video frame search process up to the search end time is completed, it is determined that the search process is completed. If the video frame search process up to the search end time is not completed, it is determined that the search process is not completed.

ステップST510にて、制御部215は、検索処理部207の動作を停止する。あるいは検索処理部207の検索処理を停止する。また、スイッチ217の端子1と端子2を開放し、検索用の第一の映像ストリーム202をデコード部209へ入力しない。スイッチ218の端子1と端子2を開放し、デコード後第一の映像データ210を検索処理部207へ入力しない。
ステップST511にて、制御部215は、画像処理部208の動作を開始する。あるいは画像処理部208の画像補正処理を開始する。スイッチ220の端子1と端子3を接続し、デコード後第二の映像データ211を画像処理部208へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施後のデータ212を出力部213へ入力する。
なお、ステップST510とステップST511は、同時であってもよい。
In step ST510, control unit 215 stops the operation of search processing unit 207. Alternatively, the search processing of the search processing unit 207 is stopped. Further, the terminal 1 and the terminal 2 of the switch 217 are opened, and the first video stream 202 for search is not input to the decoding unit 209. The terminals 1 and 2 of the switch 218 are opened, and the first video data 210 after decoding is not input to the search processing unit 207.
In step ST511, control unit 215 starts the operation of image processing unit 208. Alternatively, the image correction processing of the image processing unit 208 is started. Terminals 1 and 3 of the switch 220 are connected, and the decoded second video data 211 is input to the image processing unit 208. That is, data 212 after image correction processing for better displaying an image such as super-resolution processing is input to the output unit 213.
Note that step ST510 and step ST511 may be performed simultaneously.

ステップ512にて、制御部215は、画像処理部208の動作を実施する、あるいは継続する。あるいは画像処理部208の画像補正処理を実施する、あるいは継続する。スイッチ220の端子1と端子3の接続を継続し、デコード後第二の映像データ211を画像処理部208へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施後のデータ212を出力部213へ入力する。
ステップST511の処理後、あるいはステップST512の処理後、ステップST501へ戻っても良い。
In step 512, the control unit 215 performs or continues the operation of the image processing unit 208. Alternatively, the image correction processing of the image processing unit 208 is performed or continued. The connection between the terminal 1 and the terminal 3 of the switch 220 is continued, and the decoded second video data 211 is input to the image processing unit 208. That is, data 212 after image correction processing for better displaying an image such as super-resolution processing is input to the output unit 213.
You may return to step ST501 after the process of step ST511 or the process of step ST512.

図6は、この発明の実施の形態1による出力部213へ接続されたモニタのメイン画面の表示例である。
出力部213は、再生用の第二の映像ストリーム203の画像補正処理を実施後のデータ212と入力部214からの操作画面とを合成し接続されたモニタなどへ表示画像データを出力する。あるいは、再生用の第二の映像ストリーム203のデコード部209で復号され、画像補正処理を未実施のデコード後第二の映像データ211と入力部213からの操作画面とを合成し接続されたモニタなどへ表示画像データを出力する。
FIG. 6 is a display example of the main screen of the monitor connected to the output unit 213 according to Embodiment 1 of the present invention.
The output unit 213 combines the data 212 after the image correction processing of the second video stream 203 for reproduction and the operation screen from the input unit 214 and outputs the display image data to a connected monitor or the like. Alternatively, a monitor connected by synthesizing the decoded second video data 211 and the operation screen from the input unit 213, which are decoded by the decoding unit 209 of the second video stream 203 for reproduction and the image correction processing is not performed. Display image data is output to

メイン画面は、映像表示領域601で構成される。入力部213からの操作画面には、例えば、検索対象期間を指定する検索開始時刻指定領域602、検索終了時刻指定領域603、撮影カメラを指定するカメラ選択ボタン604がある。カメラ選択ボタン604を押下すると、例えば図7のカメラ選択画面へ移行する。カメラ選択画面では、検索範囲として撮影カメラを選択する。カメラ選択画面は、映像表示領域701と、カメラ選択ボタン702、カメラ名称表示領域703、決定ボタン704、キャンセルボタン705から構成される。カメラ名称表示領域703を参考に、検索範囲として撮影カメラを選択し、カメラ選択ボタン702をチェックし、決定ボタン704を押下する。決定ボタン704の押下で、カメラ選択画面が閉じられ、メイン画面へ戻る。メイン画面では、カメラ選択ボタン702で選択したカメラをカメラ選択結果ボタン605、カメラ名称表示領域606を有する撮影カメラ選択結果表示領域607へ表示する。現在時刻表示領域608にて、現在時刻、あるいは再生画像表示領域609に表示されている映像フレームの撮影時刻を表示する。再生画像表示領域609には、検索処理部207が停止中は、再生用の第二の映像ストリーム203の画像補正処理を実施後のデータ212が表示され、検索処理部207が処理中は、再生用の第二の映像ストリーム203の画像補正処理を未実施のデコード後第二の映像データ211が表示される。画像補正処理を実施後のデータ212とデコード後第二の映像データ211とでは画質が異なる。ユーザーの違和感を緩和するため、再生画像表示領域609にデコード後第二の映像データ211が表示される、検索処理部207が検索処理中は、映像表示領域601内に「検索実施中」の旨を表示すると良い。 The main screen includes a video display area 601. The operation screen from the input unit 213 includes, for example, a search start time specifying area 602 for specifying a search target period, a search end time specifying area 603, and a camera selection button 604 for specifying a photographing camera. When the camera selection button 604 is pressed, for example, the screen shifts to the camera selection screen in FIG. On the camera selection screen, a photographing camera is selected as a search range. The camera selection screen includes a video display area 701, a camera selection button 702, a camera name display area 703, an enter button 704, and a cancel button 705. With reference to the camera name display area 703, a photographing camera is selected as a search range, a camera selection button 702 is checked, and a decision button 704 is pressed. By pressing the enter button 704, the camera selection screen is closed and the screen returns to the main screen. On the main screen, the camera selected by the camera selection button 702 is displayed in a shooting camera selection result display area 607 having a camera selection result button 605 and a camera name display area 606. In the current time display area 608, the current time or the shooting time of the video frame displayed in the reproduction image display area 609 is displayed. In the playback image display area 609, data 212 after the image correction processing of the second video stream 203 for playback is displayed while the search processing unit 207 is stopped, and playback is performed while the search processing unit 207 is processing. The second video data 211 after decoding, which has not been subjected to the image correction processing of the second video stream 203, is displayed. The image quality differs between the data 212 after image correction processing and the second video data 211 after decoding. In order to alleviate the user's uncomfortable feeling, the decoded second video data 211 is displayed in the playback image display area 609. While the search processing unit 207 is performing the search process, the fact that “searching is in progress” is displayed in the video display area 601. It is good to display.

以上説明したように、この実施の形態1によれば、外部処理装置を用いることなく、またレコーダーの処理能力を増加させることなく、映像検索を実現することが可能となる。これにより、映像監視システムの運用コストの抑制や、別装置の設置スペースの削減との効果を得ることができる。また、記録映像を外部処理装置に再度記録する必要がないため、セキュリティ上の取り扱いについての考慮点も削減可能となった。   As described above, according to the first embodiment, it is possible to realize video search without using an external processing device and without increasing the processing capability of the recorder. As a result, it is possible to obtain the effects of suppressing the operation cost of the video monitoring system and reducing the installation space of another device. In addition, since it is not necessary to record the recorded video on the external processing device again, it is possible to reduce points to consider regarding security.

実施の形態2.
本実施の形態2は、実施の形態1の検索結果の出力方法について開示する。
この発明の実施の形態2による映像記録再生装置を含む映像監視システム全体の構成図は、実施の形態1と同様であるので、説明を省略する。
Embodiment 2. FIG.
The second embodiment discloses the search result output method of the first embodiment.
The configuration diagram of the entire video monitoring system including the video recording / playback apparatus according to the second embodiment of the present invention is the same as that of the first embodiment, and a description thereof will be omitted.

この発明の実施の形態2による映像記録再生装置102の機能構成図は、実施の形態1と同様である。実施の形態2で追加となる機能について図2を用いて説明する。
検索処理部207は、検索処理が完了した場合、検索処理が完了したことを示す検索処理完了情報を制御部215へ通知するとともに、サムネイル表示処理を実施する。具体的には、検索条件に一致した画像(映像フレーム)を出力部213へ入力する。メモリ216に映像フレームが記録されている場合は、検索処理部207は、メモリ216に記録されている検索条件に一致した映像フレームを出力部213へ入力してもよい。また、メモリ216に映像フレームが記録されていない場合は、メモリ216に記録されている検索条件に一致した映像フレームの撮影時刻、撮影カメラの識別情報に該当する映像フレームを第一記録部204から読出し、デコード部209で復号し、デコード後第一の映像データ210を出力部213へ入力する。
The functional configuration diagram of the video recording / reproducing apparatus 102 according to the second embodiment of the present invention is the same as that of the first embodiment. Functions added in the second embodiment will be described with reference to FIG.
When the search process is completed, the search processing unit 207 notifies the control unit 215 of search process completion information indicating that the search process is completed, and performs a thumbnail display process. Specifically, an image (video frame) that matches the search condition is input to the output unit 213. When video frames are recorded in the memory 216, the search processing unit 207 may input video frames that match the search conditions recorded in the memory 216 to the output unit 213. If no video frame is recorded in the memory 216, the video frame corresponding to the imaging time of the video frame that matches the search conditions recorded in the memory 216 and the identification information of the imaging camera is retrieved from the first recording unit 204. Reading and decoding by the decoding unit 209, the decoded first video data 210 is input to the output unit 213.

入力部214は、検索結果再生情報を入力するためのユーザー操作を受付ける。検索結果再生情報の具体例としては、検索結果再生開始指示、検索結果再生画像情報(検索条件に一致した画像(映像フレーム)の撮影時刻、撮影カメラの識別情報など)などである。
検索結果再生情報は、制御部215を介して画像処理部208へ入力され、検索結果再生処理を実施する。
画像処理部208は、検索結果再生情報に基づいて、検索条件に一致した画像(映像フレーム)の撮影時刻、撮影カメラの識別情報に該当する映像フレームを、あるいは該当する映像フレームから連続した映像フレームを第二記録部205から読出し、デコード部209で復号し、デコード後第二の映像データ211に対して、超解像処理などの画像をより良く見せるための画像補正処理を実施し、画像処理後第二の映像データ212を出力部213へ入力する。
The input unit 214 accepts a user operation for inputting search result reproduction information. Specific examples of the search result reproduction information include a search result reproduction start instruction, search result reproduction image information (such as the shooting time of an image (video frame) that matches the search condition, identification information of the shooting camera, and the like).
The search result reproduction information is input to the image processing unit 208 via the control unit 215, and the search result reproduction process is performed.
Based on the search result reproduction information, the image processing unit 208 captures a video frame corresponding to the shooting time of an image (video frame) that matches the search condition, identification information of the shooting camera, or a video frame continuous from the corresponding video frame. Is decoded from the second recording unit 205, decoded by the decoding unit 209, and subjected to image correction processing for better displaying the image such as super-resolution processing on the second video data 211 after decoding. Then, the second video data 212 is input to the output unit 213.

制御部215は、検索処理完了情報に基づいて、スイッチ217の端子1と端子2を接続し、第一記録部204に記録されている、検索条件に一致した映像フレームをデコード部209へ入力する。
制御部215は、検索処理完了情報に基づいて、スイッチ218の端子1と端子2を接続し、デコード後第一の映像データ210を検索処理部207へ入力する。
制御部215は、検索処理完了情報に基づいて、スイッチ219の端子1と端子2を接続し、メモリ216あるいは、第一記録部204から読み出した、検索条件に一致した映像フレームを出力部213へ入力する。
制御部215は、検索処理完了情報に基づいて、スイッチ220の端子1と端子2を接続し、画像処理部208の動作を停止させ、デコード後第二の映像データ211を画像処理部208を経由せずに、出力部213へ入力する。
The control unit 215 connects the terminal 1 and the terminal 2 of the switch 217 based on the search processing completion information, and inputs a video frame recorded in the first recording unit 204 that matches the search condition to the decoding unit 209. .
The control unit 215 connects the terminal 1 and the terminal 2 of the switch 218 based on the search processing completion information, and inputs the decoded first video data 210 to the search processing unit 207.
The control unit 215 connects the terminal 1 and the terminal 2 of the switch 219 based on the search processing completion information, and outputs to the output unit 213 a video frame that matches the search condition read from the memory 216 or the first recording unit 204. input.
Based on the search processing completion information, the control unit 215 connects the terminal 1 and the terminal 2 of the switch 220, stops the operation of the image processing unit 208, and sends the decoded second video data 211 via the image processing unit 208. Without being input to the output unit 213.

制御部215は、検索結果再生情報に基づいて、スイッチ217の端子1と端子2を開放し、検索用の第一の映像ストリーム202をデコード部209へ入力しない。
制御部215は、検索結果再生情報に基づいて、スイッチ218の端子1と端子2を開放し、検索処理部207の動作を停止させ、デコード後第一の映像データ210を検索処理部207へ入力しない。
制御部215は、検索結果再生情報に基づいて、スイッチ220の端子1と端子3を接続し、画像処理部208の動作を開始させ、検索条件に一致した画像(映像フレーム)の撮影時刻、撮影カメラの識別情報に該当する映像フレームを、あるいは該当する映像フレームから連続して第二記録部205から読出し、デコード部209で復号し、超解像処理などの画像をより良く見せるための画像補正処理を実施し、画像処理後第二の映像データ212を出力部213へ入力する。
Based on the search result reproduction information, the control unit 215 opens the terminals 1 and 2 of the switch 217 and does not input the first video stream 202 for search to the decoding unit 209.
Based on the search result reproduction information, the control unit 215 opens the terminals 1 and 2 of the switch 218, stops the operation of the search processing unit 207, and inputs the decoded first video data 210 to the search processing unit 207. do not do.
Based on the search result reproduction information, the control unit 215 connects the terminal 1 and the terminal 3 of the switch 220, starts the operation of the image processing unit 208, and captures and captures the image (video frame) that matches the search condition. Image correction for reading a video frame corresponding to camera identification information or continuously from the corresponding video frame from the second recording unit 205 and decoding it by the decoding unit 209 to make the image such as super-resolution processing look better Processing is performed, and the second video data 212 after image processing is input to the output unit 213.

出力部213は、サムネイル表示処理中は、検索処理部207から入力される検索条件に一致した画像(映像フレーム)であるサムネイル画像と入力部214から入力された検索情報などの操作画面とを合成し、接続されたモニタなどへ表示画像データを出力する。あるいは、サムネイル画像と操作画面、デコード部209で復号され、画像補正処理を未実施のデコード後第二の映像データ211とを合成し、接続されたモニタなどへ表示画像データを出力する。
また出力部213は、検索結果再生処理中は、検索条件に一致した映像フレームを、あるいは該当する映像フレームから連続したデータをデコード部209で復号し、画像処理部208で画像補正処理を実施後のデータ212と入力部214から入力された検索情報などの操作画面とを合成し、接続されたモニタなどへ表示画像データを出力する。あるいは、検索結果再生画像と操作画面、デコード部209で復号され、画像補正処理を未実施のデコード後第二の映像データ211とを合成し、接続されたモニタなどへ表示画像データを出力する。
During the thumbnail display process, the output unit 213 synthesizes a thumbnail image that is an image (video frame) that matches the search condition input from the search processing unit 207 and an operation screen such as search information input from the input unit 214. Then, display image data is output to a connected monitor or the like. Alternatively, the thumbnail image is decoded by the operation screen and the decoding unit 209, and the decoded second video data 211 which has not been subjected to the image correction process is synthesized, and the display image data is output to a connected monitor or the like.
Further, during the search result reproduction process, the output unit 213 decodes the video frame that matches the search condition or the data continuous from the corresponding video frame by the decoding unit 209 and performs the image correction processing by the image processing unit 208. Data 212 and an operation screen such as search information input from the input unit 214 are combined, and display image data is output to a connected monitor or the like. Alternatively, the search result reproduction image, the operation screen, and the decoding unit 209 decode the image correction processing and the second video data 211 after decoding, and outputs the display image data to a connected monitor or the like.

この発明の実施の形態2による映像記録再生装置102のハードウェア構成を示すブロック図は、実施の形態1と同様であるので、説明を省略する。   Since the block diagram showing the hardware configuration of the video recording / reproducing apparatus 102 according to the second embodiment of the present invention is the same as that of the first embodiment, the description thereof will be omitted.

次に動作について説明する。図8は、この発明の実施の形態2による動作フロー図である。図5のステップST509の判断にて検索処理が完了したと判断する場合に、図8の処理が開始される。
ステップST801にて、検索処理部207は、サムネイル表示処理を実行する。具体的には、検索条件に一致した画像(映像フレーム)を出力部213へ入力する。ステップST508にてメモリ216に映像フレームが記録されている場合は、検索処理部207は、メモリ216から検索条件に一致した映像フレームを出力部213へ入力してもよい。また、ステップST508にてメモリ216に映像フレームが記録されていない場合は、検索条件に一致した映像フレームの撮影時刻、撮影カメラの識別情報に該当する映像フレームを第一記録部204から読出し、デコード部209で復号し、デコード後第一の映像データ210を出力部213へ入力する。また、ステップST502にて、制御部215は、画像処理部208の動作を停止し、スイッチ220の端子1と端子2を接続し、デコード後第二の映像データ211を画像処理部208を経由せずに、出力部213へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施せずに、デコード後第二の映像データ211を出力部213へ入力する。サムネイル表示処理実施中であっても、リアルタイム(現在)の撮影画像を表示可能となる。
Next, the operation will be described. FIG. 8 is an operation flowchart according to the second embodiment of the present invention. When it is determined in step ST509 in FIG. 5 that the search process has been completed, the process in FIG. 8 is started.
In step ST801, search processing section 207 executes thumbnail display processing. Specifically, an image (video frame) that matches the search condition is input to the output unit 213. If a video frame is recorded in the memory 216 in step ST508, the search processing unit 207 may input a video frame that matches the search condition from the memory 216 to the output unit 213. If no video frame is recorded in the memory 216 in step ST508, the video frame corresponding to the shooting time of the video frame matching the search condition and the identification information of the shooting camera is read from the first recording unit 204 and decoded. Decoded by the unit 209, the first video data 210 after decoding is input to the output unit 213. In step ST502, the control unit 215 stops the operation of the image processing unit 208, connects the terminal 1 and the terminal 2 of the switch 220, and passes the decoded second video data 211 through the image processing unit 208. Without being input to the output unit 213. That is, the second video data 211 after decoding is input to the output unit 213 without performing image correction processing for making the image look better, such as super-resolution processing. Even during thumbnail display processing, real-time (current) captured images can be displayed.

ステップST802にて、制御部215は、入力部214から入力される検索結果再生情報に基づいて、検索結果再生処理が開始されたか否か判断する。開始されたと判断する場合、ステップST803へ移行する。開始されていないと判断する場合、ステップST802の処理を繰り返す。入力部214より検索結果再生情報、具体的には検索結果再生指示の入力がある場合、検索結果再生処理が開始されたと判断する。また、検索結果再生情報、具体的には検索結果再生指示の入力がない場合、検索結果再生処理が開始されていないと判断する。   In step ST802, control unit 215 determines whether or not search result reproduction processing has been started based on search result reproduction information input from input unit 214. When determining that it has started, the mobile terminal makes a transition to step ST803. If it is determined that the process has not been started, the process of step ST802 is repeated. If there is input of search result playback information, specifically, a search result playback instruction, from the input unit 214, it is determined that the search result playback processing has started. Also, if there is no input of search result playback information, specifically, a search result playback instruction, it is determined that the search result playback processing has not been started.

ステップST803にて、制御部215は、検索処理部207の動作を停止する。また、スイッチ217の端子1と端子2を開放し、検索用の第一の映像ストリーム202をデコード部209へ入力しない。スイッチ218の端子1と端子2を開放し、デコード後第一の映像データ210を検索処理部207へ入力しない。
ステップST804にて、制御部215は、画像処理部208の動作を開始し、検索結果再生処理を実行する。スイッチ220の端子1と端子3を接続し、入力部214から入力される検索結果再生情報に基づいて、検索結果再生画像情報に一致した映像フレーム、あるいは該当する映像フレームから連続した映像フレームを第二記録部205から読出し、デコード部209で復号し、超解像処理などの画像をより良く見せるための画像補正処理を実施し、画像処理後第二の映像データ212を出力部213へ入力する。
なお、ステップST803とステップST804は、同時であってもよい。
In step ST803, control unit 215 stops the operation of search processing unit 207. Further, the terminal 1 and the terminal 2 of the switch 217 are opened, and the first video stream 202 for search is not input to the decoding unit 209. The terminals 1 and 2 of the switch 218 are opened, and the first video data 210 after decoding is not input to the search processing unit 207.
In step ST804, control unit 215 starts the operation of image processing unit 208 and executes search result reproduction processing. The terminal 1 and the terminal 3 of the switch 220 are connected, and based on the search result playback information input from the input unit 214, a video frame that matches the search result playback image information or a video frame continuous from the corresponding video frame The second video data 212 is read from the second recording unit 205, decoded by the decoding unit 209, and subjected to image correction processing such as super-resolution processing to make the image look better, and the second video data 212 after image processing is input to the output unit 213 .
Note that step ST803 and step ST804 may be performed simultaneously.

また、ステップST804にて、制御部215は、スイッチ220の端子1と端子3を接続に加えて、端子1と端子2も接続してもよい。デコード後第二の映像データ211を画像処理部208を経由せずに、出力部213へ入力する。つまり、超解像処理などの画像をより良く見せるための画像補正処理を実施せずに、デコード後第二の映像データ211を出力部213へ入力する。検索結果再生処理実施中であっても、リアルタイム(現在)の撮影画像を表示可能となる。   In step ST804, control unit 215 may connect terminal 1 and terminal 2 in addition to connection of terminal 1 and terminal 3 of switch 220. The second video data 211 after decoding is input to the output unit 213 without passing through the image processing unit 208. That is, the second video data 211 after decoding is input to the output unit 213 without performing image correction processing for making the image look better, such as super-resolution processing. Even during the search result reproduction process, a real-time (current) captured image can be displayed.

図9は、この発明の実施の形態2による出力部213へ接続されたモニタのサムネイル表示画面の表示例である。
出力部213は、検索条件に一致した画像(映像フレーム)であるサムネイル画像を接続されたモニタなどへ表示画像データを出力する。あるいは、サムネイル画像と、デコード部209で復号され、画像補正処理を未実施のデコード後第二の映像データ211とを合成し、接続されたモニタなどへ表示画像データを出力する。
FIG. 9 is a display example of a thumbnail display screen of a monitor connected to the output unit 213 according to Embodiment 2 of the present invention.
The output unit 213 outputs display image data to a monitor or the like to which a thumbnail image that is an image (video frame) that matches the search condition is connected. Alternatively, the thumbnail image and the decoded second video data 211 decoded by the decoding unit 209 and not subjected to image correction processing are combined, and the display image data is output to a connected monitor or the like.

サムネイル表示画面は、映像表示領域901で構成される。映像表示領域901中に、サムネイル表示領域902を有する。時刻表示領域903には、メモリ216に記録されている検索条件に一致した映像フレームの撮影時刻を表示する。また、映像表示領域904には、時刻表示領域903に表示した撮影時刻に撮影した画像(映像フレーム)を表示する。メモリ216に映像フレームが記録されている場合は、メモリ216に記録されている映像フレームを表示する。また、メモリ216に映像フレームが記録されていない場合は、検索条件に一致した映像フレームの撮影時刻(時刻表示領域903に表示した撮影時刻)、撮影カメラの識別情報に該当する映像フレームを第一記録部204から読出し、デコード部209で復号し、デコード後第一の映像データ210を表示する。
この時刻表示領域903と映像表示領域904とへの表示をメモリ216に保存されている検索条件に一致した映像フレームの撮影時刻分全てにおいて行う。サムネイル表示領域902に表示しきれない場合は、スクロールボタン905を操作することで確認するものとする。
The thumbnail display screen includes a video display area 901. The video display area 901 has a thumbnail display area 902. In the time display area 903, the shooting time of the video frame that matches the search condition recorded in the memory 216 is displayed. The video display area 904 displays an image (video frame) taken at the shooting time displayed in the time display area 903. When a video frame is recorded in the memory 216, the video frame recorded in the memory 216 is displayed. If no video frame is recorded in the memory 216, the video frame corresponding to the shooting time of the video frame that matches the search condition (the shooting time displayed in the time display area 903) and the identification information of the shooting camera is the first. The data is read from the recording unit 204, decoded by the decoding unit 209, and the first video data 210 after decoding is displayed.
The display in the time display area 903 and the video display area 904 is performed for all the video frame shooting times that match the search conditions stored in the memory 216. If the thumbnail cannot be displayed in the thumbnail display area 902, it is confirmed by operating the scroll button 905.

図8のステップST802において、ユーザーは任意の映像フレームを映像表示領域904に表示された検索条件に一致した映像フレームから選択する。任意の映像フレームを選択後、再生ボタン906を押下する。例えば、ユーザーによる映像フレームの選択、あるいは再生ボタン906押下が、検索結果再生指示となる。
ユーザーによる映像フレームの選択、あるいは再生ボタンン906押下は、キャンセルボタン907で無効、あるいは中断することができる。
In step ST802 of FIG. 8, the user selects an arbitrary video frame from video frames that match the search condition displayed in the video display area 904. After selecting an arbitrary video frame, the playback button 906 is pressed. For example, selection of a video frame by the user or pressing of the playback button 906 is a search result playback instruction.
Selection of a video frame by the user or pressing of the play button 906 can be invalidated or interrupted by a cancel button 907.

以上説明したように、この実施の形態2によれば、外部処理装置を用いることなく、またレコーダーの処理能力を増加させることなく、映像検索結果を表示し、再生することが可能となる。これにより、映像監視システムの運用コストの抑制や、別装置の設置スペースの削減との効果を得ることができる。また、記録映像を外部処理装置に再度記録する必要がないため、セキュリティ上の取り扱いについての考慮点も削減可能となった。   As described above, according to the second embodiment, the video search result can be displayed and reproduced without using an external processing device and without increasing the processing capability of the recorder. As a result, it is possible to obtain the effects of suppressing the operation cost of the video monitoring system and reducing the installation space of another device. In addition, since it is not necessary to record the recorded video on the external processing device again, it is possible to reduce points to consider regarding security.

101 カメラ、102 映像記録再生装置、104 モニタ、201 受信部、202 検索用の第一の映像ストリーム、203 再生用の第二の映像ストリーム、206 処理部、207 検索処理部、208 画像処理部、209 デコード部、210 デコード後第一の映像データ、211 デコード後第二の映像データ、213 出力部、214 入力部。   101 camera, 102 video recording / playback apparatus, 104 monitor, 201 receiving unit, 202 first video stream for search, 203 second video stream for playback, 206 processing unit, 207 search processing unit, 208 image processing unit, 209 decoding unit, 210 first video data after decoding, 211 second video data after decoding, 213 output unit, 214 input unit.

Claims (7)

カメラと接続される映像記録再生装置において、
前記カメラから検索用の第一の映像ストリームと再生用の第二の映像ストリームとを受信する受信部と、
前記検索用の第一の映像ストリームをデコード後第一の映像データへ、前記再生用の第二の映像ストリームをデコード後第二の映像データへ復号処理するデコード部と、
検索条件を受付ける入力部と、
前記デコード後第一の映像データを用いて前記検索条件に一致する映像フレームを検索する検索処理を実施する検索処理部と、前記デコード後第二の映像データを用いて画像補正処理を実施する画像処理部とを含む処理部と
を備え、
前記処理部において、前記検索処理部における前記検索処理と前記画像処理部における前記画像補正処理とはいずれか一方を実施する
映像記録再生装置。
In a video recording / playback device connected to a camera,
A receiving unit that receives a first video stream for search and a second video stream for playback from the camera;
A decoding unit for decoding the first video stream for search into first video data after decoding, and decoding the second video stream for reproduction into second video data after decoding;
An input unit that accepts search conditions;
A search processing unit that performs a search process for searching for a video frame that matches the search condition using the first video data after decoding, and an image that performs an image correction process using the second video data after decoding A processing unit including a processing unit,
The video recording / reproducing apparatus that performs either one of the search processing in the search processing unit and the image correction processing in the image processing unit in the processing unit.
前記再生用の第二の映像ストリームは、前記検索用の第一の映像ストリームと比較して高画質であること
を特徴とする請求項1記載の映像記録再生装置。
2. The video recording / reproducing apparatus according to claim 1, wherein the second video stream for reproduction has higher image quality than the first video stream for retrieval.
接続されたモニタへ表示画像データを出力する出力部をさらに備え、
前記出力部は、前記検索処理部が前記検索処理を実施している間は、現在の撮影画像として前記画像処理部における前記画像補正処理を実施しない前記デコード後第二の映像データを前記モニタへ出力すること
を特徴とする請求項1又は請求項2記載の映像記録再生装置。
An output unit for outputting display image data to a connected monitor;
The output unit outputs the second video data after decoding that is not subjected to the image correction processing in the image processing unit as the current photographed image to the monitor as the current photographed image while the search processing unit performs the search processing. 3. The video recording / reproducing apparatus according to claim 1, wherein the video recording / reproducing apparatus outputs the video.
前記検索処理部は、前記検索条件に一致する映像フレームを前記出力部へ入力するサムネイル表示処理を実施し、
前記処理部において、前記検索処理部における前記サムネイル表示処理と前記画像処理部における前記画像補正処理とはいずれか一方を実施すること
を特徴とする請求項1ないし請求項3のいずれか一項に記載の映像記録再生装置。
The search processing unit performs a thumbnail display process of inputting a video frame that matches the search condition to the output unit,
The said processing part implements any one of the said thumbnail display process in the said search process part, and the said image correction process in the said image processing part, The Claim 1 thru | or 3 characterized by the above-mentioned. The video recording / reproducing apparatus as described.
接続されたモニタへ表示画像データを出力する出力部をさらに備え、
前記出力部は、前記検索処理部がサムネイル表示処理を実施している間は、現在の撮影画像として前記画像処理部における前記画像補正処理を実施しない前記デコード後第二の映像データを前記モニタへ出力すること
を特徴とする請求項4記載の映像記録再生装置。
An output unit for outputting display image data to a connected monitor;
While the search processing unit is performing thumbnail display processing, the output unit outputs the second video data after decoding that is not subjected to the image correction processing in the image processing unit as the current captured image to the monitor. 5. The video recording / reproducing apparatus according to claim 4, wherein the video recording / reproducing apparatus outputs the video.
前記入力部は、検索結果再生情報を受付け、
前記画像処理部は、前記検索結果再生情報に基づき検索結果再生処理を実施し、
前記処理部において、前記画像処理部における前記検索結果再生処理と、前記検索処理部における処理とはいずれか一方を実施すること
を特徴とする請求項1ないし請求項5のいずれか一項に記載の映像記録再生装置。
The input unit accepts search result reproduction information,
The image processing unit performs search result reproduction processing based on the search result reproduction information,
The said processing part implements any one of the said search result reproduction | regeneration processing in the said image processing part, and the process in the said search processing part, The Claim 1 thru | or 5 characterized by the above-mentioned. Video recording and playback device.
接続されたモニタへ表示画像データを出力する出力部をさらに備え、
前記出力部は、前記画像処理部が前記検索結果再生処理中を実施している間は、現在の撮影画像として前記画像処理部における前記画像補正処理を実施しない前記デコード後第二の映像データを前記モニタへ出力すること
を特徴とする請求項6記載の映像記録再生装置。
An output unit for outputting display image data to a connected monitor;
The output unit outputs the second video data after decoding that is not subjected to the image correction processing in the image processing unit as a current captured image while the image processing unit is executing the search result reproduction processing. 7. The video recording / reproducing apparatus according to claim 6, wherein the video recording / reproducing apparatus outputs to the monitor.
JP2016136790A 2016-07-11 2016-07-11 Video recording and playback device Active JP6662223B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016136790A JP6662223B2 (en) 2016-07-11 2016-07-11 Video recording and playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016136790A JP6662223B2 (en) 2016-07-11 2016-07-11 Video recording and playback device

Publications (2)

Publication Number Publication Date
JP2018011113A true JP2018011113A (en) 2018-01-18
JP6662223B2 JP6662223B2 (en) 2020-03-11

Family

ID=60994434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016136790A Active JP6662223B2 (en) 2016-07-11 2016-07-11 Video recording and playback device

Country Status (1)

Country Link
JP (1) JP6662223B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200823A (en) * 2002-12-17 2004-07-15 Hitachi Ltd Imaging unit, recorder, and reproducing unit
JP2008301286A (en) * 2007-05-31 2008-12-11 Canon Inc Imaging apparatus and control method thereof
JP2009171472A (en) * 2008-01-18 2009-07-30 Hitachi Ltd System and device for monitoring network video image
JP2010273328A (en) * 2009-04-20 2010-12-02 Fujifilm Corp Image processing apparatus, image processing method and program
JP5948465B1 (en) * 2015-06-04 2016-07-06 株式会社ファンクリエイト Video processing system and video processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200823A (en) * 2002-12-17 2004-07-15 Hitachi Ltd Imaging unit, recorder, and reproducing unit
JP2008301286A (en) * 2007-05-31 2008-12-11 Canon Inc Imaging apparatus and control method thereof
JP2009171472A (en) * 2008-01-18 2009-07-30 Hitachi Ltd System and device for monitoring network video image
JP2010273328A (en) * 2009-04-20 2010-12-02 Fujifilm Corp Image processing apparatus, image processing method and program
JP5948465B1 (en) * 2015-06-04 2016-07-06 株式会社ファンクリエイト Video processing system and video processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
辻 亮宏 AKIHIRO TSUJI: "通信技術と広がる応用 New Communication Technology and Applications", 三菱電機技報 第89巻 第6号, vol. 第89巻, JPN6019047046, 16 June 2015 (2015-06-16), pages 32 - 36, ISSN: 0004166626 *

Also Published As

Publication number Publication date
JP6662223B2 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
US8432965B2 (en) Efficient method for assembling key video snippets to form a video summary
JP2008311888A (en) Image recorder, image recording system, image reproduction method
JP2008252454A (en) Camera and gui switching method in camera
JP5883052B2 (en) Image processing apparatus and control method thereof
JP2006203334A (en) Image recording apparatus, control method thereof and program
JP5818599B2 (en) Movie recording device
JP5683301B2 (en) Image recording device
JP2009290318A (en) Image capturing apparatus and zooming adjustment method
JP2013118518A (en) Imaging apparatus
JP6662223B2 (en) Video recording and playback device
JP6632360B2 (en) Information processing device
JP2007324663A (en) Video camera
JP6463967B2 (en) Imaging apparatus and control method thereof
JP2012165050A (en) Video recording device and information processing device
JP6248314B2 (en) Imaging apparatus, captured image processing method, and imaging system
JP4159511B2 (en) Image acquisition apparatus and imaging apparatus
JP6282136B2 (en) Imaging apparatus and control method thereof
JP6263002B2 (en) Imaging apparatus, control method therefor, and program
JP6469772B2 (en) Imaging device
JP5509159B2 (en) Image processing device
JP2016165043A (en) Moving imaging taking system, information processing terminal, moving image confirmation method and program
KR100713973B1 (en) Method for multi-searching in digital video recorder
JP2019110537A (en) Imaging device and imaging method
JP4212531B2 (en) Recording method, moving picture recording apparatus and recording system
JP2014086815A (en) Electronic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R151 Written notification of patent or utility model registration

Ref document number: 6662223

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250