JP2009200757A - Video data processing apparatus, program, and method - Google Patents

Video data processing apparatus, program, and method Download PDF

Info

Publication number
JP2009200757A
JP2009200757A JP2008039514A JP2008039514A JP2009200757A JP 2009200757 A JP2009200757 A JP 2009200757A JP 2008039514 A JP2008039514 A JP 2008039514A JP 2008039514 A JP2008039514 A JP 2008039514A JP 2009200757 A JP2009200757 A JP 2009200757A
Authority
JP
Japan
Prior art keywords
video data
importance
video
frame image
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008039514A
Other languages
Japanese (ja)
Inventor
Satomi Hatakeyama
里深 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008039514A priority Critical patent/JP2009200757A/en
Publication of JP2009200757A publication Critical patent/JP2009200757A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To compress video data while holding a useful part. <P>SOLUTION: A video data processing apparatus has an importance degree calculation means for calculating the importance degree of a frame image on the basis of at least a feature that the frame image has and a video data photographing condition for the respective frame images configuring the video data, and a compression means for compressing the video data on the basis of the importance degree. In such a manner, the video data is compressed considering the photographing condition (for instance, a photographing place or the like) and the feature (for instance, the movement or direction of a photographing object or the like) that the video data have. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、映像データにおける有用な部分を保持しつつ、映像データを圧縮するための技術に関する。   The present invention relates to a technique for compressing video data while retaining useful portions in the video data.

従来、防犯を主目的として、例えばオフィスの玄関、エレベータホール、サーバ室及び執務室や、銀行、コンビニエンスストアのATMなどに監視カメラが設置されている。これらの監視カメラで撮影された映像はデータ化され、ストレージに保存される。そして、後日、必要に応じて映像をチェックできるようになっている。   Conventionally, for the purpose of crime prevention, for example, surveillance cameras have been installed in office entrances, elevator halls, server rooms and office rooms, banks, ATMs of convenience stores, and the like. Video captured by these surveillance cameras is converted to data and stored in storage. Later, you can check the video as needed.

一方で、システムの大規模化、保存期間の長期化に伴い、保存すべき映像のデータ量が増えつつある。しかし、ストレージの容量には限りがあるため、例えばデータを圧縮するなどして、映像のデータ量を削減する必要がある。   On the other hand, the amount of video data to be stored is increasing as the system becomes larger and the storage period becomes longer. However, since the storage capacity is limited, it is necessary to reduce the amount of video data, for example, by compressing data.

例えば特開2003−153177号公報には、保管用の録画データの容量を抑えながら、録画映像の目的を達成するための画像の質を維持する映像録画装置が開示されている。具体的には、当該映像録画装置は、録画データのフレームレート、圧縮率、解像度のうち少なくとも1つを変換することによりデータサイズを変更することが可能であり、撮影装置が撮影した映像を入力する映像入力手段と、映像入力手段の入力した映像を比較的データサイズの大きい録画データとして記憶装置に格納する手段と、記憶装置に格納されてから所定時間が経過した録画データに対しては、当該録画データのデータサイズを小さくする変換処理を施すとともに、もとの録画データに代えて、変換後の録画データを新たな録画データとして記憶装置に格納する手段とを備える。
特開2003−153177号公報
For example, Japanese Patent Laid-Open No. 2003-153177 discloses a video recording apparatus that maintains the quality of an image for achieving the purpose of a recorded video while suppressing the capacity of recorded data for storage. Specifically, the video recording device can change the data size by converting at least one of the frame rate, compression rate, and resolution of the recorded data, and inputs the video captured by the imaging device. Video input means, means for storing the video input by the video input means as recording data having a relatively large data size in the storage device, and recording data for which a predetermined time has elapsed since being stored in the storage device, A conversion process for reducing the data size of the recording data is performed, and means for storing the converted recording data in the storage device as new recording data in place of the original recording data.
JP 2003-153177 A

しかしながら、従来技術では、映像のデータ量を削減する際に、撮影条件や映像データの有する特徴などが考慮されていない。そのため、あまり有用でない部分を残してしまったり、有用な部分を削減してしまう可能性がある。   However, in the prior art, when reducing the amount of video data, the shooting conditions and the characteristics of the video data are not taken into consideration. Therefore, there is a possibility that a part which is not very useful is left or a useful part is reduced.

従って、本発明の目的は、映像データにおける有用な部分を保持しつつ、映像データを圧縮するための技術を提供することである。   Accordingly, an object of the present invention is to provide a technique for compressing video data while retaining a useful portion in the video data.

本発明に係る映像データ処理装置は、映像データを構成する各フレーム画像について、少なくとも当該フレーム画像の有する特徴と映像データの撮影条件とに基づき、当該フレーム画像の重要度を算出する重要度算出手段と、重要度に基づき、映像データを圧縮する圧縮手段とを有する。   The video data processing device according to the present invention is an importance calculation means for calculating the importance of each frame image constituting the video data based on at least the characteristics of the frame image and the shooting conditions of the video data. And compression means for compressing the video data based on the importance.

このようにすれば、撮影条件(例えば、撮影場所など)や映像データの有する特徴(例えば、撮影対象物の動き、向きなど)を考慮した、映像データの圧縮を行うことができるようになる。例えば、誰も映っていない又は人間の背中しか映っていないフレーム画像については、画質を落とすなどしてデータ量を削減し、人間の顔が映っているフレーム画像については、画質を落とさないようにすることで、映像データにおける有用な部分を保持しつつ、映像データの圧縮を行うことができる。   In this way, the video data can be compressed in consideration of the shooting conditions (for example, the shooting location) and the characteristics of the video data (for example, the movement and orientation of the shooting target). For example, for frame images where no one is shown or only the human back is shown, the image quality is reduced to reduce the amount of data, and for frame images where a human face is shown, the image quality is not reduced. By doing so, it is possible to compress the video data while retaining useful portions in the video data.

また、撮影条件が、撮影場所毎に予め設定された場所ポイントを含む場合もある。そして、重要度算出手段が、映像データの撮影場所に対応する場所ポイントを用いて重要度を算出するようにしてもよい。   In addition, the shooting condition may include a location point set in advance for each shooting location. Then, the importance calculation means may calculate the importance using a location point corresponding to the shooting location of the video data.

例えば、撮影内容が同じようなフレーム画像であっても、重要性の高い場所(例えば、金庫室など)の場所ポイントを高く設定しておくことで、あまり重要性の高くない場所(例えば、エレベータホールなど)を撮影したフレーム画像に比べ、重要性の高い場所を撮影したフレーム画像については画質を落とさないように、映像データの圧縮を行うことができるようになる。   For example, even in the case of frame images with the same shooting content, by setting the location point of a highly important place (for example, a vault) high, a less important place (for example, an elevator) Compared to a frame image obtained by shooting a hole or the like, it is possible to compress video data so that the image quality of a frame image taken at a highly important place is not deteriorated.

さらに、重要度算出手段が、フレーム画像の有する特徴として、当該フレーム画像において撮影対象物とみなされる部分の動きの大きさと、撮影対象物とみなされる部分の向きとのうち少なくともいずれかを抽出し、撮影対象物とみなされる部分の動きの大きさに対応する動きポイントと、撮影対象物とみなされる部分の向きに対応する向きポイントとのうち少なくともいずれかを用いて重要度を算出するようにしてもよい。   Further, the importance calculation means extracts at least one of the magnitude of the movement of the portion regarded as the shooting target in the frame image and the direction of the portion regarded as the shooting target as the feature of the frame image. The importance level is calculated using at least one of a movement point corresponding to the magnitude of the movement of the part regarded as the photographing object and a direction point corresponding to the direction of the part regarded as the photographing object. May be.

例えば、撮影対象物の大きい動きを検出した場合には、そのフレーム画像については画質を落とさないように、映像データの圧縮を行うことができるようになる。   For example, when a large movement of the photographing object is detected, the video data can be compressed so as not to deteriorate the image quality of the frame image.

また、重要度算出手段が、映像データの撮影場所にセンサが設置されている場合には、当該センサにより検出されたイベントの情報にさらに基づき、重要度を算出するようにしてもよい。   In addition, when the sensor is installed at the video data shooting location, the importance calculator may calculate the importance based further on the event information detected by the sensor.

このようにすれば、例えばセンサが不正侵入を検出した場合、その検出時刻におけるフレーム画像については画質を落とさないように、映像データの圧縮を行うことができるようになる。   In this way, for example, when the sensor detects unauthorized intrusion, the video data can be compressed so as not to deteriorate the image quality of the frame image at the detection time.

さらに、重要度算出手段が、イベント検出時のフレーム画像について、イベントに対応するイベントポイントを用いて重要度を算出するようにしてもよい。また、重要度算出手段が、イベント検出時のフレーム画像から前の、第1の所定数分のフレーム画像と、イベント検出時のフレーム画像から後の、第2の所定数分のフレーム画像とのうち少なくともいずれかについて、イベントに対応するイベントポイントを用いて重要度を算出するようにしてもよい。   Further, the importance level calculation means may calculate the importance level for the frame image at the time of event detection using an event point corresponding to the event. In addition, the importance level calculation means includes a first predetermined number of frame images before the frame image at the time of event detection, and a second predetermined number of frame images after the frame image at the time of event detection. For at least one of them, the importance may be calculated using an event point corresponding to the event.

このようにすれば、例えば不正侵入検出時の前後数秒のフレーム画像についても画質を落とさないように、映像データの圧縮を行うことができるようになる。   In this way, for example, video data can be compressed so as not to deteriorate the image quality of frame images of several seconds before and after the detection of unauthorized intrusion.

さらに、圧縮手段が、重要度が所定基準未満のフレーム画像を間引くことにより、映像データを圧縮するようにしてもよい。また、重要度が低いほど、フレーム画像の圧縮率が高くなる場合もある。   Further, the compression means may compress the video data by thinning out the frame images whose importance is less than a predetermined standard. In addition, the lower the importance, the higher the compression rate of the frame image.

なお、本発明に係る映像データ処理装置を実現するためのプログラムを作成することができ、このプログラムは、例えばフレキシブルディスク、CD−ROM、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体又は記憶装置に格納される。また、ネットワークなどを介してデジタル信号として配信される場合もある。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。   A program for realizing the video data processing apparatus according to the present invention can be created. This program is a storage medium or storage device such as a flexible disk, a CD-ROM, a magneto-optical disk, a semiconductor memory, or a hard disk. Stored in Moreover, it may be distributed as a digital signal via a network or the like. The intermediate processing result is temporarily stored in a storage device such as a main memory.

本発明によれば、映像データにおける有用な部分を保持しつつ、映像データを圧縮することができるようになる。   According to the present invention, video data can be compressed while retaining a useful portion in the video data.

本発明の一実施の形態に係るシステム概要を図1に示す。例えばインターネットであるネットワーク1には、管理サーバ31と、本実施の形態における主要な処理を実施するサーバ51とが接続されている。   An outline of a system according to an embodiment of the present invention is shown in FIG. For example, a management server 31 and a server 51 that performs main processing in the present embodiment are connected to the network 1 that is the Internet.

管理サーバ31は、入退管理システム3内に設けられており、同じく入退管理システム3内に含まれる入退履歴DB32にアクセス可能となっている。さらに、管理サーバ31は、例えばインターネットであるネットワーク7を介して監視地点Aに設置されているセンサ11に接続されている。なお、本実施の形態では、センサ11は、入退室の際に認証が必要なドアに設置されており、認証機能を備えているものとする。入退履歴DB32には、センサ11により検出された認証成功時の入退室や、認証エラー、不正侵入などの情報が格納される。   The management server 31 is provided in the entrance / exit management system 3 and can access the entrance / exit history DB 32 included in the entrance / exit management system 3. Furthermore, the management server 31 is connected to the sensor 11 installed at the monitoring point A via the network 7 which is the Internet, for example. In the present embodiment, it is assumed that the sensor 11 is installed in a door that requires authentication when entering or leaving the room and has an authentication function. The entry / exit history DB 32 stores information such as entry / exit rooms at the time of successful authentication, authentication errors, and unauthorized intrusion detected by the sensor 11.

サーバ51は、映像監視システム5内に設けられており、同じく映像監視システム5内に含まれる映像ファイル格納部52にアクセス可能となっている。さらに、サーバ51は、ネットワーク7を介して監視地点Aに設置されているレコーダ9Aと監視地点Bに設置されているレコーダ9Bとに接続されている。映像ファイル格納部52には、レコーダ9A及び9Bから送信される映像データを映像ファイルとして格納する。   The server 51 is provided in the video monitoring system 5 and can access a video file storage unit 52 that is also included in the video monitoring system 5. Furthermore, the server 51 is connected to the recorder 9A installed at the monitoring point A and the recorder 9B installed at the monitoring point B via the network 7. The video file storage 52 stores the video data transmitted from the recorders 9A and 9B as a video file.

なお、レコーダ9Aは、同じく監視地点Aに設置されているカメラ10Aと接続されており、カメラ10Aの撮影した映像データを保管するようになっている。また、レコーダ9Bは、同じく監視地点Bに設置されているカメラ10Bと接続されており、カメラ10Bの撮影した映像データを保管するようになっている。また、図1では、監視地点の数が2つ(監視地点A及びB)の場合の例を示しているが、監視地点の数はこれに限定されない。   The recorder 9A is connected to a camera 10A that is also installed at the monitoring point A, and stores video data captured by the camera 10A. The recorder 9B is connected to a camera 10B that is also installed at the monitoring point B, and stores video data captured by the camera 10B. Moreover, although the example in case the number of monitoring spots is two (monitoring spots A and B) is shown in FIG. 1, the number of monitoring spots is not limited to this.

図2に、図1に示したサーバ51の機能ブロック図を示す。サーバ51は、レコーダ9から受信した映像データを映像ファイルとして映像ファイル格納部52に登録する映像受信部511と、映像受信部511が登録した映像ファイルのステータスの情報を格納するステータスDB512と、入退管理システム3からイベントの情報(例えば、認証成功時の入退室や、認証エラー、不正侵入など)を取得するイベント取得部513と、イベント取得部513が取得したイベントの情報を格納するイベントDB514と、各監視地点に設置されたカメラの情報を格納しているカメラDB515と、ステータスDB512、イベントDB514及びカメラDB515に格納されたデータに基づき、映像情報ファイルを生成し、各フレーム画像のポイントを計算するポイント設定部516と、ポイント設定部516が生成した映像情報ファイルを格納する映像情報ファイル格納部517と、ポイント設定部516からの指示に応じて、映像ファイル格納部52に格納されている映像ファイルに対して映像解析処理を実施する映像解析部518と、ステータスDB512及び映像情報ファイル格納部517に格納されたデータに基づき、映像ファイル格納部52に格納されている映像ファイルに対して圧縮処理を実施する映像圧縮部519とを有する。   FIG. 2 shows a functional block diagram of the server 51 shown in FIG. The server 51 includes a video receiving unit 511 that registers video data received from the recorder 9 as a video file in the video file storage unit 52, a status DB 512 that stores status information of the video file registered by the video receiving unit 511, and an input. An event acquisition unit 513 that acquires event information (for example, entry / exit when authentication is successful, authentication error, unauthorized intrusion, etc.) from the exit management system 3, and an event DB 514 that stores event information acquired by the event acquisition unit 513 Based on the data stored in the camera DB 515 storing the information of the cameras installed at each monitoring point, the status DB 512, the event DB 514, and the camera DB 515, a video information file is generated, and the point of each frame image is obtained. Point setting unit 516 to calculate and point setting unit In response to an instruction from the video information file storage unit 517 that stores the video information file generated by the image processing unit 16 and the point setting unit 516, video analysis processing is performed on the video file stored in the video file storage unit 52. A video analysis unit 518; and a video compression unit 519 that performs compression processing on the video file stored in the video file storage unit 52 based on data stored in the status DB 512 and the video information file storage unit 517. .

図3に、ステータスDB512に格納されるデータの一例を示す。図3の例では、ステータスDB512には、ファイル名の列と、ステータスの列とが含まれる。ファイル名の列には、映像ファイルのファイル名が登録される。また、ステータスの列には、映像ファイルのステータス(解析待ち/未圧縮/圧縮済み)が設定される。   FIG. 3 shows an example of data stored in the status DB 512. In the example of FIG. 3, the status DB 512 includes a file name column and a status column. In the file name column, the file name of the video file is registered. In the status column, the status of the video file (waiting for analysis / uncompressed / compressed) is set.

図4に、イベントDB514に格納されるデータの一例を示す。図4の例では、イベントDB514には、時刻の行と、センサIDの行と、イベント種別の行とが含まれる。各行には、入退管理システム3から取得したデータが設定される。   FIG. 4 shows an example of data stored in the event DB 514. In the example of FIG. 4, the event DB 514 includes a time line, a sensor ID line, and an event type line. Data acquired from the entrance / exit management system 3 is set in each row.

図5に、カメラDB515に格納されるデータの一例を示す。図5の例では、カメラDB515には、カメラIDの列と、場所ポイントの列と、センサポイントの列と、センサIDの列と、調整フレーム数の列とが含まれる。センサポイントの列は、イベント種別毎の列に分かれている(図5の例では、侵入警報の列、入退室の列及び認証エラーの列)。また、調整フレーム数の列は、イベント種別毎の列に分かれており(図5の例では、侵入警報の列、入退室の列及び認証エラーの列)、さらにプレの列とポストの列とに分かれている。場所ポイントの列には、カメラの設置された監視地点に対応するポイント値が設定され、本実施の形態では、重要性の高い場所ほど高いポイント値が設定されるものとする。また、センサポイントの列には、センサ11の検出したイベントに対応するポイント値が設定される。センサIDの列には、カメラの設置された監視地点にセンサが設置されている場合には、当該センサのIDが設定される。なお、「−」は、カメラの設置された監視地点にセンサが設置されていないことを示す。調整フレーム数の列には、センサポイントを付与すべきフレーム画像の数が設定される。例えば、侵入警報の検出時に、検出時のフレーム画像から30フレーム前までのフレーム画像について、センサポイントを付与させるには、侵入警報のプレの列に「30」を設定する。同様に、侵入警報の検出時に、検出時のフレーム画像から20フレーム後までのフレーム画像について、センサポイントを付与させるには、侵入警報のポストの列に「20」を設定する。なお、センサポイントを付与する処理については、後で詳細に説明する。   FIG. 5 shows an example of data stored in the camera DB 515. In the example of FIG. 5, the camera DB 515 includes a camera ID column, a location point column, a sensor point column, a sensor ID column, and an adjustment frame number column. The sensor point columns are divided into columns for each event type (in the example of FIG. 5, an intrusion alarm column, an entry / exit column, and an authentication error column). In addition, the column of the number of adjustment frames is divided into columns for each event type (in the example of FIG. 5, an intrusion alarm column, an entry / exit column, and an authentication error column), and a pre-column and a post-column It is divided into. In the place point column, a point value corresponding to the monitoring point where the camera is installed is set, and in this embodiment, a higher point value is set for a place with higher importance. In the sensor point column, a point value corresponding to the event detected by the sensor 11 is set. In the sensor ID column, when a sensor is installed at a monitoring point where a camera is installed, the ID of the sensor is set. Note that “−” indicates that no sensor is installed at the monitoring point where the camera is installed. The number of frame images to which sensor points are to be assigned is set in the adjustment frame number column. For example, in order to give sensor points to the frame images from the frame image at the time of detection to 30 frames before the detection of the intrusion alarm, “30” is set in the pre-intrusion alarm column. Similarly, in order to give sensor points to the frame images from the frame image at the time of detection to 20 frames after the detection of the intrusion alarm, “20” is set in the column of the intrusion alarm post. The process for assigning sensor points will be described in detail later.

図6に、映像情報ファイル格納部517に格納される映像情報ファイルの一例を示す。図6の例では、映像情報ファイルには、タイムスタンプの行と、動きポイントの行と、顔ポイントの行と、センサポイントの行と、場所ポイントの行と、合計ポイントの行とが含まれる。なお、各行に設定される値については、後で詳細に説明する。   FIG. 6 shows an example of a video information file stored in the video information file storage unit 517. In the example of FIG. 6, the video information file includes a time stamp line, a motion point line, a face point line, a sensor point line, a location point line, and a total point line. . The values set in each row will be described later in detail.

図7に、映像ファイル格納部52に格納される映像ファイルの一例を示す。図7(a)に示すように、映像ファイルはヘッダ部とデータ部とから構成される。また、図7(b)に示すように、ヘッダ部には、フレーム番号とタイムスタンプとが含まれる。また、データ部には、各フレームの静止画像が含まれる。   FIG. 7 shows an example of a video file stored in the video file storage unit 52. As shown in FIG. 7A, the video file is composed of a header part and a data part. Further, as shown in FIG. 7B, the header part includes a frame number and a time stamp. The data portion includes a still image of each frame.

次に、図8乃至図18を用いて、サーバ51の処理について説明する。まず、図8及び図9を用いて、レコーダ9から映像データを受信した際の処理について説明する。各監視地点において、カメラ10で撮影された映像データはレコーダ9に保管されるようになっており、レコーダ9に保管された映像データは、定期的又は任意のタイミングでサーバ51に送信される。サーバ51の映像受信部511は、レコーダ9からの映像データを受信する(図8:ステップS1)。   Next, the processing of the server 51 will be described with reference to FIGS. First, processing when video data is received from the recorder 9 will be described with reference to FIGS. 8 and 9. At each monitoring point, the video data captured by the camera 10 is stored in the recorder 9, and the video data stored in the recorder 9 is transmitted to the server 51 periodically or at an arbitrary timing. The video receiver 511 of the server 51 receives the video data from the recorder 9 (FIG. 8: step S1).

そして、映像受信部511は、所定の規則に基づきファイル名を付与し、映像データを映像ファイルとして映像ファイル格納部52に格納する(ステップS3)。本実施の形態では、図9に示すように、「録画開始時刻」、「録画時間」及び「カメラID」によりファイル名を決定する。例えば、録画開始時刻が「2008年2月14日12時34分56秒」、録画時間が「30分」、カメラIDが「cam1」の場合、ファイル名は「20080214123456_30_cam1.video」となる。なお、映像ファイルを識別できるファイル名であれば、他の規則に基づいてファイル名を付与するようにしてもよい。映像受信部511は、ステップS3の処理により付与されたファイル名を含むレコードをステータスDB512に追加し、当該レコードのステータスを「解析待ち」に設定する(ステップS5)。   Then, the video reception unit 511 assigns a file name based on a predetermined rule, and stores the video data as a video file in the video file storage unit 52 (step S3). In this embodiment, as shown in FIG. 9, the file name is determined based on “recording start time”, “recording time”, and “camera ID”. For example, if the recording start time is “February 14, 2008 12:34:56”, the recording time is “30 minutes”, and the camera ID is “cam1”, the file name is “20080214123456_30_cam1.video”. In addition, as long as the file name can identify the video file, the file name may be assigned based on other rules. The video receiving unit 511 adds a record including the file name given by the process of step S3 to the status DB 512, and sets the status of the record to “waiting for analysis” (step S5).

以上のような処理を実施することにより、レコーダ9から映像データを受信する毎に、映像ファイルが映像ファイル格納部52に格納され、当該映像ファイルのステータスが「解析待ち」であることを表すレコードがステータスDB512に追加される。   By performing the processing as described above, every time video data is received from the recorder 9, a video file is stored in the video file storage unit 52, and a record indicating that the status of the video file is “waiting for analysis” Is added to the status DB 512.

次に、図10乃至16を用いて、映像ファイルを構成する各フレーム画像に係る重要度を計算する処理を説明する。サーバ51は、定期的又は任意のタイミングで、図10乃至13に示すような処理を実施する。なお、図示していないが、本処理の前提として、サーバ51のイベント取得部513が、管理サーバ31に問い合わせるなどして、本処理の開始時点までのイベント情報の取得が完了しているものとする。   Next, processing for calculating the importance of each frame image constituting the video file will be described with reference to FIGS. The server 51 performs processing as shown in FIGS. 10 to 13 periodically or at an arbitrary timing. Although not shown in the figure, as a premise of this process, the event acquisition unit 513 of the server 51 makes an inquiry to the management server 31 and the acquisition of event information up to the start of this process is completed. To do.

まず、サーバ51のポイント設定部516は、ステータスが「解析待ち」である映像ファイルがあるか判断する(図10:ステップS7)。具体的には、ステータスDB512内を検索し、ステータスが「解析待ち」のレコードが格納されているか判断する。ステータスが「解析待ち」である映像ファイルがなければ(ステップS7:Noルート)、処理を終了する。   First, the point setting unit 516 of the server 51 determines whether there is a video file whose status is “waiting for analysis” (FIG. 10: step S7). Specifically, the status DB 512 is searched to determine whether a record whose status is “waiting for analysis” is stored. If there is no video file whose status is “waiting for analysis” (step S7: No route), the process ends.

一方、ステータスが「解析待ち」である映像ファイルがあると判断された場合(ステップS7:Yesルート)、ポイント設定部516は、該当する映像ファイルのうち、1つの映像ファイルを特定する(ステップS9)。そして、ポイント設定部516は、映像ファイル格納部52に格納された特定映像ファイルに基づき、特定映像ファイルに対応する映像情報ファイルを生成し、映像情報ファイル格納部517に格納する(ステップS11)。この際、ポイント設定部516は、図9に示した規則に基づきファイル名を付与する。なお、映像情報ファイルのファイル名は、対応する映像ファイルのファイル名と拡張子以外は同じものとなる。例えば、対応する映像ファイルのファイル名が「20080214123456_30_cam1.video」であれば、映像情報ファイルのファイル名は「20080214123456_30_cam1.inf」となる。さらに、ポイント設定部516は、特定映像ファイルを構成する各フレーム画像のタイムスタンプを、映像情報ファイルのタイムスタンプの行(図6)に設定する。   On the other hand, when it is determined that there is a video file whose status is “waiting for analysis” (step S7: Yes route), the point setting unit 516 specifies one video file among the corresponding video files (step S9). ). Then, the point setting unit 516 generates a video information file corresponding to the specific video file based on the specific video file stored in the video file storage unit 52, and stores the video information file in the video information file storage unit 517 (step S11). At this time, the point setting unit 516 assigns a file name based on the rules shown in FIG. The file name of the video information file is the same except for the file name and extension of the corresponding video file. For example, if the file name of the corresponding video file is “20080214123456_30_cam1.video”, the file name of the video information file is “20080214123456_30_cam1.inf”. Further, the point setting unit 516 sets the time stamp of each frame image constituting the specific video file in the time stamp row (FIG. 6) of the video information file.

そして、ポイント設定部516は、特定映像ファイルに含まれる未処理のフレーム画像をタイムスタンプの早い順に特定する(ステップS13)。そして、ポイント設定部516は、映像解析部518に特定映像ファイルの解析を指示する。ポイント設定部516からの指示に応じて、映像解析部518は、動き解析処理を実施し、特定フレーム画像に係る動きポイントを映像情報ファイルに登録する(ステップS15)。具体的には、動き解析処理を実施することにより、撮影対象物の動きを検出し、検出した動きが大きいほど、高いポイントを設定する。なお、撮影対象物の動きを検出する技術については、例えば特開2002−63578号公報記載の技術などを用いることができる。   Then, the point setting unit 516 specifies unprocessed frame images included in the specific video file in the order from the earliest time stamp (step S13). Then, the point setting unit 516 instructs the video analysis unit 518 to analyze the specific video file. In response to the instruction from the point setting unit 516, the video analysis unit 518 performs a motion analysis process and registers a motion point related to the specific frame image in the video information file (step S15). Specifically, the motion analysis process is performed to detect the motion of the photographing object, and the higher the detected motion, the higher the point is set. For example, a technique described in Japanese Patent Application Laid-Open No. 2002-63578 can be used as a technique for detecting the movement of the photographing object.

また、映像解析部518は、顔解析処理を実施し、特定フレーム画像に係る顔ポイントを映像情報ファイルに登録する(ステップS17)。具体的には、顔解析処理を実施することにより、人間の顔が映っているか、正面を向いているかなどを判断し、人間の顔が大きく、より正面を向いているほど、高いポイントを設定する。なお、人間の顔が映っているか、正面を向いているかなどを判断する技術については、例えば特開2006−338329号公報記載の技術などを用いることができる。   In addition, the video analysis unit 518 performs face analysis processing, and registers the face point related to the specific frame image in the video information file (step S17). Specifically, by performing face analysis processing, it is judged whether a human face is reflected or facing the front, etc., and a higher point is set as the human face is larger and facing the front. To do. For example, a technique described in Japanese Patent Application Laid-Open No. 2006-338329 can be used as a technique for determining whether a human face is reflected or facing the front.

そして、ポイント設定部516は、特定映像ファイルに含まれる全てのフレーム画像について処理が完了したか判断する(ステップS19)。特定映像ファイルに含まれる全てのフレーム画像について処理が完了していなければ(ステップS19:Noルート)、ステップS13の処理に戻る。一方、特定映像ファイルに含まれる全てのフレーム画像について処理が完了した場合(ステップS19:Yesルート)、端子Aを介してステップS21(図11)の処理に移行する。   Then, the point setting unit 516 determines whether processing has been completed for all frame images included in the specific video file (step S19). If processing has not been completed for all the frame images included in the specific video file (step S19: No route), the processing returns to step S13. On the other hand, when the process is completed for all the frame images included in the specific video file (step S19: Yes route), the process proceeds to the process of step S21 (FIG. 11) via the terminal A.

図11の説明に移行して、端子Aの後、ポイント設定部516は、特定映像ファイルのファイル名からカメラIDを抽出する(図11:ステップS21)。そして、ポイント設定部516は、カメラDB515を参照し、当該カメラに対応するセンサが存在するか判断する(ステップS23)。当該カメラに対応するセンサは存在しないと判断された場合(ステップS23:Noルート)、後で説明するステップS25乃至ステップ35の処理をスキップし、端子Bを介してステップS37(図13)の処理に移行する。   Moving to the description of FIG. 11, after the terminal A, the point setting unit 516 extracts the camera ID from the file name of the specific video file (FIG. 11: Step S21). Then, the point setting unit 516 refers to the camera DB 515 and determines whether there is a sensor corresponding to the camera (step S23). When it is determined that there is no sensor corresponding to the camera (step S23: No route), the processing of step S25 to step 35 described later is skipped, and the processing of step S37 (FIG. 13) is performed via the terminal B. Migrate to

一方、当該カメラに対応するセンサが存在すると判断された場合(ステップS23:Yesルート)、ポイント設定部516は、イベントDB514内に当該センサに係るイベントが存在するか判断する(ステップS25)。イベントDB514内に当該センサに係るイベントは存在しないと判断された場合(ステップS25:Noルート)、ステップS27乃至ステップS35の処理をスキップし、端子Bを介してステップS37(図13)の処理に移行する。   On the other hand, when it is determined that there is a sensor corresponding to the camera (step S23: Yes route), the point setting unit 516 determines whether an event related to the sensor exists in the event DB 514 (step S25). When it is determined that there is no event related to the sensor in the event DB 514 (step S25: No route), the processing of step S27 to step S35 is skipped, and the processing of step S37 (FIG. 13) is performed via the terminal B. Transition.

一方、イベントDB514内に当該センサに係るイベントが存在すると判断された場合(ステップS25:Yesルート)、ポイント設定部516は、特定映像ファイルの係る撮影時間を抽出し、一旦記憶装置に格納する(ステップS27)。具体的には、ポイント設定部516は、特定映像ファイルの先頭のフレーム画像と、最後尾のフレーム画像とのタイムスタンプを抽出する。また、ポイント設定部516は、当該センサに係るイベントのうち未処理のイベントを特定する(ステップS29)。そして、ポイント設定部516は、特定イベントの発生時間が、特定ファイルの撮影時間内であるか判断する(ステップS31)。特定イベントの発生時間が、特定ファイルの撮影時間外であると判断された場合(ステップS31:Noルート)、ステップS33の処理をスキップし、ステップS35の処理に移行する。   On the other hand, if it is determined that an event related to the sensor exists in the event DB 514 (step S25: Yes route), the point setting unit 516 extracts the shooting time related to the specific video file and temporarily stores it in the storage device ( Step S27). Specifically, the point setting unit 516 extracts time stamps of the first frame image and the last frame image of the specific video file. In addition, the point setting unit 516 specifies an unprocessed event among events related to the sensor (step S29). Then, the point setting unit 516 determines whether the occurrence time of the specific event is within the shooting time of the specific file (step S31). If it is determined that the occurrence time of the specific event is outside the shooting time of the specific file (step S31: No route), the process of step S33 is skipped and the process proceeds to step S35.

一方、特定イベントの発生時間が、特定ファイルの撮影時間内であると判断された場合(ステップS31:Yesルート)、ポイント設定部516は、カメラDB515に格納されたデータに基づき、センサポイント付与処理を実施する(ステップS33)。   On the other hand, when it is determined that the occurrence time of the specific event is within the shooting time of the specific file (step S31: Yes route), the point setting unit 516 performs sensor point provision processing based on the data stored in the camera DB 515. (Step S33).

センサポイント付与処理については図12を用いて説明する。ポイント設定部516は、当該カメラ且つ特定イベントに対応するセンサポイントをカメラDB515から取得する(図12:ステップS51)。また、ポイント設定部516は、当該カメラ且つ特定イベントに対応する調整フレーム数(プレ及びポスト)をカメラDB515から取得し、センサポイントを付与すべきフレーム画像を特定する(ステップS53)。具体的には、まず、特定イベント検出時のフレーム画像を、センサポイントを付与すべきフレーム画像として特定する。さらに、特定イベント検出時のフレーム画像から前の、調整フレーム数(プレ)分までのフレーム画像を、センサポイントを付与すべきフレーム画像として特定する。また、特定イベント検出時のフレーム画像から後の、調整フレーム数(ポスト)分までのフレーム画像を、センサポイントを付与すべきフレーム画像として特定する。そして、ポイント設定部516は、センサポイントを付与すべきフレーム画像に係るセンサポイントを映像情報ファイルに登録する(ステップS55)。すなわち、特定イベント検出時のフレーム画像だけでなく、前後のフレーム画像についてもセンサポイントが付与される。その後、センサポイント付与処理を終了し、元の処理に戻る。   The sensor point giving process will be described with reference to FIG. The point setting unit 516 acquires a sensor point corresponding to the camera and the specific event from the camera DB 515 (FIG. 12: step S51). In addition, the point setting unit 516 acquires the number of adjustment frames (pre and post) corresponding to the camera and the specific event from the camera DB 515, and specifies a frame image to which a sensor point is to be assigned (step S53). Specifically, first, a frame image at the time of detecting a specific event is specified as a frame image to which sensor points are to be added. Further, the frame images from the frame image at the time of detecting the specific event to the previous number of adjustment frames (pre) are specified as the frame images to which sensor points are to be assigned. Further, the frame images from the frame image at the time of detecting the specific event to the number of adjustment frames (post) after are specified as frame images to which sensor points are to be assigned. And the point setting part 516 registers the sensor point which concerns on the frame image which should give a sensor point to a video information file (step S55). That is, sensor points are given not only to the frame image at the time of detecting the specific event but also to the previous and next frame images. Thereafter, the sensor point giving process ends, and the process returns to the original process.

図11の説明に戻って、ステップS33の処理を実施した後、ポイント設定部516は、当該センサに係る全てのイベントについて処理が完了したか判断する(ステップS35)。当該センサに係る全てのイベントについて処理が完了していなければ(ステップS35:Noルート)、ステップS29の処理に戻る。一方、当該センサに係る全てのイベントについて処理が完了した場合(ステップS35:Yesルート)、端子Bを介してステップS37(図13)の処理に移行する。   Returning to the description of FIG. 11, after performing the process of step S33, the point setting unit 516 determines whether the process has been completed for all the events related to the sensor (step S35). If processing has not been completed for all events related to the sensor (step S35: No route), the processing returns to step S29. On the other hand, when the process is completed for all events related to the sensor (step S35: Yes route), the process proceeds to the process of step S37 (FIG. 13) via the terminal B.

図13の説明に移行して、端子Bの後、ポイント設定部516は、当該カメラに対応する場所ポイントをカメラDB515から取得し、映像情報ファイルに登録する(図13:ステップS37)。そして、ポイント設定部516は、各フレーム画像について、当該フレーム画像の重要度に相当する合計ポイントを算出し、映像情報ファイルに登録する(ステップS39)。なお、本実施の形態では、以下の式を用いて合計ポイントを算出する。
合計ポイント=(動きポイント+顔ポイント+センサポイント)×場所ポイント
Moving to the description of FIG. 13, after the terminal B, the point setting unit 516 acquires a location point corresponding to the camera from the camera DB 515 and registers it in the video information file (FIG. 13: Step S37). Then, the point setting unit 516 calculates, for each frame image, a total point corresponding to the importance of the frame image and registers it in the video information file (step S39). In the present embodiment, the total points are calculated using the following formula.
Total points = (motion points + face points + sensor points) x location points

そして、ポイント設定部516は、ステータスDB512内の、特定映像ファイルに対応するレコードのステータスを「未圧縮」に設定する(ステップS41)。その後、端子Cを介してステップS7(図10)の処理に戻る。   Then, the point setting unit 516 sets the status of the record corresponding to the specific video file in the status DB 512 to “uncompressed” (step S41). Thereafter, the process returns to the process of step S7 (FIG. 10) via the terminal C.

例えば、図14乃至図16に、重要度(合計ポイント)の算出結果の例を示す。図14(a)は、ある人物が認証を行った後、部屋に入ってきた場面を撮影した映像である。また、図14(b)は、図14(a)の各フレーム画像に対応するポイントを示すものである。図14(b)において、人物を識別し易いフレーム画像ほど、合計ポイントが高くなっている(例えば、フレーム7、フレーム8)。これは、人物の顔がはっきり映っている画像ほど、顔ポイントが高くなっているためである。   For example, FIGS. 14 to 16 show examples of calculation results of importance (total points). FIG. 14A shows an image of a scene where a person enters the room after authentication. FIG. 14B shows points corresponding to the frame images in FIG. In FIG. 14B, the total points are higher for frame images that are easier to identify a person (for example, frames 7 and 8). This is because the face point is higher in an image in which a person's face is clearly shown.

また、図15(a)は、図14(a)と撮影場所は同じであるが、認証エラー検出時の映像である。図15(b)は、図15(a)における各フレーム画像に対応するポイントを示すものである。図15(b)において、認証エラー検出時のフレーム画像と前後のフレーム画像についてはセンサポイントが高くなっている。そのため、例えば、図14(a)のフレーム8と、図15(a)のフレーム6とは同じようなフレーム画像であるが、合計ポイントは、図15(a)のフレーム6の方が高くなっている。   FIG. 15A is an image when the authentication error is detected, although the shooting location is the same as FIG. 14A. FIG. 15B shows points corresponding to the respective frame images in FIG. In FIG. 15B, the sensor point is high for the frame image at the time of detecting the authentication error and the frame images before and after the authentication error. Therefore, for example, the frame 8 in FIG. 14A and the frame 6 in FIG. 15A are similar frame images, but the total points are higher in the frame 6 in FIG. 15A. ing.

さらに、図16(a)は、重要性の高い場所を撮影した映像である。図16(b)は、図16(a)の各フレーム画像に対応するポイントを示すものである。図16(a)のフレーム画像は、図14(a)のフレーム画像と同じであるが、場所ポイントが高いため、図16(a)のフレーム画像の方が、合計ポイントも高くなっている。   Further, FIG. 16A is an image obtained by photographing a highly important place. FIG. 16B shows points corresponding to the respective frame images in FIG. The frame image in FIG. 16 (a) is the same as the frame image in FIG. 14 (a), but since the location point is higher, the frame image in FIG. 16 (a) has a higher total point.

以上のような処理を実施することにより、フレーム画像毎に、撮影場所や、撮影対象物の動き及び向き、イベントを考慮した重要度(合計ポイント)を算出することができる。   By performing the processing as described above, the importance (total points) in consideration of the shooting location, the movement and orientation of the shooting target, and the event can be calculated for each frame image.

次に、図17及び図18を用いて、映像ファイルを圧縮する際の処理について説明する。サーバ51は、定期的又は任意のタイミングで、図17及び18に示すような処理を実施する。まず、サーバ51の映像圧縮部519は、ステータスが「未圧縮」である映像ファイルがあるか判断する(図17:ステップS57)。具体的には、ステータスDB512内を検索し、ステータスが「未圧縮」のレコードが格納されているか判断する。ステータスが「未圧縮」である映像ファイルがなければ(ステップS57:Noルート)、端子Dを介してステップS69(図18)の処理に移行する。   Next, processing for compressing a video file will be described with reference to FIGS. 17 and 18. The server 51 performs processing as shown in FIGS. 17 and 18 periodically or at an arbitrary timing. First, the video compression unit 519 of the server 51 determines whether there is a video file whose status is “uncompressed” (FIG. 17: step S57). More specifically, the status DB 512 is searched to determine whether or not a record whose status is “uncompressed” is stored. If there is no video file whose status is “uncompressed” (step S57: No route), the process proceeds to step S69 (FIG. 18) via the terminal D.

一方、ステータスが「未圧縮」である映像ファイルがあると判断された場合(ステップS57:Yesルート)、映像圧縮部519は、該当する映像ファイルのうち、未処理の映像ファイルを特定する(ステップS59)。そして、映像圧縮部519は、特定映像ファイルの撮影日から第1の所定期間経過したか判断する(ステップS61)。特定映像ファイルの撮影日から第1の所定期間経過していなければ(ステップS61:Noルート)、後で説明するステップS63及びステップS65の処理をスキップし、ステップS67の処理に移行する。   On the other hand, when it is determined that there is a video file whose status is “uncompressed” (step S57: Yes route), the video compression unit 519 identifies an unprocessed video file among the corresponding video files (step S57). S59). Then, the video compression unit 519 determines whether or not a first predetermined period has elapsed from the shooting date of the specific video file (step S61). If the first predetermined period has not elapsed since the shooting date of the specific video file (step S61: No route), the processing of step S63 and step S65, which will be described later, is skipped, and the process proceeds to step S67.

一方、特定映像ファイルの撮影日から第1の所定期間経過している場合(ステップS61:Yesルート)、映像圧縮部519は、特定映像ファイルに対応する映像情報ファイルに基づき、特定ファイルに対して圧縮処理を実施する(ステップS63)。具体的には、映像情報ファイルに登録された合計ポイントが所定値未満のフレーム画像を間引いたり、合計ポイントが低いものほど圧縮率を高くするなどし、映像ファイルを圧縮する。なお、圧縮する手法については、従来と変わらないため、ここでは、これ以上述べない。そして、映像圧縮部519は、ステータスDB512内の、特定映像ファイルに対応するレコードのステータスを「圧縮済み」に設定する(ステップS65)。なお、図示していないが、ステータスDB512に、圧縮処理を実施した日時を登録する場合もある。   On the other hand, when the first predetermined period has elapsed from the shooting date of the specific video file (step S61: Yes route), the video compression unit 519 performs the process on the specific file based on the video information file corresponding to the specific video file. A compression process is performed (step S63). Specifically, the video file is compressed by thinning out frame images whose total points registered in the video information file are less than a predetermined value, or increasing the compression rate as the total points are lower. Note that the compression method is not different from the conventional method, and is not described here any further. Then, the video compression unit 519 sets the status of the record corresponding to the specific video file in the status DB 512 to “compressed” (step S65). Although not shown in the drawing, the date and time when the compression processing was performed may be registered in the status DB 512.

そして、映像圧縮部519は、該当する全ての映像ファイルについて処理が完了したか判断する(ステップS67)。該当する全ての映像ファイルについて処理が完了していなければ(ステップS67:Noルート)、ステップS59の処理に戻る。一方、該当する全ての映像ファイルについて処理が完了した場合(ステップS67:Yesルート)、端子Dを介してステップS69(図18)の処理に移行する。   Then, the video compression unit 519 determines whether the processing has been completed for all corresponding video files (step S67). If the processing has not been completed for all corresponding video files (step S67: No route), the processing returns to step S59. On the other hand, when the processing has been completed for all corresponding video files (step S67: Yes route), the processing proceeds to the processing of step S69 (FIG. 18) via the terminal D.

図18の説明に移行して、端子Dの後、映像圧縮部519は、ステータスが「圧縮済み」である映像ファイルがあるか判断する(図18:ステップS69)。具体的には、ステータスDB512内を検索し、ステータスが「圧縮済み」のレコードが格納されているか判断する。ステータスが「圧縮済み」である映像ファイルがなければ(ステップS69:Noルート)、後で説明するステップS71乃至77の処理をスキップし、本処理を終了する。   Moving to the description of FIG. 18, after the terminal D, the video compression unit 519 determines whether there is a video file whose status is “compressed” (FIG. 18: step S69). Specifically, the status DB 512 is searched to determine whether a record whose status is “compressed” is stored. If there is no video file whose status is “compressed” (step S69: No route), the processing of steps S71 to 77 described later is skipped, and this processing ends.

一方、ステータスが「圧縮済み」である映像ファイルがあると判断された場合(ステップS69:Yesルート)、映像圧縮部519は、該当する映像ファイルのうち、未処理の映像ファイルを特定する(ステップS71)。そして、映像圧縮部519は、特定映像ファイルの撮影日から第2の所定期間経過したか判断する(ステップS73)。特定映像ファイルの撮影日から第1の所定期間経過していなければ(ステップS73:Noルート)、後で説明するステップS75の処理をスキップし、ステップS77の処理に移行する。   On the other hand, when it is determined that there is a video file whose status is “compressed” (step S69: Yes route), the video compression unit 519 identifies an unprocessed video file among the corresponding video files (step S69). S71). Then, the video compression unit 519 determines whether or not a second predetermined period has elapsed from the shooting date of the specific video file (step S73). If the first predetermined period has not elapsed since the shooting date of the specific video file (step S73: No route), the process of step S75 described later is skipped, and the process proceeds to step S77.

一方、特定映像ファイルの撮影日から第2の所定期間経過している場合(ステップS73:Yesルート)、映像圧縮部519は、特定映像ファイルに対応する映像情報ファイルに基づき、特定ファイルに対して圧縮処理を実施する(ステップS75)。なお、ステップS75の処理は、基本的には上で説明したステップS63の処理と同じであるが、ステップS63の処理に比べ、圧縮率を高くしたり、基準となる所定値を高くしたりする。すなわち、ここでは、圧縮した映像ファイルをさらに圧縮することになる。   On the other hand, when the second predetermined period has elapsed from the shooting date of the specific video file (step S73: Yes route), the video compression unit 519 performs the process on the specific file based on the video information file corresponding to the specific video file. A compression process is performed (step S75). The process of step S75 is basically the same as the process of step S63 described above, but the compression rate is increased or the reference predetermined value is increased compared to the process of step S63. . That is, here, the compressed video file is further compressed.

そして、映像圧縮部519は、該当する全ての映像ファイルについて処理が完了したか判断する(ステップS77)。該当する全ての映像ファイルについて処理が完了していなければ(ステップS77:Noルート)、ステップS71の処理に戻る。一方、該当する全ての映像ファイルについて処理が完了した場合(ステップS77:Yesルート)、本処理を終了する。   Then, the video compression unit 519 determines whether the processing has been completed for all corresponding video files (step S77). If the processing has not been completed for all corresponding video files (step S77: No route), the processing returns to step S71. On the other hand, when the processing has been completed for all corresponding video files (step S77: Yes route), this processing ends.

以上のような処理を実施することにより、重要度の高いフレーム画像の画質をあまり変えることなく、圧縮することができる。すなわち、有用な情報を保持しつつ、圧縮することができる。   By performing the processing as described above, compression can be performed without changing the image quality of highly important frame images. That is, it is possible to compress while retaining useful information.

以上本発明の一実施の形態について説明したが、本発明はこれに限定されるものではない。例えば、上で説明した機能ブロック図は必ずしも実際のプログラムモジュール構成に対応するものではない。管理サーバ31、サーバ51は、1台のコンピュータではなく複数台のコンピュータで実現するようにしても良い。   Although one embodiment of the present invention has been described above, the present invention is not limited to this. For example, the functional block diagram described above does not necessarily correspond to an actual program module configuration. The management server 31 and the server 51 may be realized by a plurality of computers instead of a single computer.

また、上で説明した各テーブルの構成は一例であって、必ずしも上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。   Further, the configuration of each table described above is an example, and the configuration as described above is not necessarily required. Further, in the processing flow, the processing order can be changed if the processing result does not change. Further, it may be executed in parallel.

また、上では、圧縮の回数が2回(すなわち、第1の所定期間経過後の圧縮及び第2の所定期間経過後の圧縮)の場合の例を説明したが、圧縮の回数は2回に限定されない。例えば、重要性の高い場所を撮影した映像ファイルについては1回のみ圧縮し、あまり重要性の高くない場所を撮影した映像ファイルについては複数回(例えば3回以上)圧縮するような場合もある。   In the above description, an example in which the number of times of compression is two (that is, compression after the elapse of the first predetermined period and compression after the elapse of the second predetermined period) has been described. It is not limited. For example, a video file that captures a highly important place may be compressed only once, and a video file that captures a less important place may be compressed multiple times (for example, three times or more).

また、合計ポイントを算出する式は一例であって、他の式を用いて合計ポイントを算出する場合もある。   The formula for calculating the total points is an example, and the total points may be calculated using other formulas.

なお、管理サーバ31及びサーバ51は、図19のようなコンピュータ装置であって、メモリ2501(記憶装置)とCPU2503(処理装置)とハードディスク・ドライブ(HDD)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施の形態における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。必要に応じてCPU2503は、表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、必要な動作を行わせる。また、処理途中のデータについては、メモリ2501に格納され、必要があればHDD2505に格納される。本発明の実施の形態では、上で述べた処理を実施するためのアプリケーション・プログラムはリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及び必要なアプリケーション・プログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。   The management server 31 and the server 51 are computer devices as shown in FIG. 19, and a display connected to a memory 2501 (storage device), a CPU 2503 (processing device), a hard disk drive (HDD) 2505, and a display device 2509. A control unit 2507, a drive device 2513 for a removable disk 2511, an input device 2515, and a communication control unit 2517 for connecting to a network are connected by a bus 2519. An operating system (OS: Operating System) and an application program for performing processing in the present embodiment are stored in the HDD 2505, and are read from the HDD 2505 to the memory 2501 when executed by the CPU 2503. If necessary, the CPU 2503 controls the display control unit 2507, the communication control unit 2517, and the drive device 2513 to perform necessary operations. Further, data in the middle of processing is stored in the memory 2501 and stored in the HDD 2505 if necessary. In the embodiment of the present invention, an application program for performing the processing described above is stored in the removable disk 2511 and distributed, and is installed in the HDD 2505 from the drive device 2513. In some cases, the HDD 2505 may be installed via a network such as the Internet and the communication control unit 2517. Such a computer apparatus realizes various functions as described above by organically cooperating hardware such as the CPU 2503 and the memory 2501 described above, the OS, and necessary application programs.

(付記1)
映像データを構成する各フレーム画像について、少なくとも当該フレーム画像の有する特徴と前記映像データの撮影条件とに基づき、当該フレーム画像の重要度を算出する重要度算出手段と、
前記重要度に基づき、前記映像データを圧縮する圧縮手段と、
を有する映像データ処理装置。
(Appendix 1)
Importance calculation means for calculating the importance of the frame image based on at least the characteristics of the frame image and the shooting conditions of the video data for each frame image constituting the video data;
Compression means for compressing the video data based on the importance;
A video data processing apparatus.

(付記2)
前記撮影条件が、撮影場所毎に予め設定された場所ポイントを含み、
前記重要度算出手段が、
前記映像データの撮影場所に対応する前記場所ポイントを用いて前記重要度を算出する
ことを特徴とする付記1記載の映像データ処理装置。
(Appendix 2)
The shooting conditions include a location point preset for each shooting location,
The importance calculating means is
The video data processing apparatus according to claim 1, wherein the importance is calculated using the location point corresponding to the shooting location of the video data.

(付記3)
前記重要度算出手段が、
前記フレーム画像の有する特徴として、当該フレーム画像において撮影対象物とみなされる部分の動きの大きさと、前記撮影対象物とみなされる部分の向きとのうち少なくともいずれかを抽出し、
前記撮影対象物とみなされる部分の動きの大きさに対応する動きポイントと、前記撮影対象物とみなされる部分の向きに対応する向きポイントとのうち少なくともいずれかを用いて前記重要度を算出する
ことを特徴とする付記1記載の映像データ処理装置。
(Appendix 3)
The importance calculating means is
As the feature of the frame image, extract at least one of the magnitude of the movement of the part regarded as the photographing object in the frame image and the direction of the part regarded as the photographing object,
The importance is calculated using at least one of a movement point corresponding to the magnitude of the movement of the part regarded as the photographing object and a direction point corresponding to the direction of the part regarded as the photographing object. The video data processing apparatus according to supplementary note 1, wherein:

(付記4)
前記重要度算出手段が、
前記映像データの撮影場所にセンサが設置されている場合には、当該センサにより検出されたイベントの情報にさらに基づき、前記重要度を算出する
ことを特徴とする付記1記載の映像データ処理装置。
(Appendix 4)
The importance calculating means is
The video data processing apparatus according to appendix 1, wherein when a sensor is installed at the video data shooting location, the degree of importance is further calculated based on event information detected by the sensor.

(付記5)
前記重要度算出手段が、
前記イベント検出時の前記フレーム画像について、前記イベントに対応するイベントポイントを用いて前記重要度を算出する
ことを特徴とする付記4記載の映像データ処理装置。
(Appendix 5)
The importance calculating means is
The video data processing apparatus according to appendix 4, wherein the importance level is calculated for the frame image at the time of the event detection using an event point corresponding to the event.

(付記6)
前記重要度算出手段が、
前記イベント検出時の前記フレーム画像から前の、第1の所定数分の前記フレーム画像と、前記イベント検出時の前記フレーム画像から後の、第2の所定数分の前記フレーム画像とのうち少なくともいずれかについて、前記イベントに対応するイベントポイントを用いて前記重要度を算出する
ことを特徴とする付記5記載の映像データ処理装置。
(Appendix 6)
The importance calculating means is
At least one of the first predetermined number of the frame images before the frame image at the time of the event detection, and a second predetermined number of the frame images after the frame image at the time of the event detection. The video data processing apparatus according to appendix 5, wherein the importance is calculated using an event point corresponding to the event.

(付記7)
前記圧縮手段が、
前記重要度が所定基準未満の前記フレーム画像を間引くことにより、前記映像データを圧縮する
ことを特徴とする付記1記載の映像データ処理装置。
(Appendix 7)
The compression means comprises:
The video data processing apparatus according to claim 1, wherein the video data is compressed by thinning out the frame images having the importance less than a predetermined reference.

(付記8)
前記重要度が低いほど、前記フレーム画像の圧縮率が高くなる
ことを特徴とする付記1記載の映像データ処理装置。
(Appendix 8)
The video data processing apparatus according to appendix 1, wherein the lower the importance, the higher the compression rate of the frame image.

(付記9)
映像データを構成する各フレーム画像について、少なくとも当該フレーム画像の有する特徴と前記映像データの撮影条件とに基づき、当該フレーム画像の重要度を算出する重要度算出ステップと、
前記重要度に基づき、前記映像データを圧縮する圧縮ステップと、
をコンピュータに実行させるための映像データ処理プログラム。
(Appendix 9)
For each frame image constituting the video data, an importance calculation step for calculating the importance of the frame image based on at least the characteristics of the frame image and the shooting conditions of the video data;
A compression step of compressing the video data based on the importance;
A video data processing program for causing a computer to execute.

(付記10)
映像データを構成する各フレーム画像について、少なくとも当該フレーム画像の有する特徴と前記映像データの撮影条件とに基づき、当該フレーム画像の重要度を算出する重要度算出ステップと、
前記重要度に基づき、前記映像データを圧縮する圧縮ステップと、
を含み、コンピュータにより実行される映像データ処理方法。
(Appendix 10)
For each frame image constituting the video data, an importance calculation step for calculating the importance of the frame image based on at least the characteristics of the frame image and the shooting conditions of the video data;
A compression step of compressing the video data based on the importance;
A video data processing method executed by a computer.

本発明の実施の形態に係るシステム構成図である。It is a system configuration figure concerning an embodiment of the invention. 本発明の実施の形態におけるサーバの機能ブロック図である。It is a functional block diagram of a server in an embodiment of the invention. ステータスDBに格納されるデータの一例を示す図である。It is a figure which shows an example of the data stored in status DB. イベントDBに格納されるデータの一例を示す図である。It is a figure which shows an example of the data stored in event DB. カメラDBに格納されるデータの一例を示す図である。It is a figure which shows an example of the data stored in camera DB. 映像情報ファイルの一例を示す図である。It is a figure which shows an example of a video information file. (a)及び(b)は、映像ファイルの一例を示す図である。(A) And (b) is a figure which shows an example of a video file. 映像データ受信時の処理フローを示す図である。It is a figure which shows the processing flow at the time of video data reception. ファイル名の命名規則を説明するための図である。It is a figure for demonstrating the naming rule of a file name. 重要度を計算する処理の処理フロー(第1の部分)を示す図である。It is a figure which shows the processing flow (1st part) of the process which calculates importance. 重要度を計算する処理の処理フロー(第2の部分)を示す図である。It is a figure which shows the processing flow (2nd part) of the process which calculates importance. センサポイント付与処理の処理フローを示す図である。It is a figure which shows the processing flow of a sensor point provision process. 重要度を計算する処理の処理フロー(第3の部分)を示す図である。It is a figure which shows the processing flow (3rd part) of the process which calculates importance. (a)及び(b)は、重要度の算出結果の一例を示す図である。(A) And (b) is a figure which shows an example of the calculation result of importance. (a)及び(b)は、重要度の算出結果の一例を示す図である。(A) And (b) is a figure which shows an example of the calculation result of importance. (a)及び(b)は、重要度の算出結果の一例を示す図である。(A) And (b) is a figure which shows an example of the calculation result of importance. 映像ファイルを圧縮する際の処理フロー(第1の部分)を示す図である。It is a figure which shows the processing flow (1st part) at the time of compressing a video file. 映像ファイルを圧縮する際の処理フロー(第2の部分)を示す図である。It is a figure which shows the processing flow (2nd part) at the time of compressing a video file. コンピュータの機能ブロック図である。It is a functional block diagram of a computer.

符号の説明Explanation of symbols

1,7 ネットワーク
3 入退管理システム
5 映像監視システム
9 レコーダ
10 カメラ
11 センサ
31 管理サーバ 32 入退履歴DB
51 サーバ 52 映像ファイル格納部
511 映像受信部 512 ステータスDB
513 イベント取得部 514 イベントDB
515 カメラDB 516 ポイント設定部
517 映像情報ファイル格納部 518 映像解析部
519 映像圧縮部
1, 7 Network 3 Entrance / exit management system 5 Video monitoring system 9 Recorder 10 Camera 11 Sensor 31 Management server 32 Entrance / exit history DB
51 Server 52 Video File Storage Unit 511 Video Reception Unit 512 Status DB
513 event acquisition unit 514 event DB
515 Camera DB 516 Point setting unit 517 Video information file storage unit 518 Video analysis unit 519 Video compression unit

Claims (7)

映像データを構成する各フレーム画像について、少なくとも当該フレーム画像の有する特徴と前記映像データの撮影条件とに基づき、当該フレーム画像の重要度を算出する重要度算出手段と、
前記重要度に基づき、前記映像データを圧縮する圧縮手段と、
を有する映像データ処理装置。
Importance calculation means for calculating the importance of the frame image based on at least the characteristics of the frame image and the shooting conditions of the video data for each frame image constituting the video data;
Compression means for compressing the video data based on the importance;
A video data processing apparatus.
前記撮影条件が、撮影場所毎に予め設定された場所ポイントを含み、
前記重要度算出手段が、
前記映像データの撮影場所に対応する前記場所ポイントを用いて前記重要度を算出する
ことを特徴とする請求項1記載の映像データ処理装置。
The shooting conditions include a location point preset for each shooting location,
The importance calculating means is
The video data processing apparatus according to claim 1, wherein the importance is calculated using the location point corresponding to a shooting location of the video data.
前記重要度算出手段が、
前記フレーム画像の有する特徴として、当該フレーム画像において撮影対象物とみなされる部分の動きの大きさと、前記撮影対象物とみなされる部分の向きとのうち少なくともいずれかを抽出し、
前記撮影対象物とみなされる部分の動きの大きさに対応する動きポイントと、前記撮影対象物とみなされる部分の向きに対応する向きポイントとのうち少なくともいずれかを用いて前記重要度を算出する
ことを特徴とする請求項1記載の映像データ処理装置。
The importance calculating means is
As the feature of the frame image, extract at least one of the magnitude of the movement of the part regarded as the photographing object in the frame image and the direction of the part regarded as the photographing object,
The importance is calculated using at least one of a movement point corresponding to the magnitude of the movement of the part regarded as the photographing object and a direction point corresponding to the direction of the part regarded as the photographing object. The video data processing apparatus according to claim 1, wherein:
前記重要度算出手段が、
前記映像データの撮影場所にセンサが設置されている場合には、当該センサにより検出されたイベントの情報にさらに基づき、前記重要度を算出する
ことを特徴とする請求項1記載の映像データ処理装置。
The importance calculating means is
The video data processing apparatus according to claim 1, wherein, when a sensor is installed at a shooting location of the video data, the importance level is further calculated based on information of an event detected by the sensor. .
前記重要度算出手段が、
前記イベント検出時の前記フレーム画像について、前記イベントに対応するイベントポイントを用いて前記重要度を算出する
ことを特徴とする請求項4記載の映像データ処理装置。
The importance calculating means is
The video data processing apparatus according to claim 4, wherein the importance level of the frame image at the time of the event detection is calculated using an event point corresponding to the event.
映像データを構成する各フレーム画像について、少なくとも当該フレーム画像の有する特徴と前記映像データの撮影条件とに基づき、当該フレーム画像の重要度を算出する重要度算出ステップと、
前記重要度に基づき、前記映像データを圧縮する圧縮ステップと、
をコンピュータに実行させるための映像データ処理プログラム。
For each frame image constituting the video data, an importance calculation step for calculating the importance of the frame image based on at least the characteristics of the frame image and the shooting conditions of the video data;
A compression step of compressing the video data based on the importance;
A video data processing program for causing a computer to execute.
映像データを構成する各フレーム画像について、少なくとも当該フレーム画像の有する特徴と前記映像データの撮影条件とに基づき、当該フレーム画像の重要度を算出する重要度算出ステップと、
前記重要度に基づき、前記映像データを圧縮する圧縮ステップと、
を含み、コンピュータにより実行される映像データ処理方法。
For each frame image constituting the video data, an importance calculation step for calculating the importance of the frame image based on at least the characteristics of the frame image and the shooting conditions of the video data;
A compression step of compressing the video data based on the importance;
A video data processing method executed by a computer.
JP2008039514A 2008-02-21 2008-02-21 Video data processing apparatus, program, and method Pending JP2009200757A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008039514A JP2009200757A (en) 2008-02-21 2008-02-21 Video data processing apparatus, program, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008039514A JP2009200757A (en) 2008-02-21 2008-02-21 Video data processing apparatus, program, and method

Publications (1)

Publication Number Publication Date
JP2009200757A true JP2009200757A (en) 2009-09-03

Family

ID=41143798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008039514A Pending JP2009200757A (en) 2008-02-21 2008-02-21 Video data processing apparatus, program, and method

Country Status (1)

Country Link
JP (1) JP2009200757A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011147025A (en) * 2010-01-15 2011-07-28 Fujitsu Ltd Distribution apparatus, distribution program and distribution method
JP2012133451A (en) * 2010-12-20 2012-07-12 Kddi R & D Laboratories Inc Importance determination system, data importance determination method and program
JP2016534666A (en) * 2014-08-15 2016-11-04 小米科技有限責任公司Xiaomi Inc. Video backup method, apparatus, program, and recording medium
JP2019121821A (en) * 2017-12-28 2019-07-22 日本信号株式会社 Photographing system
JP2020077977A (en) * 2018-11-07 2020-05-21 株式会社テックコーポレーション Hand-washing monitor system
CN113784094A (en) * 2021-08-31 2021-12-10 上海三旺奇通信息科技有限公司 Video data processing method, gateway, terminal device and storage medium
CN113784094B (en) * 2021-08-31 2024-04-30 上海三旺奇通信息科技有限公司 Video data processing method, gateway, terminal device and storage medium

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111859A (en) * 1994-10-12 1996-04-30 Hitachi Ltd Interactive monitor system
JPH1127610A (en) * 1997-07-08 1999-01-29 Sony Corp Image information recording device and image information processing method
JP2001292439A (en) * 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd Supervisory system
JP2002044609A (en) * 2000-07-31 2002-02-08 Matsushita Electric Ind Co Ltd Picture recorder and monitoring device
JP2003153177A (en) * 2001-11-08 2003-05-23 Mega Chips Corp Device and method for image video recording
JP2003153007A (en) * 2001-07-23 2003-05-23 Eastman Kodak Co Image compression control system and method based on image importance
JP2005347942A (en) * 2004-06-01 2005-12-15 Konica Minolta Holdings Inc Monitor system, control program of monitor system and monitoring device
JP2007158410A (en) * 2005-11-30 2007-06-21 Sony Computer Entertainment Inc Image encoder, image decoder, and image processing system
JP2008167101A (en) * 2006-12-28 2008-07-17 Hitachi Ltd Video recorder for monitoring
JP2008283230A (en) * 2007-05-08 2008-11-20 Hitachi Kokusai Electric Inc Image processing system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111859A (en) * 1994-10-12 1996-04-30 Hitachi Ltd Interactive monitor system
JPH1127610A (en) * 1997-07-08 1999-01-29 Sony Corp Image information recording device and image information processing method
JP2001292439A (en) * 2000-04-06 2001-10-19 Mitsubishi Heavy Ind Ltd Supervisory system
JP2002044609A (en) * 2000-07-31 2002-02-08 Matsushita Electric Ind Co Ltd Picture recorder and monitoring device
JP2003153007A (en) * 2001-07-23 2003-05-23 Eastman Kodak Co Image compression control system and method based on image importance
JP2003153177A (en) * 2001-11-08 2003-05-23 Mega Chips Corp Device and method for image video recording
JP2005347942A (en) * 2004-06-01 2005-12-15 Konica Minolta Holdings Inc Monitor system, control program of monitor system and monitoring device
JP2007158410A (en) * 2005-11-30 2007-06-21 Sony Computer Entertainment Inc Image encoder, image decoder, and image processing system
JP2008167101A (en) * 2006-12-28 2008-07-17 Hitachi Ltd Video recorder for monitoring
JP2008283230A (en) * 2007-05-08 2008-11-20 Hitachi Kokusai Electric Inc Image processing system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011147025A (en) * 2010-01-15 2011-07-28 Fujitsu Ltd Distribution apparatus, distribution program and distribution method
JP2012133451A (en) * 2010-12-20 2012-07-12 Kddi R & D Laboratories Inc Importance determination system, data importance determination method and program
JP2016534666A (en) * 2014-08-15 2016-11-04 小米科技有限責任公司Xiaomi Inc. Video backup method, apparatus, program, and recording medium
JP2019121821A (en) * 2017-12-28 2019-07-22 日本信号株式会社 Photographing system
JP7089364B2 (en) 2017-12-28 2022-06-22 日本信号株式会社 Shooting system
JP2020077977A (en) * 2018-11-07 2020-05-21 株式会社テックコーポレーション Hand-washing monitor system
JP7370516B2 (en) 2018-11-07 2023-10-30 株式会社テックコーポレーション hand washing monitoring system
CN113784094A (en) * 2021-08-31 2021-12-10 上海三旺奇通信息科技有限公司 Video data processing method, gateway, terminal device and storage medium
CN113784094B (en) * 2021-08-31 2024-04-30 上海三旺奇通信息科技有限公司 Video data processing method, gateway, terminal device and storage medium

Similar Documents

Publication Publication Date Title
US10846529B2 (en) Image monitoring system and image monitoring program
US20170163941A1 (en) Video analytics based control of video data storage
US20120195363A1 (en) Video analytics with pre-processing at the source end
CN101014111A (en) Imaging device, information processing method, and computer program
JP2014512768A (en) Video surveillance system and method
JP2008035095A (en) Monitoring apparatus, monitoring system, monitoring method and program
CN108259934A (en) For playing back the method and apparatus of recorded video
US11496671B2 (en) Surveillance video streams with embedded object data
JP5139947B2 (en) Surveillance image storage system and surveillance image storage method for surveillance image storage system
US11050924B2 (en) Method and system for auto-setting of cameras
JP2008131611A (en) Monitoring apparatus, monitoring image recording method, monitoring image transmitting method, monitoring image recording control program, and monitoring image transmission control program
CN110956648A (en) Video image processing method, device, equipment and storage medium
JP2009200757A (en) Video data processing apparatus, program, and method
US10116770B2 (en) Image processing apparatus based on open platform and protocol conversion method used for the same
JP4075748B2 (en) Image recording device
CN111541927A (en) Video playing method and device
JP6214762B2 (en) Image search system, search screen display method
CN115878379A (en) Data backup method, main server, backup server and storage medium
CN113596582A (en) Video preview method and device and electronic equipment
US10885343B1 (en) Repairing missing frames in recorded video with machine learning
KR101984069B1 (en) Image based intelligent vibration monitoring method
KR101984070B1 (en) Stereo image based intelligent vibration monitoring method
JP4438945B2 (en) Monitoring system
CN112911299A (en) Video code rate control method and device, electronic equipment and storage medium
JP2012039284A (en) Moving image compression apparatus, moving image distribution system, moving image compression program, recording medium, and moving image compression method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120327