JP2010278600A

JP2010278600A - Image processor

Info

Publication number: JP2010278600A
Application number: JP2009127283A
Authority: JP
Inventors: Yasunobu Adachi; 康伸足立; Kihei Ido; 喜平井戸
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-05-27
Filing date: 2009-05-27
Publication date: 2010-12-09

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique for easily recognizing the entire image of a moving object moving in a moving image. <P>SOLUTION: An image processor 1 includes a communication part 21, a fragment still image extraction part 24a, and an image combining part 24b. The communication part 21 receives the input of the moving image. The fragment still image extraction part 24a extracts a plurality of fragment still images which are put into a time sequential order and indicate only the fragment images of the moving object moving in the moving image from the moving image. The image combining part 24b combines the plurality of fragment still images and generates a composite still image indicating the entire image of the moving object. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、入力された画像に画像処理を行う画像処理装置に関する。 The present invention relates to an image processing apparatus that performs image processing on an input image.

従来から、画像に画像処理を行う画像処理装置に関して様々な技術が提案されている。画像処理装置には、不審者や不審車両を撮影することを目的として設置された監視カメラが撮影した画像に、画像処理を行うものもある。特許文献１には、監視カメラが撮影した画像を記憶する技術が記載されている。監視カメラで撮影された画像を記憶する記憶装置として、デジタルレコーダが用いられる場合がある。 Conventionally, various techniques have been proposed for an image processing apparatus that performs image processing on an image. Some image processing apparatuses perform image processing on an image captured by a surveillance camera installed for the purpose of capturing a suspicious person or a suspicious vehicle. Patent Document 1 describes a technique for storing an image taken by a surveillance camera. In some cases, a digital recorder is used as a storage device that stores an image captured by a surveillance camera.

特開２００１−３０９３５３号公報JP 2001-309353 A

監視カメラが撮影した動画像において移動する移動体が、不審者や不審車両であることを特定するためには、当該移動体の全体像を正確に把握することが望まれる。しかし、移動体の全体像を正確に把握するために、動画像を一時停止させて静止画像を表示しても、当該静止画像には移動体が部分的にしか現れない場合がある。つまり、当該静止画像には移動体の断片像しか現れない場合がある。この場合において、ユーザが、移動体が現れる動画像をコマ送り表示しながら移動体の全体像を把握しようとしたとしても、ユーザは移動体の断片像しか視認できないため、移動体の全体像の把握が困難であった。また、動画像から抽出された、移動体が示されている複数の静止画像を一画面において同時に表示しても、個々の静止画像には移動体の断片像しか表示されないため、移動体の全体像の把握が困難であった。 In order to specify that the moving body moving in the moving image captured by the monitoring camera is a suspicious person or a suspicious vehicle, it is desired to accurately grasp the entire image of the moving body. However, even if a moving image is temporarily stopped and a still image is displayed in order to accurately grasp the entire image of the moving object, the moving object may appear only partially in the still image. That is, there are cases where only the fragment image of the moving object appears in the still image. In this case, even if the user tries to grasp the entire image of the moving object while displaying the moving image in which the moving object appears frame by frame, the user can only visually recognize the fragment image of the moving object. It was difficult to grasp. In addition, even if a plurality of still images extracted from a moving image and showing a moving object are displayed simultaneously on one screen, only a fragment image of the moving object is displayed on each still image. It was difficult to grasp the image.

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、動画像において移動する移動体の全体像を容易に把握することが可能な技術を提供することを目的とする。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of easily grasping the entire image of a moving body that moves in a moving image.

本発明に係る画像処理装置は、動画像の入力を受け付ける画像入力部と、前記動画像から、当該動画像において移動する移動体の断片像のみを示す、時系列順に序列付けられた複数の断片静止画像を抽出する断片静止画像抽出部と、前記複数の断片静止画像を合成して、前記移動体の全体像を示す合成静止画像を生成する画像合成部とを備える。 An image processing apparatus according to the present invention includes an image input unit that receives an input of a moving image, and a plurality of fragments that are ordered from the moving image in time-series order, showing only fragment images of a moving object that moves in the moving image. A fragment still image extracting unit that extracts a still image; and an image combining unit that combines the plurality of fragment still images to generate a combined still image indicating an entire image of the moving object.

本発明によれば、動画像において移動する移動体の断片像のみを示す、時系列順に序列付けられた複数の断片静止画像から、移動体の全体像を示す合成静止画像を生成する。したがって、移動体の全体像を容易に把握することができる。 According to the present invention, a composite still image that shows an entire image of a moving object is generated from a plurality of fragment still images that are ordered in chronological order and that show only fragment images of the moving object that moves in the moving image. Therefore, it is possible to easily grasp the entire image of the moving body.

実施の形態に係る画像処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image processing apparatus which concerns on embodiment. 実施の形態に係る画像処理装置の動作を示す図である。It is a figure which shows operation | movement of the image processing apparatus which concerns on embodiment. 実施の形態に係る画像処理装置の動作を示すフローチャートである。3 is a flowchart illustrating an operation of the image processing apparatus according to the embodiment. 実施の形態に係る画像処理装置の動作を示す図である。It is a figure which shows operation | movement of the image processing apparatus which concerns on embodiment. 実施の形態に係る画像処理装置の動作を示す図である。It is a figure which shows operation | movement of the image processing apparatus which concerns on embodiment.

図１は、本発明の実施の形態に係る画像処理装置１の構成を示す図である。本実施の形態に係る画像処理装置１は、防犯上の観点から設置された複数の監視カメラ２を備え、複数の監視カメラ２のそれぞれが撮影した動画像の画像処理、解析、表示及び記憶を行う。複数の監視カメラ２は、互いに離れた場所に設置されている。 FIG. 1 is a diagram showing a configuration of an image processing apparatus 1 according to an embodiment of the present invention. The image processing apparatus 1 according to the present embodiment includes a plurality of surveillance cameras 2 installed from the viewpoint of crime prevention, and performs image processing, analysis, display, and storage of moving images taken by the plurality of surveillance cameras 2. Do. The plurality of monitoring cameras 2 are installed at locations separated from each other.

図１に示すように、画像処理装置１は、デジタルレコーダ３と、ＰＣ（パーソナルコンピュータ）本体４と、入力装置５と、表示装置６とを備える。ＰＣ本体４は、キーボード及びマウスなどで構成される入力装置５、及び、液晶ディスプレイなどの表示装置６とともに、一般的なパーソナルコンピュータを構成している。入力装置５及び表示装置６のそれぞれは、ＵＳＢ（Universal Serial Bus）などの通信線を介してＰＣ本体４に接続されている。デジタルレコーダ３及びＰＣ本体４は、ＬＡＮ（Local Area Network）ケーブルなどの伝送網を介して互いに接続されている。 As shown in FIG. 1, the image processing apparatus 1 includes a digital recorder 3, a PC (personal computer) body 4, an input device 5, and a display device 6. The PC body 4 constitutes a general personal computer together with an input device 5 composed of a keyboard and a mouse, and a display device 6 such as a liquid crystal display. Each of the input device 5 and the display device 6 is connected to the PC main body 4 via a communication line such as a USB (Universal Serial Bus). The digital recorder 3 and the PC main body 4 are connected to each other via a transmission network such as a LAN (Local Area Network) cable.

複数の監視カメラ２のそれぞれは、動画像を撮影し、当該動画像を示す動画像データを生成する。ここで、動画像は複数の静止画像（複数のフレーム画像）で構成されることから、動画像データは、それぞれが静止画像を示す複数の静止画像データで構成される。デジタルレコーダ３は、内蔵のハードディスク（図示せず）に、複数の監視カメラ２でそれぞれ生成された複数の動画像データをＭＰＥＧ４などの画像圧縮処理を用いて圧縮し、圧縮後の当該複数の動画像データを記憶する。また、デジタルレコーダ３は、各動画像データについて、当該動画像データを管理するために用いられる画像データ管理情報を、当該動画像データに関連付けて記憶している。画像データ管理情報は、例えば、当該画像データ管理情報が関連付けられている動画像データが生成された監視カメラ２を識別するためのカメラ番号と、当該監視カメラ２が当該動画像データを生成した時刻、つまり当該動画像データが示す動画像を撮影した時刻とを含んでいる。デジタルレコーダ３は、ＰＣ本体４からの命令に応じて、動画像データと、それに関連付けられた画像データ管理情報をＰＣ本体４に出力する。 Each of the plurality of monitoring cameras 2 captures a moving image and generates moving image data indicating the moving image. Here, since the moving image is composed of a plurality of still images (a plurality of frame images), the moving image data is composed of a plurality of still image data each indicating a still image. The digital recorder 3 compresses a plurality of moving image data respectively generated by the plurality of surveillance cameras 2 in an internal hard disk (not shown) using an image compression process such as MPEG4, and the plurality of compressed moving images. Store image data. Further, the digital recorder 3 stores, for each moving image data, image data management information used for managing the moving image data in association with the moving image data. The image data management information includes, for example, a camera number for identifying the monitoring camera 2 that generated the moving image data associated with the image data management information, and the time when the monitoring camera 2 generated the moving image data. That is, the time when the moving image indicated by the moving image data is captured is included. The digital recorder 3 outputs moving image data and image data management information associated therewith to the PC body 4 in response to a command from the PC body 4.

ＰＣ本体４は、デジタルレコーダ３から出力される動画像データの画像処理、解析、記憶を行う。また、ＰＣ本体４は、表示装置６が動画像や静止画像を表示するように、表示装置６を制御する。入力装置５は、ユーザからの入力操作を受け付ける装置であり、ユーザからの入力操作をＰＣ本体４に出力する。ＰＣ本体４は、入力装置５から出力される入力操作に応じた動作を行う。したがって、ユーザは、入力装置５において入力操作を行うことにより、ＰＣ本体４に所望の動作を実行させることができる。 The PC main body 4 performs image processing, analysis, and storage of moving image data output from the digital recorder 3. Further, the PC main body 4 controls the display device 6 so that the display device 6 displays moving images and still images. The input device 5 is a device that receives an input operation from the user, and outputs the input operation from the user to the PC main body 4. The PC main body 4 performs an operation according to the input operation output from the input device 5. Therefore, the user can cause the PC body 4 to perform a desired operation by performing an input operation on the input device 5.

次に、ＰＣ本体４の構成について説明する。ＰＣ本体４は、通信部２１と、表示ドライバー２２と、記憶装置２３と、ＰＣ本体４全体での動作を統括的に制御する制御部２４とを備える。 Next, the configuration of the PC main body 4 will be described. The PC main body 4 includes a communication unit 21, a display driver 22, a storage device 23, and a control unit 24 that controls the overall operation of the PC main body 4.

通信部２１は、デジタルレコーダ３から出力される、動画像データなどの情報の入力を受け付ける。通信部２１は、デジタルレコーダ３からの情報を制御部２４に出力するとともに、制御部２４からの要求等をデジタルレコーダ３に出力する。通信部２１には、例えば、ＬＡＮカードが用いられる。表示ドライバー２２は、表示装置６が動画像や静止画像を表示するように、表示装置６を制御する。制御部２４は、表示ドライバー２２を制御する。つまり、制御部２４は、表示ドライバー２２を介して、表示装置６を制御する。 The communication unit 21 receives input of information such as moving image data output from the digital recorder 3. The communication unit 21 outputs information from the digital recorder 3 to the control unit 24 and outputs a request from the control unit 24 to the digital recorder 3. For the communication unit 21, for example, a LAN card is used. The display driver 22 controls the display device 6 so that the display device 6 displays moving images and still images. The control unit 24 controls the display driver 22. That is, the control unit 24 controls the display device 6 via the display driver 22.

記憶装置２３は、例えば、ハードディスクが用いられ、制御部２４からの制御により、各種情報を記憶する。一方、この記憶装置２３には制御部２４が実行する動作プログラムＰが記憶されている。制御部２４は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリーとから構成される。制御部２４が、動作プログラムＰを実行することにより、当該制御部２４には、機能ブロックとして、断片静止画像抽出部２４ａと、画像合成部２４ｂとが形成される。 For example, a hard disk is used as the storage device 23, and various information is stored under the control of the control unit 24. On the other hand, the storage device 23 stores an operation program P executed by the control unit 24. The control unit 24 includes a CPU (Central Processing Unit) and a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory). When the control unit 24 executes the operation program P, a fragment still image extraction unit 24a and an image composition unit 24b are formed as functional blocks in the control unit 24.

また、制御部２４が動作プログラムＰを実行した場合には、図２に示すように、デジタルレコーダ３で記憶される動画像が表示される操作画像表示エリア３１、当該動画像を構成する複数の静止画像が表示される静止画像表示エリア３２及び当該動画像中の移動体が表示される移動体表示エリア３３が表示装置６にＧＵＩ（Graphical User Interface）表示される。また、制御部２４が動作プログラムＰを実行した場合には、図２に示すように、画像検索ボタン３４、表示設定ボタン３５、複数のボタンから成る画像操作ボタン群３６、ファイルメニューボタン３７、及び、ユーザが入力装置５を用いてそれらボタンに入力操作を行うためのポインタ３８が表示装置６にＧＵＩ表示される。 When the control unit 24 executes the operation program P, as shown in FIG. 2, an operation image display area 31 on which a moving image stored in the digital recorder 3 is displayed, and a plurality of images constituting the moving image are displayed. A still image display area 32 in which a still image is displayed and a moving body display area 33 in which a moving body in the moving image is displayed are displayed on the display device 6 by a GUI (Graphical User Interface). When the control unit 24 executes the operation program P, as shown in FIG. 2, an image search button 34, a display setting button 35, an image operation button group 36 including a plurality of buttons, a file menu button 37, and A pointer 38 for the user to perform an input operation on these buttons using the input device 5 is displayed on the display device 6 using a GUI.

制御部２４は、デジタルレコーダ３に対して、再生データ要求を行う。デジタルレコーダ３は、再生データ要求を受けた場合には、自身に記憶している動画像データを構成する、時系列順に序列付けられた複数の静止画像データを、時系列において前側から１コマずつ（１フレームずつ）、制御部２４に出力する。制御部２４は、デジタルレコーダ３から１コマの静止画像データを受けるごとに、操作画像表示エリア３１に表示する静止画像を、デジタルレコーダ３から受けた１コマの静止画像データが示す静止画像に切り替える。デジタルレコーダ３は、微小時間ごとに１コマの静止画像データを出力し、操作画像表示エリア３１に表示される静止画像が微小時間ごとに切り替わる結果、操作画像表示エリア３１には、動画像が再生状態で表示される。表示装置６でのその他の表示エリア、及び表示装置６に表示される各種ボタンについては後で詳細に説明する。 The control unit 24 makes a reproduction data request to the digital recorder 3. When the digital recorder 3 receives a reproduction data request, the digital recorder 3 stores a plurality of still image data arranged in chronological order one by one from the front in the time series, which constitutes the moving image data stored in the digital recorder 3. The data is output to the control unit 24 (one frame at a time). Each time the control unit 24 receives one frame of still image data from the digital recorder 3, the control unit 24 switches the still image displayed in the operation image display area 31 to the still image indicated by the one frame of still image data received from the digital recorder 3. . The digital recorder 3 outputs one frame of still image data every minute time, and as a result of switching the still image displayed in the operation image display area 31 every minute time, a moving image is reproduced in the operation image display area 31. Displayed with status. Other display areas on the display device 6 and various buttons displayed on the display device 6 will be described in detail later.

図３は、本実施の形態に係る画像処理装置１の動作を示すフローチャートである。本実施の形態に係る画像処理装置１は、デジタルレコーダ３に記憶されている動画像に基づいて、当該動画像において移動する移動体の全体像を示す静止画像を生成することができる。以下、図３を用いて画像処理装置１の動作を説明する。 FIG. 3 is a flowchart showing the operation of the image processing apparatus 1 according to the present embodiment. The image processing apparatus 1 according to the present embodiment can generate a still image indicating an overall image of a moving body that moves in the moving image based on the moving image stored in the digital recorder 3. Hereinafter, the operation of the image processing apparatus 1 will be described with reference to FIG.

まず、表示設定ボタン３５が、ポインタ３８の入力操作を受け付けた場合には、制御部２４は、表示設定画面（図示しない）を表示装置６に表示させる。この表示設定画面において、静止画像表示エリア３２に関する設定を行うための入力操作が行われる（ステップｓ１）。具体的には、２以上１５以下の範囲での「表示コマ数（整数）」の入力操作、０以上１０以下の範囲での「コマ飛び間隔（整数）」の入力操作、１以上（表示コマ数−１）以下の範囲での「移動体検知前コマ数（整数）」の入力操作、及び、移動体の全体像を示す静止画像を生成するか否かについての入力操作が行われる。 First, when the display setting button 35 receives an input operation of the pointer 38, the control unit 24 causes the display device 6 to display a display setting screen (not shown). On this display setting screen, an input operation is performed to make settings related to the still image display area 32 (step s1). Specifically, an input operation of “number of display frames (integer)” in the range of 2 to 15 or less, an input operation of “frame skip interval (integer)” in the range of 0 to 10 or less, 1 or more (display frames) Numeral-1) An input operation of “the number of frames before moving object detection (integer)” in the following range and an input operation as to whether to generate a still image indicating the entire image of the moving object are performed.

後述のステップにおいて、断片静止画像抽出部２４ａは、通信部２１が受け付けた動画像、つまり、通信部２１に入力されたデジタルレコーダ３からの動画像データを構成する、時系列順に序列付けられた複数の静止画像データのそれぞれが示す複数の静止画像から、「表示コマ数」が示すコマ数だけ、「コマ飛び間隔」が示す間隔で、静止画像を抽出する。例えば、表示コマ数が“１５”であって、コマ飛び間隔が“２”である場合には、当該複数の静止画像から、２コマおきに合計１５コマの静止画像が抽出される。このように抽出される各静止画像を「抽出静止画像」と呼ぶ。そして、断片静止画像抽出部２４ａは、動画像から抽出した複数の抽出静止画像を、表示装置６が静止画像表示エリア３２において表示するように表示装置６を制御する。つまり、表示コマ数は、静止画像表示エリア３２において表示される複数の静止画像のコマ数を示し、コマ飛び間隔は、通信部２１が受け付けた、時系列順に序列付けられた複数の静止画像から静止画像を抽出する間隔を示す。本実施の形態では、このステップｓ１において、ユーザの入力操作により、表示コマ数が１０コマに設定され、コマ飛び間隔が１コマに設定されたものとする。 In the steps to be described later, the fragment still image extraction unit 24a is ranked in chronological order, which constitutes the moving image received by the communication unit 21, that is, the moving image data from the digital recorder 3 input to the communication unit 21. A still image is extracted from a plurality of still images indicated by each of a plurality of still image data at an interval indicated by “frame skipping interval” by the number of frames indicated by “display frame number”. For example, when the number of display frames is “15” and the frame skip interval is “2”, a total of 15 still images are extracted from the plurality of still images every two frames. Each still image extracted in this way is called an “extracted still image”. Then, the fragment still image extraction unit 24 a controls the display device 6 so that the display device 6 displays a plurality of extracted still images extracted from the moving image in the still image display area 32. That is, the number of frames displayed indicates the number of frames of a plurality of still images displayed in the still image display area 32, and the frame skip interval is determined from a plurality of still images arranged in chronological order received by the communication unit 21. An interval for extracting a still image is shown. In the present embodiment, it is assumed that the number of display frames is set to 10 frames and the frame skipping interval is set to 1 frame by the user's input operation in step s1.

また、後述のステップにおいて、断片静止画像抽出部２４ａは、制御部２４に入力された動画像データが示す動画像に移動体が現れるかを判定する。静止画像表示エリア３２に表示される複数の抽出静止画像には、当該複数の抽出静止画像において初めて移動体が現れたと静止画像抽出部２４ａで判断された１コマの静止画像（以下、「移動体検知静止画像」と呼ぶ）が含まれている。また、当該複数の抽出静止画像には、時系列において移動体検知静止画像よりも前側の静止画像（以下、「移動体検知前静止画像」）も含まれている。上述の移動体検知前コマ数は、当該複数の抽出静止画像に含まれる移動体検知前静止画像のコマ数を示す。つまり、移動体検知前コマ数は、静止画像表示エリア３２に表示される複数の抽出静止画像において、時系列において移動体検知静止画像よりも前側の静止画像が何コマあるかを示す。本実施の形態では、このステップｓ１において、ユーザの入力操作により、移動体検知前コマ数が２コマに設定されたものとする。 In a later-described step, the fragment still image extraction unit 24 a determines whether a moving body appears in the moving image indicated by the moving image data input to the control unit 24. In a plurality of extracted still images displayed in the still image display area 32, a still image (hereinafter referred to as “moving object”) determined by the still image extraction unit 24a that a moving body first appears in the plurality of extracted still images. Called a "detected still image"). In addition, the plurality of extracted still images include still images ahead of the moving object detection still images in time series (hereinafter, “still images before moving object detection”). The number of frames before moving object detection described above indicates the number of frames of still images before moving object detection included in the plurality of extracted still images. That is, the number of frames before moving object detection indicates the number of still images ahead of the moving object detection still image in time series among the plurality of extracted still images displayed in the still image display area 32. In the present embodiment, it is assumed that the number of frames before moving object detection is set to 2 frames by the user's input operation in step s1.

さらに、静止画像表示エリア３２に表示される複数の抽出静止画像には、時系列において移動体検知静止画像よりも後側の静止画像（以下、「移動体検知後静止画像」と呼ぶ）が含まれている。このように、静止画像表示エリア３２に表示される複数の抽出静止画像は、移動体検知前静止画像と、移動体検知静止画像と、移動体検知後静止画像とで構成されている。移動体検知前静止画像のコマ数は、移動体検知前コマ数が示すコマ数であり、移動体検知静止画像のコマ数は１コマであり、移動体検知後静止画像のコマ数は、（表示コマ数が示すコマ数−移動体検知前コマ数が示すコマ数−１コマ）である。本実施の形態では、移動体検知コマ数は１０コマに設定され、移動体検知前コマ数は２コマに設定されているため、１０コマの抽出静止画像は、２コマの移動体検知前静止画像と、１コマの移動体検知静止画像と、７コマ（＝１０コマ−２コマ−１コマ）の移動体検知後静止画像とから構成される。 Further, the plurality of extracted still images displayed in the still image display area 32 include still images on the rear side of the moving object detection still image in time series (hereinafter referred to as “moving object detected still images”). It is. As described above, the plurality of extracted still images displayed in the still image display area 32 includes the still image before moving object detection, the still image detected by the moving object, and the still image after moving object detection. The number of frames of the still image before moving object detection is the number of frames indicated by the number of frames before moving object detection, the number of frames of the moving object detection still image is one frame, and the number of frames of the still image after moving object detection is ( The number of frames indicated by the number of frames displayed minus the number of frames indicated by the number of frames before moving object detection-1). In the present embodiment, the number of moving object detection frames is set to 10 frames, and the number of frames before moving object detection is set to 2 frames, so the extracted still image of 10 frames is a still frame before moving object detection of 2 frames. An image, a moving object detection still image of one frame, and a still image after moving object detection of 7 frames (= 10 frames-2 frames-1 frame) are configured.

ステップｓ１の後、画像検索ボタン３４が、ポインタ３８の入力操作を受け付けた場合には、制御部２４は、動画像検索画面（図示しない）を表示装置６に表示させる。この動画像検索画面において、デジタルレコーダ３に記憶されている複数の動画像から、所望の動画像を検索するための検索情報の入力操作、及び、検索実行の入力操作が行われる（ステップｓ２）。 When the image search button 34 receives an input operation of the pointer 38 after step s1, the control unit 24 causes the display device 6 to display a moving image search screen (not shown). On this moving image search screen, an input operation of search information and a search execution input operation for searching for a desired moving image from a plurality of moving images stored in the digital recorder 3 are performed (step s2). .

本実施の形態では、例えば、ステップｓ２において、ユーザにより、所望の動画像の撮影が行われた監視カメラ２を特定するためのカメラ番号の入力操作、及び、当該所望の動画像の撮影時刻の入力操作が、検索情報の入力操作として行われたものとする。 In the present embodiment, for example, in step s2, the user inputs the camera number for specifying the monitoring camera 2 on which the desired moving image has been shot, and the shooting time of the desired moving image. Assume that the input operation is performed as an input operation for search information.

制御部２４は、検索情報の入力操作後に、検索実行の入力操作をユーザから受け付けた場合には、デジタルレコーダ３に対して、当該検索情報を入力して、当該検索情報で特定される動画像の先頭の１コマの静止画像を制御部２４に出力するように命令する。デジタルレコーダ３は、制御部２４からこの命令を受けると、入力された検索情報で特定される動画像の先頭の１コマの静止画像を示す静止画像データを、通信部２１を介して制御部２４に出力する。 When the control unit 24 receives a search execution input operation from the user after the search information input operation, the control unit 24 inputs the search information to the digital recorder 3 and specifies the moving image specified by the search information. Is instructed to output to the control unit 24 a still image of the first frame. When the digital recorder 3 receives this command from the control unit 24, the still image data indicating the still image of the first frame of the moving image specified by the input search information is transmitted via the communication unit 21 to the control unit 24. Output to.

制御部２４は、デジタルレコーダ３から静止画像データを受けた場合には、表示装置６が、当該静止画像データが示す静止画像を操作画像表示エリア３１に表示するように、表示装置６を制御する（ステップｓ３）。これにより、操作画像表示エリア３１には、ユーザによって入力された検索情報で特定される動画像が一時停止状態で表示される。このように、ユーザは、入力装置５を利用してポインタ３８を操作することにより、デジタルレコーダ３に記憶されている複数の動画像から、不審者等の移動体が現れると想定される動画像を検索し、その動画像を表示装置６に表示することができる。 When receiving still image data from the digital recorder 3, the control unit 24 controls the display device 6 so that the display device 6 displays the still image indicated by the still image data in the operation image display area 31. (Step s3). Thereby, in the operation image display area 31, the moving image specified by the search information input by the user is displayed in a paused state. In this way, the user operates the pointer 38 using the input device 5, so that a moving image such as a suspicious person appears from a plurality of moving images stored in the digital recorder 3. And the moving image can be displayed on the display device 6.

ここで、画像操作ボタン群３６は、再生・停止・コマ送り・早送り・巻戻し・一時停止等の複数の操作にそれぞれ対応する複数のボタンを含む。画像操作ボタン群３６に含まれる複数のボタンのいずれか１つのボタンが、ポインタ３８の入力操作を受け付けた場合には、制御部２４は、表示装置６が、操作画像表示エリア３１において一時停止状態で表示されている動画像を、当該１つのボタンに対応する操作状態で表示するように、表示装置６を制御する。 Here, the image operation button group 36 includes a plurality of buttons respectively corresponding to a plurality of operations such as reproduction, stop, frame advance, fast forward, rewind, and pause. When any one of the plurality of buttons included in the image operation button group 36 receives an input operation of the pointer 38, the control unit 24 causes the display device 6 to be in a pause state in the operation image display area 31. The display device 6 is controlled so that the moving image displayed in is displayed in an operation state corresponding to the one button.

ステップｓ３の後、制御部２４は、画像操作ボタン群３６に含まれる再生ボタンでの入力操作の待ち受け状態となる。画像操作ボタン群３６に含まれる再生ボタンが、ポインタ３８の入力操作を受け付けた場合には（ステップｓ４）、制御部２４は、操作画像表示エリア３１において表示されている動画像を一時停止状態から再生状態に切り替える（ステップｓ５）。具体的には、制御部２４は、デジタルレコーダ３に再生データ要求を行う。デジタルレコーダ３は、その再生データ要求を受けた場合には、動画像データを構成する、時系列順に序列付けられた複数の静止画像データを、時系列の前側から後側に向かって順に１コマずつ、制御部２４に出力する。この際、デジタルレコーダ３は、当該複数の静止画像データのうち、時系列において、操作画像表示エリア３１に表示されている静止画像直後の静止画像を示す静止画像データを、制御部２４に対して最初に出力する。制御部２４は、デジタルレコーダ３から１コマの静止画像データを受けるごとに、操作画像表示エリア３１に表示する静止画像を、デジタルレコーダ３から受けた１コマの静止画像データが示す静止画像に切り替える。これにより、操作画像表示エリア３１には動画像が再生状態で表示される。 After step s3, the control unit 24 enters a standby state for an input operation with a playback button included in the image operation button group 36. When the playback button included in the image operation button group 36 receives an input operation of the pointer 38 (step s4), the control unit 24 moves the moving image displayed in the operation image display area 31 from the pause state. The playback state is switched (step s5). Specifically, the control unit 24 issues a reproduction data request to the digital recorder 3. When the digital recorder 3 receives the reproduction data request, the digital recorder 3 sequentially displays a plurality of still image data arranged in chronological order, constituting moving image data, from the front side to the rear side in time series. The information is output to the control unit 24 one by one. At this time, the digital recorder 3 transmits, to the control unit 24, still image data indicating a still image immediately after the still image displayed in the operation image display area 31 in time series among the plurality of still image data. Output first. Each time the control unit 24 receives one frame of still image data from the digital recorder 3, the control unit 24 switches the still image displayed in the operation image display area 31 to the still image indicated by the one frame of still image data received from the digital recorder 3. . As a result, the moving image is displayed in the reproduction state in the operation image display area 31.

断片静止画像抽出部２４ａは、操作画像表示エリア３１において動画像が再生状態で表示されている際に、当該動画像での移動体を検知し、移動体が現れたか否かを判断する（同ステップｓ５）。なお、断片静止画像抽出部２４ａは、ステップｓ１で、移動体の全体像を示す静止画像を生成するという入力操作が入力装置５で受け付けられた場合に、この検知及び判断を行う。 The fragment still image extraction unit 24a detects a moving object in the moving image when the moving image is displayed in the reproduction state in the operation image display area 31, and determines whether or not the moving object appears (same as above). Step s5). Note that the fragment still image extraction unit 24a performs this detection and determination when the input device 5 accepts an input operation of generating a still image showing the entire image of the moving body in step s1.

このステップｓ５において、断片静止画像抽出部２４ａは、再生ボタンが操作された後の１コマ目の静止画像データが制御部２４に入力されると、当該静止画像データが示す静止画像と、その後に続けて制御部２５に入力される２コマ目の静止画像データが示す静止画像との差分を求めて、その差分が所定基準よりも大きいかを判定する。そして、断片静止画像抽出部２４ａは、求めた差分が所定基準よりも小さいと判定すると、２コマ目の静止画像データが示す静止画像と、その後に続けて制御部２４に入力される３コマ目の静止画像データが示す静止画像との差分を求めて、その差分が所定基準よりも大きいかを判定する。断片静止画像抽出部２４ａは、求めた差分が所定基準よりも小さいと判定すると、３コマ目の静止画像データが示す静止画像と、その後に続けて制御部２４に入力される４コマ目の静止画像データが示す静止画像との差分を求めて、その差分が所定基準よりも大きいかを判定する。以後、断片生成画像抽出部２４ａは、求めた差分が所定基準よりも大きいと判定するまで、同様にして時系列的に連続する２コマの静止画像の差分を求める。 In step s5, when the still image data of the first frame after the playback button is operated is input to the control unit 24, the fragment still image extracting unit 24a Subsequently, a difference from the still image indicated by the still image data of the second frame input to the control unit 25 is obtained, and it is determined whether the difference is larger than a predetermined reference. When the fragment still image extracting unit 24a determines that the obtained difference is smaller than the predetermined reference, the still image indicated by the second frame still image data and the third frame that is subsequently input to the control unit 24 are displayed. A difference from the still image indicated by the still image data is obtained, and it is determined whether the difference is larger than a predetermined reference. When the fragment still image extraction unit 24a determines that the obtained difference is smaller than the predetermined reference, the still image indicated by the third frame still image data and the fourth frame still input to the control unit 24 subsequently. A difference from the still image indicated by the image data is obtained, and it is determined whether the difference is larger than a predetermined reference. Thereafter, the fragment generation image extraction unit 24a similarly obtains a difference between two still images that are consecutive in time series until it is determined that the obtained difference is larger than a predetermined reference.

断片静止画像抽出部２４ａは、求めた差分が所定基準よりも大きいと判定すると、判定の対象となった２つの静止画像のうち、時系列において後側の静止画像に移動体が現れたと判断し、当該後側の静止画像を一の抽出静止画像とする（ステップｓ６）。この一の抽出静止画像が移動体検知静止画像となる。そして、断片静止画像抽出部２４ａは、コマ飛び間隔を考慮して、制御部２４に入力される動画像データから、移動体検知静止画像を示す静止画像データよりも時系列的に前の静止画像データを移動体検知前コマ数だけ、つまり２コマだけ抽出する。この抽出された静止画像データが示す静止画像が移動体検知前静止画像となる。さらに、断片静止画像抽出部２４ａは、コマ飛び間隔を考慮して、制御部２４に入力される動画像データから、移動体検知静止画像を示す静止画像データよりも時系列的に後の静止画像データを７コマだけ抽出する。この抽出された静止画像データが示す静止画像が移動体検知後静止画像となる。これにより、制御部２４では、表示コマ数の抽出静止画像、つまり１０コマの抽出静止画像が得られる。 When the fragment still image extraction unit 24a determines that the obtained difference is greater than the predetermined reference, the fragment still image extraction unit 24a determines that a moving object has appeared in the rear still image in the time series among the two still images to be determined. The rear still image is set as one extracted still image (step s6). This one extracted still image becomes a moving object detection still image. Then, the fragment still image extraction unit 24a considers the frame skip interval, and from the moving image data input to the control unit 24, the still image that is chronologically earlier than the still image data indicating the moving object detection still image. Data is extracted by the number of frames before moving object detection, that is, only two frames. The still image indicated by the extracted still image data becomes a still image before moving object detection. Further, the fragment still image extraction unit 24a considers the frame skip interval, and from the moving image data input to the control unit 24, the still image that is chronologically later than the still image data indicating the moving object detection still image. Extract only 7 frames of data. The still image indicated by the extracted still image data becomes a still image after moving object detection. As a result, the control unit 24 obtains an extracted still image of the number of display frames, that is, an extracted still image of 10 frames.

その後、制御部２４は、デジタルレコーダ３に対して再生停止要求を行うとともに、表示装置６が、操作画像表示エリア３１に現在表示している静止画像を表示し続けるように、表示装置６を制御する。デジタルレコーダ３は、制御部２４から再生停止要求を受け付けると、制御部２４への動画像データの出力を停止する。 Thereafter, the control unit 24 makes a playback stop request to the digital recorder 3 and controls the display device 6 so that the display device 6 continues to display the still image currently displayed in the operation image display area 31. To do. When the digital recorder 3 receives a reproduction stop request from the control unit 24, the digital recorder 3 stops outputting moving image data to the control unit 24.

次に、制御部２４は、入力された動画像から断片静止画像抽出部２４ａが抽出した複数の抽出静止画像を、表示装置６が静止画像表示エリア３２に表示するように、表示装置６を制御する（ステップｓ７）。本実施の形態では、ステップｓ１で表示コマ数が１０コマに設定されている。図２に示すように、制御部２４は、表示装置６に対して、静止画像表示エリア３２に表示されている枠Ａ〜Ｏのうち、静止画像表示エリア３２の上側に配置される１０個の枠Ａ〜Ｊ内のそれぞれに１コマの抽出静止画像を表示させ、枠Ａ〜Ｊ以外の残りの枠、つまり、下側に配置される５個の枠Ｋ〜Ｏ内のそれぞれには、図２の砂地ハッチングで示されるブランクを表示させる。また、枠Ａ〜Ｊの枠内にそれぞれ表示される１０コマの抽出静止画像は、上述したように、２コマの移動体検知前静止画像と、１コマの移動体検知静止画像と、７コマの移動体検知後静止画像とから構成される。 Next, the control unit 24 controls the display device 6 so that the display device 6 displays a plurality of extracted still images extracted by the fragment still image extraction unit 24 a from the input moving image in the still image display area 32. (Step s7). In the present embodiment, the number of display frames is set to 10 in step s1. As shown in FIG. 2, the control unit 24 has ten frames arranged on the upper side of the still image display area 32 among the frames A to O displayed in the still image display area 32 with respect to the display device 6. An extracted still image of one frame is displayed in each of the frames A to J, and the remaining frames other than the frames A to J, that is, each of the five frames K to O arranged on the lower side are illustrated in FIG. A blank indicated by 2 sandy hatching is displayed. In addition, as described above, the 10 frames of extracted still images displayed in the frames A to J are, as described above, 2 frames before moving object detection still image, 1 frame of moving object detection still image, and 7 frames. And a still image after moving object detection.

図４は、上述の抽出動作により、静止画像表示エリア３２に表示される抽出静止画像を示す図である。図に示すように、制御部２４は、枠Ａから枠Ｊに進むにつれて撮影された時刻が後になるように表示装置６が１０コマの抽出静止画像を１０個の枠Ａ〜Ｊ内にそれぞれ表示するように、表示装置６を制御する。 FIG. 4 is a diagram showing an extracted still image displayed in the still image display area 32 by the above-described extraction operation. As shown in the figure, in the control unit 24, the display device 6 displays 10 frames of extracted still images in 10 frames A to J so that the time taken after the frame A proceeds to the frame J is later. Thus, the display device 6 is controlled.

この図４において、枠Ｃ内には、移動体検知静止画像が表示されている。枠Ａ及び枠Ｂ内のそれぞれには、断片静止画像抽出部２４ａが移動体４１が現れていると判断しなかった、移動体検知前静止画像が表示されている。枠Ｂ内の静止画像において移動体４１が実際に現れているにもかかわらず、断片静止画像抽出部２４ａが、ステップｓ５において、移動体４１が現れていると判断しなかったのは、枠Ｂ内の静止画像に現れている移動体が小さく、当該静止画像と、その前の枠Ａ内の静止画像との差分が、同ステップｓ５での所定基準よりも大きくなかったためである。枠Ｄ〜Ｊ内のそれぞれには、移動体検知後静止画像が表示されている。このうち、枠Ｄ〜Ｉ内の移動体検知後静止画像には、移動体４１が現れている。 In FIG. 4, a moving object detection still image is displayed in a frame C. In each of the frame A and the frame B, a still image before moving object detection that the fragment still image extracting unit 24a has not determined that the moving object 41 appears is displayed. Although the moving body 41 actually appears in the still image in the frame B, the fragment still image extracting unit 24a does not determine that the moving body 41 appears in step s5. This is because the moving body appearing in the still image is small and the difference between the still image and the still image in the previous frame A is not larger than the predetermined reference in step s5. In each of the frames D to J, a still image after moving object detection is displayed. Among these, the moving body 41 appears in the still image after the moving body detection in the frames D to I.

ステップｓ７の後、断片静止画像抽出部２４ａは、制御部２４に入力された動画像から、当該動画像において移動する移動体４１の断片像のみを示す複数の断片静止画像を抽出する（ステップｓ８）。 After step s7, the fragment still image extraction unit 24a extracts, from the moving image input to the control unit 24, a plurality of fragment still images indicating only the fragment image of the moving body 41 moving in the moving image (step s8). ).

具体的には、断片静止画像抽出部２４ａは、静止画像表示エリア３２の枠Ａ内の移動体検知前静止画像を、背景画像に設定する。つまり、静止画像表示エリア３２に表示されている複数の抽出静止画像のうち、断片静止画像抽出部２４ａが移動体４１が現れていると判断しなかった抽出静止画像であって、時系列において先頭の抽出静止画像が、背景画像として設定される。そして、断片静止画像抽出部２４ａは、当該背景画像と、静止画像表示エリア３２の枠Ｂ内の抽出静止画像との差分を求め、当該差分が、所定基準よりも大きい部分の部分静止画像を、移動体４１の断片像のみを示す断片静止画像として抽出する。断片静止画像抽出部２４ａは、このような抽出を、枠Ｃ〜Ｊ内にそれぞれ表示されている複数の抽出静止画像に対しても同様に行う。つまり、断片静止画像抽出部２４ａは、移動体４１が現れない抽出静止画像と、移動体４１が断片的に現れる、時系列順に序列付けられた複数の抽出静止画像のそれぞれとの差分に基づいて、移動体の断片像のみを示す、時系列順に序列付けられた複数の断片静止画像を抽出する。なお、ステップｓ５で求めた差分と比較される所定基準が、ステップｓ８で求めた差分と比較される所定基準よりも高い場合には、ステップｓ５で移動体４１が現れたと判断されなかった抽出静止画像からも、断片静止画像が抽出される場合がある。 Specifically, the fragment still image extraction unit 24a sets the still image before moving object detection in the frame A of the still image display area 32 as the background image. That is, among the plurality of extracted still images displayed in the still image display area 32, the extracted still image that the fragment still image extracting unit 24a has not determined that the moving body 41 has appeared, Are extracted as background images. Then, the fragment still image extraction unit 24a obtains a difference between the background image and the extracted still image in the frame B of the still image display area 32, and obtains a partial still image of a portion where the difference is larger than a predetermined reference. Extracted as a fragment still image showing only the fragment image of the moving body 41. The fragment still image extraction unit 24a similarly performs such extraction on a plurality of extracted still images respectively displayed in the frames C to J. In other words, the fragment still image extraction unit 24a is based on the difference between the extracted still image in which the moving body 41 does not appear and each of the plurality of extracted still images in which the moving body 41 appears in a chronological order. Extracting a plurality of fragment still images that are ordered in chronological order, showing only fragment images of the moving object. If the predetermined reference that is compared with the difference obtained in step s5 is higher than the predetermined reference that is compared with the difference obtained in step s8, it is determined that the moving body 41 has not appeared in step s5. A fragment still image may also be extracted from the image.

このような抽出動作により、断片静止画像抽出部２４ａは、図４の例に対して、図５（ａ）に示すような、複数の断片静止画像を抽出する。なお、この例において、枠Ｂ，枠Ｇ〜Ｉに表示される静止画像から抽出される断片静止画像は比較的小さいので、説明を簡単にする目的で、それら断片静止画像については無視し、枠Ｃ〜Ｆ内のそれぞれに表示される抽出静止画像からのみ、断片静止画像が抽出されたものとして以下説明する。なお、図５では、断片静止画像には、対応する抽出静止画像が表示される枠の符号にコンマをつけた符号を付している。 By such an extraction operation, the fragment still image extraction unit 24a extracts a plurality of fragment still images as shown in FIG. 5A with respect to the example of FIG. In this example, the fragment still images extracted from the still images displayed in the frame B and the frames G to I are relatively small. For the purpose of simplifying the explanation, these fragment still images are ignored and the frame In the following description, it is assumed that a fragment still image is extracted only from the extracted still images displayed in each of C to F. Note that in FIG. 5, the fragment still images are denoted by a symbol with a comma added to the symbol of the frame in which the corresponding extracted still image is displayed.

ステップｓ８の後、画像合成部２４ｂは、断片静止画像抽出部２４ａが抽出した複数の断片静止画像に対して類似画像データ照合を行って、複数の断片静止画像を適切な位置に配置し、それら複数の断片静止画像を合成して、合成静止画像を生成する（ステップｓ９）。具体的には、画像合成部２４ｂは、時系列で前後する２つの断片静止画像のうち、一方の断片静止画像の位置を固定し、当該一方の断片静止画像及び他方の断片静止画像において互いに類似する部分が重なるように他方の断片静止画像を移動させる。そして、画像合成部２４ｂは、その重なる程度が最も大きくなる位置に他方の断片静止画像を配置する。 After step s8, the image composition unit 24b performs similar image data collation on the plurality of fragment still images extracted by the fragment still image extraction unit 24a, and places the plurality of fragment still images at appropriate positions. A plurality of fragment still images are combined to generate a combined still image (step s9). Specifically, the image compositing unit 24b fixes the position of one fragment still image among two fragment still images that move back and forth in time series, and the one fragment still image and the other fragment still image are similar to each other. The other fragment still image is moved so that the portions to be overlapped. Then, the image composition unit 24b arranges the other fragment still image at a position where the overlapping degree is the largest.

次に、画像合成部２４ｂは、配置した２つの断片静止画像の位置を固定し、当該２つの断片静止画像の、時系列において直後の断片静止画像を移動させながら、これらの断片静止画像を上述と同様に配置する。この動作は、合計で、（断片静止画像の数−１）回行われ、断片静止画像全てが配置されるまで行う。 Next, the image synthesizing unit 24b fixes the positions of the two fragment still images arranged, and moves the fragment still images immediately after the two fragment still images in the time series. Arrange in the same way as This operation is performed in total (number of fragment still images−1) times until all fragment still images are arranged.

そして、画像合成部２４ｂは、全ての断片静止画像を配置した後、当該全ての断片静止画像を合成して合成静止画像を生成する。ここでの合成では、複数の断片静止画像のいずれか１つにしか現れない部分の画像は、その画像を示す画像データを合成静止画像の画像データとしてそのまま用い、複数の断片静止画像において重複して現れる部分の画像は、その重複する部分を示す画像データの平均値を合成静止画像の画像データとして用いる。この合成処理により、画像合成部２４ｂは、図５（ａ）の例に対して、図５（ｂ）に示すような合成静止画像を生成する。 Then, after arranging all the fragment still images, the image combining unit 24b combines all the fragment still images to generate a combined still image. In the synthesis here, the image of the part that appears in only one of the plurality of fragment still images uses the image data indicating the image as it is as the image data of the composite still image, and overlaps in the plurality of fragment still images. For the portion of the image that appears, the average value of the image data indicating the overlapping portion is used as the image data of the composite still image. By this combining process, the image combining unit 24b generates a combined still image as shown in FIG. 5B with respect to the example of FIG.

その後、制御部２４は、表示装置６が、ステップｓ９で生成した合成静止画像を、移動体表示エリア３３に表示するように、表示装置６を制御する（ステップｓ１０）。 Thereafter, the control unit 24 controls the display device 6 so that the display device 6 displays the composite still image generated in step s9 in the moving object display area 33 (step s10).

ステップｓ１０の後、制御部２４は、合成静止画像を記憶装置２３に記憶するように設定されているかを判定する（ステップｓ１１）。合成静止画像を記憶装置２３に記憶するかについての設定は、ステップｓ１１よりも前の時点（図示しない）において行われる。具体的には、図２に示したファイルメニューボタン３７がポインタ３８の入力操作を受け付けた場合に、制御部２４は、合成静止画像を記憶するディレクトリを指定するためのディレクトリ指定画面（図示しない）を表示装置６に表示させる。制御部２４は、このディレクトリ指定画面において、合成静止画像を記憶するディレクトリを指定する入力操作が、ユーザによりすでに行われていたか否かをステップｓ１１において判定する。 After step s10, the control unit 24 determines whether or not the setting is made to store the composite still image in the storage device 23 (step s11). The setting as to whether to store the composite still image in the storage device 23 is performed at a time point (not shown) before step s11. Specifically, when the file menu button 37 shown in FIG. 2 receives an input operation of the pointer 38, the control unit 24 designates a directory designation screen (not shown) for designating a directory for storing the composite still image. Is displayed on the display device 6. In step s11, the control unit 24 determines whether or not an input operation for designating a directory for storing the composite still image has already been performed by the user on the directory designation screen.

ステップｓ１１において、制御部２４は、ディレクトリを指定する入力操作が行われていないと判定した場合には、ステップｓ４に戻って、再生ボタンの入力操作の待ち状態となる。 In step s11, when it is determined that the input operation for designating the directory has not been performed, the control unit 24 returns to step s4 and enters a standby state for the input operation of the playback button.

一方、制御部２４は、ディレクトリを指定する入力操作がすでに行われていたと判定した場合には、ステップｓ９で生成した合成静止画像と、合成静止画像の元となる動画像を管理するために用いられる画像データ管理情報とを互いに関連付けて、記憶装置２３での指定されたディレクトリに記憶する（ステップｓ１２）。制御部２４は、ユーザからの所定の入力操作を入力装置５で受け付けたと判断した場合には、ディレクトリに記憶した合成静止画像を読み出し、表示装置６が当該合成画像を移動体表示エリア３３に表示するように、表示装置６を制御する。 On the other hand, if it is determined that the input operation for specifying the directory has already been performed, the control unit 24 is used to manage the synthesized still image generated in step s9 and the moving image that is the basis of the synthesized still image. Are associated with each other and stored in a designated directory in the storage device 23 (step s12). When the control unit 24 determines that a predetermined input operation from the user has been received by the input device 5, the control unit 24 reads the composite still image stored in the directory, and the display device 6 displays the composite image in the moving body display area 33. Thus, the display device 6 is controlled.

ステップｓ１２の後、制御部２４は、ステップｓ４に戻って、再生ボタンの入力操作の待ち状態となる。 After step s12, the control unit 24 returns to step s4 and waits for a playback button input operation.

画像処理装置１では、ステップｓ１１あるいはステップｓ１２の後にステップｓ４が実行されると、その後、ステップｓ５以降の処理が同様にして実行される。ステップｓ６において、制御部２４に入力される動画像中に新たな移動体が検出されると、当該移動体が現れている移動体検知静止画像を含む新たな複数の抽出静止画像が、静止画像表示エリア３２に表示されるようになる。その後、当該移動体の全体像を示す合成静止画像が生成されて、当該合成静止画像が移動体表示エリア３３に表示される。 In the image processing apparatus 1, when step s4 is executed after step s11 or step s12, the processing after step s5 is executed in the same manner. In step s6, when a new moving object is detected in the moving image input to the control unit 24, a plurality of new extracted still images including the moving object detected still image in which the moving object appears are displayed as still images. It is displayed in the display area 32. Thereafter, a synthesized still image showing the entire image of the moving object is generated, and the synthesized still image is displayed in the moving object display area 33.

以上の画像処理装置１の動作は、画像操作ボタン群３６に含まれる停止ボタンが、ポインタ３８の入力操作を受け付けた場合には終了し、画像操作ボタン群３６に含まれる一時停止ボタンが、ポインタ３８の入力操作を受け付けた場合には、一時停止する。 The above-described operation of the image processing apparatus 1 is ended when the stop button included in the image operation button group 36 receives an input operation of the pointer 38, and the pause button included in the image operation button group 36 is When 38 input operations are accepted, the operation is temporarily stopped.

以上のような画像処理装置１によれば、動画像において移動する移動体４１のみを示す、時系列順に序列付けられた複数の断片静止画像を合成することによって、当該移動体の全体像を示す合成静止画像が生成される。したがって、移動体４１の全体像を容易に把握することができる。 According to the image processing apparatus 1 as described above, an overall image of the moving object is shown by synthesizing a plurality of fragment still images arranged in chronological order, showing only the moving object 41 moving in the moving image. A composite still image is generated. Therefore, the entire image of the moving body 41 can be easily grasped.

なお、移動体４１の複数の断片静止画像を合成して合成静止画像を生成しても、合成に使用する断片静止画像の数が足りない場合などには、その合成静止画像が、移動体４１の全体像を示さない場合がある。そのような場合には、表示コマ数を増やして、画像処理装置１に以上の処理を再度ステップｓ１から実行させる。 Note that, even when a plurality of fragment still images of the moving body 41 are combined to generate a combined still image, when the number of fragment still images used for combining is insufficient, the combined still image is converted into the moving body 41. May not show the whole picture. In such a case, the number of display frames is increased, and the image processing apparatus 1 is made to execute the above processing again from step s1.

また、コマ飛び間隔を増やした場合には、複数の断片静止画像における類似画像の範囲が小さくなるため、精度の高い合成が困難になる。その一方で、コマ飛び間隔を減らした場合には、その場合に生成される合成静止画像が移動体４１の全体像を示さない可能性が高くなる。したがって、コマ飛び間隔は、これらの観点から適当なコマ数に設定されることが望ましい。 Further, when the frame skip interval is increased, the range of similar images in a plurality of fragment still images is reduced, so that it is difficult to synthesize with high accuracy. On the other hand, when the frame skip interval is reduced, there is a high possibility that the synthesized still image generated in that case does not show the entire image of the moving body 41. Therefore, it is desirable that the frame skip interval is set to an appropriate number of frames from these viewpoints.

また、合成静止画像が、移動体の全体像を示すようにするためには、抽出された複数の抽出静止画像の先頭の抽出静止画像、及び、最後尾の抽出静止画像のそれぞれにおいて、移動体が現れない状態が望ましい。もし、この状態でなければ、ユーザは、表示コマ数、コマ飛び間隔及び移動体検知前コマ数の少なくとも一つを設定し直して、画像処理装置１に再度ステップｓ１以下の処理を実行させる。これにより、移動体の全体像を示す合成生成画像を確実に得ることができる。 In addition, in order for the synthesized still image to show the entire image of the moving object, the moving object in each of the first extracted still image and the last extracted still image of the extracted plurality of extracted still images It is desirable that no appears. If it is not in this state, the user resets at least one of the number of display frames, the frame skip interval, and the number of frames before moving object detection, and causes the image processing apparatus 1 to execute the processing from step s1 again. This makes it possible to reliably obtain a composite generated image that shows the entire image of the moving body.

また、本実施の形態では、断片静止画像抽出部２４ａは、先頭の抽出静止画像を背景画像として用いたが、最後尾の、移動体が現れていない抽出静止画像を背景画像として用いてもよい。 In the present embodiment, the fragment still image extraction unit 24a uses the first extracted still image as the background image. However, the last extracted still image in which no moving object appears may be used as the background image. .

また、動画像において、複数の移動体が同時に現れることがある。この場合、ステップｓ８において、１つの抽出静止画像から、複数の移動体の断片像をそれぞれ示す複数の断片静止画像が比較的離れた画像位置で抽出される。その一方で、一つの移動体に関して、時間的に前後の２つの抽出静止画像からそれぞれ抽出される２つの断片静止画像の画像位置は比較的近くなる。 In addition, a plurality of moving objects may appear simultaneously in a moving image. In this case, in step s8, a plurality of fragment still images each indicating a fragment image of a plurality of moving objects are extracted from one extracted still image at image positions relatively distant from each other. On the other hand, with respect to one moving body, the image positions of the two fragment still images extracted from the two extracted still images before and after in time are relatively close.

そこで、断片静止画像抽出部２４ａは、背景画像と、枠Ｂ〜Ｊ内の抽出静止画像のそれぞれとの差分を求めて、枠Ｂ〜Ｊ内の抽出静止画像のそれぞれについて複数の断片静止画像が抽出されるかどうかを確認する。ここで、枠Ｃ〜枠Ｆ内の抽出静止画像について、複数の断片静止画像が抽出されたとする。断片静止画像抽出部２４ａは、複数の抽出静止画像のうち、時間的に先頭の枠Ｃ内の抽出静止画像についての複数の断片静止画像Ｃ’に対して互いに異なったラベルを付す。次に、断片静止画像抽出部２４ａは、その次の枠Ｄ内の抽出静止画像についての複数の断片静止画像Ｄ’のそれぞれに対して、それと画像位置が最も近い断片静止画像Ｃ’に付されたラベルと同じラベルを付す。次に、断片静止画像抽出部２４ａは、その次の枠Ｅ内の抽出静止画像についての複数の断片静止画像Ｅ’のそれぞれに対して、それと画像位置が最も近い断片静止画像Ｄ’に付されたラベルと同じラベルを付す。そして、断片静止画像抽出部２４ａは、その次の枠Ｆ内の抽出静止画像についての複数の断片静止画像Ｆ’のそれぞれに対して、それと画像位置が最も近断片静止画像Ｅ’に付されたラベルと同じラベルを付す。 Therefore, the fragment still image extraction unit 24a obtains a difference between the background image and each of the extracted still images in the frames B to J, and a plurality of fragment still images are obtained for each of the extracted still images in the frames B to J. Check if it is extracted. Here, it is assumed that a plurality of fragment still images are extracted from the extracted still images in the frames C to F. The fragment still image extraction unit 24 a attaches different labels to the plurality of fragment still images C ′ of the extracted still images in the temporally leading frame C among the plurality of extracted still images. Next, the fragment still image extracting unit 24a attaches each of the plurality of fragment still images D ′ for the extracted still image in the next frame D to the fragment still image C ′ having the closest image position to the fragment still image D ′. Use the same label as the previous label. Next, the fragment still image extraction unit 24a attaches each of the plurality of fragment still images E ′ for the extracted still image in the next frame E to the fragment still image D ′ having the closest image position. Use the same label as the previous label. The fragment still image extraction unit 24a then attaches the image position to the closest fragment still image E ′ for each of the plurality of fragment still images F ′ for the extracted still image in the next frame F. Attach the same label as the label.

その後、画像合成部２４ｂは、断片静止画像抽出部２４ａが抽出した、同じラベルが付された複数の断片静止画像を合成する。これにより、複数の移動体のそれぞれについて合成静止画像が生成される。その結果、動画像において複数の移動体が同時に現れる場合であっても、当該複数の移動体のそれぞれの全体像を把握することができる。 Thereafter, the image synthesis unit 24b synthesizes a plurality of fragment still images with the same label extracted by the fragment still image extraction unit 24a. Thereby, a composite still image is generated for each of the plurality of moving objects. As a result, even when a plurality of moving bodies appear simultaneously in the moving image, it is possible to grasp the overall image of each of the plurality of moving bodies.

＜変形例＞
本変形例では、デジタルレコーダ３が、監視カメラ２で撮影された動画像中の移動体を検知する。そして、ＰＣ本体４の断片静止画像抽出部２４ａは、自身で移動体を検知する代わりに、デジタルレコード３での移動体の検知結果を利用する。以下の本変形例について詳細に説明する。 <Modification>
In this modification, the digital recorder 3 detects a moving body in a moving image photographed by the monitoring camera 2. And the fragment | piece still image extraction part 24a of the PC main body 4 utilizes the detection result of the moving body in the digital record 3 instead of detecting a moving body by itself. The following modification will be described in detail.

デジタルレコーダ３は、記憶する各動画像データについて、当該動画像データが示す動画像に移動体が現れるかどうかを判定する。デジタルレコーダ３での移動体の検知方法は、上述の断片静止画像抽出部２４ａでの移動体の検知方法と同様である。デジタルレコーダ３は、動画像データが示す動画像に少なくとも一つの移動体が現れたと判断すると、当該動画像データに対して固有のアラーム番号を付与する。そして、デジタルレコーダ３は、当該動画像データに付与したアラーム番号を、当該動画像データに関連付けられる画像データ管理情報に含める。ユーザは、デジタルレコーダ３からアラーム番号を取得できるようになっている。 The digital recorder 3 determines, for each moving image data to be stored, whether or not a moving body appears in the moving image indicated by the moving image data. The method for detecting the moving object in the digital recorder 3 is the same as the method for detecting the moving object in the fragment still image extraction unit 24a. When the digital recorder 3 determines that at least one moving object has appeared in the moving image indicated by the moving image data, the digital recorder 3 assigns a unique alarm number to the moving image data. The digital recorder 3 includes the alarm number assigned to the moving image data in the image data management information associated with the moving image data. The user can acquire an alarm number from the digital recorder 3.

また、デジタルレコーダ３は、移動体が動画像に現れたと判断するごとに、当該移動体が最初に現れた、当該動画像を構成する１コマの静止画像（以下、「アラーム画像」と呼ぶ）を特定する。そして、デジタルレコーダ３は、当該動画像についての各アラーム画像を特定するためのアラーム画像特定情報を、当該動画像を示す動画像データに関連付けられる画像データ管理情報に含める。 Further, every time the digital recorder 3 determines that the moving body has appeared in the moving image, the still image of the moving image that first appears in the moving image (hereinafter referred to as “alarm image”). Is identified. The digital recorder 3 includes alarm image specifying information for specifying each alarm image for the moving image in the image data management information associated with the moving image data indicating the moving image.

制御部２４は、ステップｓ２において、アラーム番号の入力操作を、所望の動画像を検索するための検索情報の入力操作として受け付け、当該アラーム番号をデジタルレコーダ３に出力する。デジタルレコーダ３は、記憶する複数の動画像データから、入力されたアラーム番号を含む画像データ管理情報に関連付けられている動画像データを特定する。この動画像データが示す動画像が表示装置６の操作画像表示エリア３１に表示されるようになる。そして、デジタルレコーダ３は、特定した動画像データが示す動画像の先頭の１コマの静止画像を示す静止画像データを、通信部２１を介して制御部２４に出力する。 In step s 2, the control unit 24 accepts an alarm number input operation as an input operation of search information for searching for a desired moving image, and outputs the alarm number to the digital recorder 3. The digital recorder 3 specifies moving image data associated with the image data management information including the input alarm number from the plurality of moving image data to be stored. The moving image indicated by the moving image data is displayed in the operation image display area 31 of the display device 6. Then, the digital recorder 3 outputs still image data indicating the still image of the first frame of the moving image indicated by the specified moving image data to the control unit 24 via the communication unit 21.

その後、画像処理装置１では、上述のステップｓ３，ｓ４が実行される。ステップｓ４において、再生ボタンが操作されると、ステップｓ５において、制御部２４は、上述と同様に、操作画像表示エリア３１において表示されている動画像を一時停止状態から再生状態に切り替える。このとき、デジタルレコーダ３は、アラーム画像を示す静止画像データを制御部２４に出力する際には、それと一緒に当該アラーム画像を特定するためのアラーム画像特定情報を制御部２４に出力する。 Thereafter, in the image processing apparatus 1, the above-described steps s3 and s4 are executed. When the playback button is operated in step s4, in step s5, the control unit 24 switches the moving image displayed in the operation image display area 31 from the pause state to the playback state in the same manner as described above. At this time, when the digital recorder 3 outputs still image data indicating an alarm image to the control unit 24, the digital recorder 3 outputs alarm image specifying information for specifying the alarm image to the control unit 24 together with the still image data.

断片静止画像抽出部２４ａは、ステップｓ６において、制御部２４にアラーム画像特定情報が入力されると、それとともに入力される静止画像データが示す静止画像、つまり、アラーム画像を、移動体検知静止画像とする。そして、断片静止画像抽出部２４ａは、抽出した、移動体検知静止画像を示す静止画像データを基準にして、上述と同様にして、制御部２４に入力された動画像データから、移動体検知前静止画像及び移動体検知後静止画像を示す静止画像データを抽出する。 When the alarm image specifying information is input to the control unit 24 in step s6, the fragment still image extraction unit 24a converts the still image indicated by the still image data input together with the alarm image, that is, the alarm image, to the moving object detection still image. And Then, the fragment still image extraction unit 24a uses the extracted still image data indicating the moving object detection still image as a reference, from the moving image data input to the control unit 24 in the same manner as described above, before moving object detection. Still image data indicating still images and still images after moving object detection is extracted.

以後、画像処理装置１では上述のステップｓ７〜ｓ１２と同様の処理が行われる。 Thereafter, the image processing apparatus 1 performs the same processing as in steps s7 to s12 described above.

以上のような本変形例に係る画像処理装置１によれば、上述と同様に、移動体４１の全体像を示す合成静止画像が生成でき、移動体４１の全体像を容易に把握することができる。 According to the image processing apparatus 1 according to the present modification as described above, a composite still image showing the entire image of the moving body 41 can be generated and the entire image of the moving body 41 can be easily grasped as described above. it can.

６表示装置
２１通信部
２３記憶装置
２４ａ断片静止画像抽出部
２４ｂ画像合成部 6 Display device 21 Communication unit 23 Storage device 24a Fragment still image extraction unit 24b Image composition unit

Claims

An image input unit that accepts input of a moving image;
A fragment still image extraction unit that extracts a plurality of fragment still images arranged in time-series order, showing only the fragment images of a moving object that moves in the moving image from the moving image;
An image processing apparatus comprising: an image synthesis unit that synthesizes the plurality of fragment still images to generate a synthesized still image indicating an entire image of the moving object.

The image processing apparatus according to claim 1,
An image processing apparatus, further comprising: a display unit that displays the combined still image generated by the image combining unit.

An image processing apparatus according to any one of claims 1 and 2,
The fragment still image extraction unit,
Extracting, from the moving image, a first still image in which the moving body does not appear and a plurality of second still images arranged in time series in which the moving body appears in fragments, and the first still image and An image processing device that extracts the plurality of fragment still images based on differences from each of the plurality of second still images.

An image processing apparatus according to any one of claims 1 to 3,
An image processing apparatus, further comprising: a storage unit that stores the combined still image generated by the image combining unit and management information used for managing the moving image in association with each other.