JP2009049797A - Image generating device, display device, image generating method, program, and recording medium with program recorded thereon - Google Patents

Image generating device, display device, image generating method, program, and recording medium with program recorded thereon Download PDF

Info

Publication number
JP2009049797A
JP2009049797A JP2007215173A JP2007215173A JP2009049797A JP 2009049797 A JP2009049797 A JP 2009049797A JP 2007215173 A JP2007215173 A JP 2007215173A JP 2007215173 A JP2007215173 A JP 2007215173A JP 2009049797 A JP2009049797 A JP 2009049797A
Authority
JP
Japan
Prior art keywords
frame
image
display
image signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007215173A
Other languages
Japanese (ja)
Other versions
JP4867852B2 (en
Inventor
Tetsujiro Kondo
哲二郎 近藤
Tetsushi Kokubo
哲志 小久保
Kenji Tanaka
健司 田中
Hitoshi Mukai
仁志 向井
Kazumasa Tanaka
和政 田中
Hiroyuki Morizaki
裕之 森崎
Takafumi Hibi
啓文 日比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007215173A priority Critical patent/JP4867852B2/en
Publication of JP2009049797A publication Critical patent/JP2009049797A/en
Application granted granted Critical
Publication of JP4867852B2 publication Critical patent/JP4867852B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To simultaneously check general information represented at long intervals and information on fine movements represented at short intervals. <P>SOLUTION: An image generating device 20 which generates an image signal for displaying an input motion image as a motion image in a plurality of display areas D comprising at least two columns and two rows includes: a storage unit 21 which stores the image signal of the input motion image; and an image signal generating unit 20 which reads the image signal of the motion image stored in the storage unit 21 beginning with frame positions different by the display areas D to generate an image signal for motion image display in each display area D. Further, the image generating device includes a control unit 23 which sets read start frames of image signals generated by the image signal generating unit 20 to later time in order according to the arrangement order of the display areas D, and controls reproduction frame intervals of motion image displayed in the respective display areas D. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、例えば監視カメラが撮影した画像などの入力した画像信号を、複数の表示領域に分割してマルチ画面表示を行う場合に適用して好適な画像生成装置及び表示装置、画像生成方法、プログラム並びにプログラムを記録した記録媒体に関する。   The present invention can be applied to a case where an input image signal such as an image taken by a surveillance camera is divided into a plurality of display areas to perform multi-screen display, an image generation device and a display device, an image generation method, The present invention relates to a program and a recording medium on which the program is recorded.

従来、ビル等の建物の内部や駐車場等、監視を行いたい場所に監視カメラを設置して、監視カメラから送信される映像を確認することで、監視領域を監視することが行われている。監視領域の監視は、監視カメラとは離れた場所にある管理室等で行うのが一般的であり、監視カメラは、例えば管理室内に設置された制御装置にネットワークを介して接続してある。制御装置には記憶装置や表示装置を接続してあり、監視カメラから送信された映像は、制御装置を介して記憶装置に記録されるとともに、表示装置上に表示される。   Conventionally, monitoring areas have been monitored by installing surveillance cameras in places such as buildings and parking lots where parking is desired, and checking images transmitted from surveillance cameras. . The monitoring area is generally monitored in a management room or the like located away from the monitoring camera. The monitoring camera is connected to a control device installed in the management room via a network, for example. A storage device and a display device are connected to the control device, and an image transmitted from the surveillance camera is recorded on the storage device via the control device and displayed on the display device.

監視カメラが複数の箇所に設置されている場合には、複数の監視カメラからの映像が制御装置に送信されることになる。この場合は、複数の監視カメラからの映像を同時にモニタすることができるように、複数の映像を1つの画面上に分割表示したり、複数台の表示装置で構成されるマルチ画面上に表示したりすることも行われている。表示画面上に映像を表示する時間の間隔は、例えば1フレーム毎や10フレーム毎等に設定可能であり、所定のフレーム表示時間が経過した後には、次のフレームの映像が表示されるようになる。   When the surveillance cameras are installed at a plurality of locations, images from the plurality of surveillance cameras are transmitted to the control device. In this case, in order to be able to monitor images from multiple surveillance cameras at the same time, multiple images can be divided and displayed on a single screen or displayed on a multi-screen consisting of multiple display devices. It is also done. The time interval for displaying the video on the display screen can be set, for example, every frame or every 10 frames, and the video of the next frame is displayed after a predetermined frame display time elapses. Become.

ところが、ある特定の監視カメラから送信された映像に注目して、その時点で表示されている映像から時間的に前後する映像を確認したい場合等には、巻き戻しや早送り等の操作を行う必要があり、手間がかかるという問題があった。   However, if you pay attention to the video sent from a certain surveillance camera and want to check the video that is moving back and forth in time from the currently displayed video, you need to perform operations such as rewind and fast-forward. There was a problem that it took time and effort.

特許文献1には、1つの映像を構成する各フレームを抜き出して、抜き出した各フレームを、表示画面上の各分割領域に順番に貼り付けることについて開示してある。
特開2007−25199号公報
Patent Document 1 discloses that each frame constituting one video is extracted, and each extracted frame is sequentially pasted to each divided area on the display screen.
JP 2007-25199 A

特許文献1に記載のような手法を用いれば、複数台の表示装置又は複数の分割領域の集合体で形成されるマルチ画面において、映像の時間方向の変化が表現されるようになる。よって、映像中の特定の物体の動きも解析し易くなる。ところが、監視の対象が、駐車場に駐車された車等である場合には、このような手法では物体の変化を追えない場合がある。駐車場に車が駐車されている時間は1時間や2時間等となる場合がほとんどであり、この間に撮影された映像においては、物体に時間方向の変化が生じないためである。   If a technique as described in Patent Document 1 is used, a change in the time direction of a video can be expressed on a multi-screen formed by a plurality of display devices or an aggregate of a plurality of divided regions. Therefore, it becomes easy to analyze the movement of a specific object in the video. However, when the object to be monitored is a car or the like parked in a parking lot, there is a case where the change of the object cannot be followed by such a method. This is because the time in which the vehicle is parked in the parking lot is almost 1 hour or 2 hours, and in the video taken during this time, there is no change in the time direction of the object.

このような長い時間間隔における変化を確認できるように、各表示画面に表示させるフレームのサンプリング間隔を長くとることも可能である。しかしこのような設定にすると、今度は車の動き終わりと動き出しといった短い時間軸において表現される情報が、マルチ画面上で表示されなくなってしまう可能性が出てくる。つまり、従来の手法では、長い時間間隔で表現される大局的な情報と、短い時間間隔で表現される細かい動きの情報とを一度に確認することができなかった。   It is also possible to increase the sampling interval of the frames displayed on each display screen so that the change at such a long time interval can be confirmed. However, with such a setting, there is a possibility that information expressed on a short time axis such as the end and start of movement of the car will not be displayed on the multi-screen. That is, with the conventional method, it is impossible to confirm the global information expressed with a long time interval and the detailed motion information expressed with a short time interval at a time.

本発明はかかる点に鑑みてなされたものであり、長い時間間隔で表現される大局的な情報と、短い時間間隔で表現される細かい動きの情報とを、一度に確認できるようにすることを目的とする。   The present invention has been made in view of such points, and is intended to enable confirmation of global information expressed in a long time interval and detailed movement information expressed in a short time interval at a time. Objective.

本発明は、入力された動画像を、少なくとも2つの列及び2つの行で構成される複数の表示領域のそれぞれに、動画像として表示させるための画像信号を生成する画像生成装置において、入力された画像信号を蓄積する記憶部と、記憶部に蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させるための画像信号とする画像信号生成部を備えた。そして、画像信号生成部で生成させる画像信号の読み出し開始フレームを、表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御部とを備えた。   The present invention provides an image generation apparatus that generates an image signal for displaying an input moving image as a moving image in each of a plurality of display areas each including at least two columns and two rows. A storage unit for storing the image signal, and an image signal stored in the storage unit as an image signal for reading out a frame position that is different for each display area and displaying a moving image in each display area A generator was provided. Then, the readout start frame of the image signal to be generated by the image signal generation unit is set at a later time in order corresponding to the arrangement order of the display areas, and the playback frame interval of the moving image displayed in each display area is controlled. And a control unit.

このようにしたことで、複数の各表示部においては所定の再生フレーム間隔で映像が表示されるとともに、少なくとも2つの列及び2つの行で構成されるマルチ画面上では、複数の表示部の配置の順番に応じて読み出し開始位置が遅延された、複数の映像が表示されるようになる。   By doing so, video is displayed at a predetermined playback frame interval on each of the plurality of display units, and the arrangement of the plurality of display units is arranged on a multi-screen composed of at least two columns and two rows. A plurality of videos with the readout start position delayed in accordance with the order of the images are displayed.

本発明によると、各表示部においては短い時間間隔で表現される細かい動きの情報を確認できると同時に、複数の表示部により構成されるマルチ画面上では、長い時間間隔で表現される大局的な情報を確認することができるようになる。   According to the present invention, it is possible to confirm detailed movement information expressed in a short time interval on each display unit, and at the same time, on a multi-screen configured by a plurality of display units, a global display expressed in a long time interval. You will be able to confirm the information.

以下、本発明の第1の実施の形態を、図1〜図5を参照して説明する。図1は、本実施の形態の例による監視システムの構成例を示す図である。図1に示した監視システム1は、駐車場等の監視領域を撮影するカメラ10と、表示装置D1〜D25と、カメラ10から送信された動画像を蓄積して、蓄積した動画像の画像信号を表示装置Dごとにタイミングをずらして読み出し、読み出した画像信号を各表示装置Dに出力する画像生成装置20とで構成される。カメラ10は図示せぬネットワーク等を介して画像生成装置20に接続してあり、画像生成装置20には表示装置D1〜D25を接続してある。図1においては、画像信号の流れを破線で示してあり、制御信号の流れを実線で示してある。なお、図1では表示装置D2〜D24の図示を省略してある。   Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a diagram illustrating a configuration example of a monitoring system according to an example of the present embodiment. The monitoring system 1 illustrated in FIG. 1 stores a camera 10 that captures a monitoring area such as a parking lot, display devices D1 to D25, and moving images transmitted from the camera 10, and stores the image signals of the accumulated moving images. For each display device D, and the image generation device 20 that outputs the read image signal to each display device D. The camera 10 is connected to the image generation device 20 via a network (not shown), and the image generation device 20 is connected to display devices D1 to D25. In FIG. 1, the flow of the image signal is indicated by a broken line, and the flow of the control signal is indicated by a solid line. In FIG. 1, the display devices D2 to D24 are not shown.

表示装置Dは、図3に示したように、縦方向に5行、横方向に5列のマトリクス状に配置してあり、25個の表示装置Dによって一つのマルチ画面を形成するようにしてある。そして画像生成装置20(図1参照)は、マルチ画面を構成する各表示装置D上に表示される映像が、マルチ画面の左端から上方向及び右側方向に進むにつれて徐々に遅延されるように、画像信号を読み出す際の読み出し開始フレームの位置を例えば90フレーム等の所定の間隔でずらしながら、1フレーム等の所定の再生フレーム間隔で画像信号を読み出して、各表示装置Dに出力する処理を行う。表示装置Dの配列や画像信号の再生間隔については後述する。   As shown in FIG. 3, the display device D is arranged in a matrix of 5 rows in the vertical direction and 5 columns in the horizontal direction, so that one multi-screen is formed by the 25 display devices D. is there. The image generating device 20 (see FIG. 1) is configured so that the video displayed on each display device D constituting the multi-screen is gradually delayed from the left end of the multi-screen toward the upper side and the right side. While reading the image signal, the position of the read start frame is shifted by a predetermined interval such as 90 frames, and the process of reading the image signal at a predetermined reproduction frame interval such as 1 frame and outputting it to each display device D is performed. . The arrangement of the display device D and the image signal reproduction interval will be described later.

なお、本例では表示装置Dを25個用いる構成を例に挙げているが、表示装置Dをその他の数で構成するようにしてもよい。また、表示装置Dを複数台用いるのではなく、一つの表示装置の画面を複数の領域に分割した分割領域により、マルチ画面を構成するようにしてもよい。又は、表示装置あるいは分割領域を縦方向の一列もしくは横方向の一列に配列した場合に適用してもよい。   In this example, a configuration using 25 display devices D is taken as an example, but the display devices D may be configured by other numbers. Further, instead of using a plurality of display devices D, a multi-screen may be configured by divided areas obtained by dividing the screen of one display device into a plurality of areas. Alternatively, the present invention may be applied when the display device or the divided areas are arranged in one column in the vertical direction or one column in the horizontal direction.

また、本例では画像信号を蓄積する記憶部21を画像生成装置20に備えさせた場合を例に挙げたが、各表示装置Dがそれぞれに記憶部21を備える構成に適用してもよい。   Further, in this example, the case where the storage unit 21 that accumulates the image signal is provided in the image generation device 20 is described as an example, but the present invention may be applied to a configuration in which each display device D includes the storage unit 21.

再び図1に戻って監視システム1の構成についての説明を続けると、画像生成装置20は、カメラ10から送信された画像信号を蓄積する記憶部21と、リモートコントローラとして構成された操作部22と、画像生成装置20の各部を制御する制御部23と、フレーム抽出部24と、OSD処理部25とを備える。記憶部21は、例えばHDD(Hard Disk Drive)やDVD(Digital Versatile Disc)ドライブ等で構成してあり、制御部23は、MPU(Micro Processing Unit)等で構成してある。フレーム抽出部24とOSD処理部25は、表示装置Dの数に対応させて設けるようにする。図1に示した例では、表示装置Dは25台としてあるため、フレーム抽出部24とOSD処理部25もそれぞれ25個必要となる。   Returning to FIG. 1 again, the description of the configuration of the monitoring system 1 will be continued. The image generation apparatus 20 includes a storage unit 21 that stores image signals transmitted from the camera 10, and an operation unit 22 configured as a remote controller. The control unit 23 that controls each unit of the image generation apparatus 20, the frame extraction unit 24, and the OSD processing unit 25 are provided. The storage unit 21 is configured by, for example, an HDD (Hard Disk Drive), a DVD (Digital Versatile Disc) drive, or the like, and the control unit 23 is configured by an MPU (Micro Processing Unit) or the like. The frame extraction unit 24 and the OSD processing unit 25 are provided corresponding to the number of display devices D. In the example shown in FIG. 1, since there are 25 display devices D, 25 frame extraction units 24 and 25 OSD processing units 25 are required.

操作部22は、ユーザより、映像の再生開始や再生停止の指示、再生を開始するフレームの指定や、後述する画像信号の読み出し開始フレームの設定間隔や映像再生フレーム間隔等の入力を受け付けるインターフェース部であり、受け付けた操作入力に対応する操作信号を生成して制御部23に出力する。なお、本例では、操作部22としてリモートコントローラを用いた場合を例に挙げたが、これに限定されるものではなく、ジョイスティックや十字キー、キーボード等の他の装置を用いるようにしてもよい。   The operation unit 22 is an interface unit that receives an instruction to start or stop playback of a video, designation of a frame to start playback, a setting interval of a read start frame of an image signal to be described later, a video playback frame interval, and the like from a user. The operation signal corresponding to the received operation input is generated and output to the control unit 23. In this example, the case where a remote controller is used as the operation unit 22 is described as an example. However, the present invention is not limited to this, and other devices such as a joystick, a cross key, and a keyboard may be used. .

制御部23は、フレーム制御部23aを有しており、フレーム制御部23aは、表示装置Dの配列情報と、画像信号取得の読み出し開始フレームの設定間隔情報、映像再生のサンプリング間隔情報を基に、どの表示装置Dに、記憶部21に蓄積された画像信号のうちのどのフレームを出力するかを算出する。そして算出したフレームのフレーム番号をフレーム制御情報に含めて、生成したフレーム制御情報をフレーム抽出部24に出力する。またフレーム制御部23aは、表示装置D上で再生させる映像にフレーム番号を重畳するための、OSD(On Screen Display)制御情報も生成し、生成したOSD制御情報をOSD処理部25に出力する。   The control unit 23 includes a frame control unit 23a. The frame control unit 23a is based on the arrangement information of the display device D, the setting interval information of the readout start frame for image signal acquisition, and the sampling interval information for video reproduction. Which frame of the image signals accumulated in the storage unit 21 is to be output to which display device D is calculated. Then, the frame number of the calculated frame is included in the frame control information, and the generated frame control information is output to the frame extraction unit 24. The frame control unit 23 a also generates OSD (On Screen Display) control information for superimposing the frame number on the video to be reproduced on the display device D, and outputs the generated OSD control information to the OSD processing unit 25.

フレーム抽出部24は、フレーム制御情報の中で指定されたフレームを記憶部21から読み出し、読み出したフレームをOSD処理部25に出力する。OSD処理部25は、フレーム抽出部31bから入力されたフレームに、フレーム制御部23aから入力されたOSD制御情報に含まれるフレーム番号を重畳して、フレーム番号を重畳したフレームを各表示装置D1〜D25に出力する。   The frame extraction unit 24 reads the frame specified in the frame control information from the storage unit 21 and outputs the read frame to the OSD processing unit 25. The OSD processing unit 25 superimposes the frame number included in the OSD control information input from the frame control unit 23a on the frame input from the frame extraction unit 31b, and displays the frame with the frame number superimposed on each display device D1 to D1. Output to D25.

このように構成された監視システム1において、カメラ10で撮影された画像信号はまず、画像生成装置20の記憶部21に蓄積される。そして、操作部22からの操作入力等によって再生が指示されたタイミングで、フレーム制御部23aによって、各表示装置Dに表示させるフレームのフレーム番号が算出される。算出されたフレーム番号は、フレーム制御情報に含められて制御部23のフレーム抽出部24に出力される。   In the monitoring system 1 configured as described above, an image signal captured by the camera 10 is first stored in the storage unit 21 of the image generation device 20. The frame number of the frame to be displayed on each display device D is calculated by the frame control unit 23a at the timing when the reproduction is instructed by an operation input from the operation unit 22 or the like. The calculated frame number is included in the frame control information and output to the frame extraction unit 24 of the control unit 23.

フレーム抽出部24では、受信したフレーム制御情報に含まれるフレーム番号に対応するフレームを、記憶部21から読み出す処理が行われる。フレーム抽出部24で読み出されたフレームは、OSD処理部25に出力される。OSD処理部25では、フレーム抽出部24から出力されたフレームに、OSD制御情報内に記載されたフレーム番号を重畳する処理が行われる。フレーム番号が重畳されたフレームは、OSD処理部25から表示装置D1〜D25に出力され、表示装置Dの図示せぬモニタ等に表示される。なお、本例では映像にOSD表示する情報としてフレーム番号を例に挙げたが、フレーム番号以外の他の情報をOSD表示させるようにしてもよい。又は、OSD表示を行わないようにしてもよい。   In the frame extraction unit 24, a process of reading a frame corresponding to the frame number included in the received frame control information from the storage unit 21 is performed. The frame read by the frame extraction unit 24 is output to the OSD processing unit 25. The OSD processing unit 25 performs a process of superimposing the frame number described in the OSD control information on the frame output from the frame extraction unit 24. The frame on which the frame number is superimposed is output from the OSD processing unit 25 to the display devices D1 to D25 and displayed on a monitor (not shown) of the display device D. In this example, the frame number is taken as an example of the OSD display information on the video, but other information other than the frame number may be OSD displayed. Alternatively, the OSD display may not be performed.

なお、図1に示した構成では、画像生成装置20で、各表示装置Dに供給する画像信号を生成させる処理まで行って、それぞれの表示装置Dでは、供給される画像信号を入力させるだけの構成としたが、画像生成装置20として、画像信号の記憶とその記憶した画像信号の表示制御だけを行う構成として、各表示装置Dが記憶部21に記憶された画像信号を読み出す構成としてもよい。   In the configuration illustrated in FIG. 1, the image generation device 20 performs processing up to generation of an image signal to be supplied to each display device D, and each display device D simply inputs the supplied image signal. Although the configuration is such that the image generation device 20 performs only storage of the image signal and display control of the stored image signal, each display device D may read the image signal stored in the storage unit 21. .

この場合の監視装置1′の構成例を、図2に示してある。図2において図1に対応する箇所には同一の符号を付してある。図2に示した監視装置1′において、画像生成装置20′は、カメラ10から送信された画像信号を蓄積する記憶部21と、操作部22と、制御部23のみを備えた構成としてある。制御部23には、フレーム制御部23aも含まれる。フレーム制御部23aでは、図1に示した構成と同様に、フレーム制御情報とOSD制御情報を生成する処理を行う。そして、生成したフレーム制御情報とOSD制御情報各表示装置D1〜D25に出力する。   An example of the configuration of the monitoring device 1 'in this case is shown in FIG. In FIG. 2, portions corresponding to those in FIG. In the monitoring device 1 ′ shown in FIG. 2, the image generation device 20 ′ is configured to include only a storage unit 21 that accumulates image signals transmitted from the camera 10, an operation unit 22, and a control unit 23. The control unit 23 also includes a frame control unit 23a. The frame control unit 23a performs processing for generating frame control information and OSD control information, as in the configuration shown in FIG. Then, the generated frame control information and OSD control information are output to the respective display devices D1 to D25.

そして、表示装置D1〜D25側に、フレーム抽出部31bとOSD処理部31dを備えさせてある。表示装置D1〜D25には、それぞれLCD(Liquid Crystal Display)等で構成された表示部32を設けてあり、この他に、画像生成装置20′から送信されたフレーム制御情報を、フレーム抽出部31bに出力するフレーム情報I/F部31aと、画像生成装置20′から送信されたOSD制御情報を、OSD処理部31dに出力するOSD制御情報I/F部31cとを備える。   A frame extraction unit 31b and an OSD processing unit 31d are provided on the display devices D1 to D25 side. Each of the display devices D1 to D25 is provided with a display unit 32 composed of an LCD (Liquid Crystal Display) or the like. In addition, the frame control information transmitted from the image generation device 20 ′ is received as a frame extraction unit 31b. Frame information I / F unit 31a to be output to the OSD, and OSD control information I / F unit 31c to output the OSD control information transmitted from the image generation apparatus 20 'to the OSD processing unit 31d.

フレーム抽出部31bは、フレーム制御情報の中で指定されたフレームを取得するための取得要求を、画像生成装置20に送信するとともに、画像生成装置20から送信されたフレームを受信する。そして、受信したフレームをOSD処理部31dに出力する。OSD処理部31dでは、OSD制御情報I/F部31cから送られたOSD制御情報に基づいて、フレーム抽出部31bから出力されたフレームにフレーム番号を重畳し、フレーム番号を重畳したフレームを表示部32に出力する。表示部32は、OSD処理部31dから送信されたフレームを表示する。   The frame extraction unit 31b transmits an acquisition request for acquiring a frame specified in the frame control information to the image generation apparatus 20 and receives a frame transmitted from the image generation apparatus 20. Then, the received frame is output to the OSD processing unit 31d. Based on the OSD control information sent from the OSD control information I / F unit 31c, the OSD processing unit 31d superimposes the frame number on the frame output from the frame extraction unit 31b, and displays the frame on which the frame number is superimposed. 32. The display unit 32 displays the frame transmitted from the OSD processing unit 31d.

このように構成された監視システム1′において、カメラ10で撮影された画像信号はまず画像生成装置20の記憶部21に蓄積される。そして、操作部22からの操作入力等によって再生が指示されたタイミングで、フレーム制御部23aによって、各表示装置Dに表示させるフレームのフレーム番号が算出される。算出されたフレーム番号は、フレーム制御情報に含められて表示装置D1〜D25のフレーム制御情報I/F部31aに出力され、フレーム制御情報I/F部31aによって受信されたフレーム制御情報は、フレーム抽出部31bに伝送される。   In the monitoring system 1 ′ configured as described above, an image signal captured by the camera 10 is first stored in the storage unit 21 of the image generation device 20. The frame number of the frame to be displayed on each display device D is calculated by the frame control unit 23a at the timing when the reproduction is instructed by an operation input from the operation unit 22 or the like. The calculated frame number is included in the frame control information and output to the frame control information I / F unit 31a of the display devices D1 to D25. The frame control information received by the frame control information I / F unit 31a It is transmitted to the extraction unit 31b.

フレーム抽出部31bでは、受信したフレーム制御情報に含まれるフレーム番号に対応するフレームを、画像生成装置20の記憶部21から読み出す処理が行われる。そしてフレーム抽出部31bで読み出されたフレームは、OSD処理部31dに出力される。またOSD処理部31dには、画像生成装置20から送信されたOSD制御情報も、OSD制御情報I/F部31cを介して入力される。そしてOSD処理部31dによって、フレーム抽出部31bから出力されたフレームに、OSD制御情報内に記載されたフレーム番号を重畳する処理が行われる。フレーム番号が重畳されたフレームは、OSD処理部31dから表示部32に出力され、表示部32上に表示される。   In the frame extraction unit 31b, a process of reading a frame corresponding to the frame number included in the received frame control information from the storage unit 21 of the image generation device 20 is performed. The frame read by the frame extraction unit 31b is output to the OSD processing unit 31d. The OSD control information transmitted from the image generation apparatus 20 is also input to the OSD processing unit 31d via the OSD control information I / F unit 31c. Then, the OSD processing unit 31d performs a process of superimposing the frame number described in the OSD control information on the frame output from the frame extraction unit 31b. The frame on which the frame number is superimposed is output from the OSD processing unit 31d to the display unit 32 and displayed on the display unit 32.

次に、図3を参照して、表示装置D1〜D25の配列についてと、画像生成装置20における画像信号の読み取り開始フレームの設定間隔について説明する。図3には、表示装置D1〜D25を5行×5列のマトリクス状に配置して、マルチ画面を構成した様子を示してある。マルチ画面の右上端には表示装置D1を配置してあり、表示装置D1の下には表示装置D2〜D5を縦一列に並べて配置してある。表示装置D1の左隣には表示部D6を配置してあり、表示装置D6の下には表示装置D7〜D10を縦一列に並べて配置してある。このような形態で、表示装置D25までを配置してあり、表示装置D25が、マルチ画面の左下端に位置するようにしてある。   Next, the arrangement of the display devices D1 to D25 and the setting interval of the image signal reading start frame in the image generation device 20 will be described with reference to FIG. FIG. 3 shows a state in which the display devices D1 to D25 are arranged in a matrix of 5 rows × 5 columns to constitute a multi-screen. A display device D1 is arranged at the upper right end of the multi-screen, and display devices D2 to D5 are arranged in a vertical line below the display device D1. The display unit D6 is arranged on the left side of the display device D1, and the display devices D7 to D10 are arranged in a vertical line below the display device D6. In this manner, the display device D25 is arranged, and the display device D25 is positioned at the lower left corner of the multi-screen.

各表示装置Dの右下方の領域に四角で囲って表現した数字は、表示装置Dに表示されているフレームのフレーム番号である。各表示装置D上では、映像が例えば60fps等の再生レートで表示されるため、表示されるフレーム番号は、時間の経過に伴って次々と新しいフレーム番号に書き換えられるようになる。つまり図3に示した図は、1フレーム表示時間における表示状態を示したものとなる。各表示装置D上での映像再生のサンプリング間隔も、操作部22(図1、図2参照)を通して設定可能としてあり、再生サンプリング間隔を例えば2と設定した場合には、画像信号が2フレームおきに間引かれて表示されるようになる。   A number expressed by enclosing a square in a lower right region of each display device D is a frame number of a frame displayed on the display device D. On each display device D, since the video is displayed at a playback rate of 60 fps, for example, the displayed frame numbers are successively rewritten to new frame numbers as time elapses. That is, the diagram shown in FIG. 3 shows a display state in one frame display time. The video playback sampling interval on each display device D can also be set through the operation unit 22 (see FIGS. 1 and 2). When the playback sampling interval is set to 2, for example, every two frames of the image signal. Will be displayed after being thinned out.

図3においては、右上端に配置された表示装置D1に表示されているフレーム番号は0であり、その下に配置された表示装置D2に表示されているフレーム番号は、90であることが示されている。そして、表示部D2の下に配置された表示装置D3に表示されているフレーム番号は180となっている。以降、配置位置が下方向に進むにつれて、再生映像におけるフレームの番号が、90フレームずつ大きくなっていることが示されている。   In FIG. 3, the frame number displayed on the display device D1 arranged at the upper right end is 0, and the frame number displayed on the display device D2 arranged below it is 90. Has been. The frame number displayed on the display device D3 arranged below the display unit D2 is 180. Thereafter, it is shown that the frame number in the reproduced video increases by 90 frames as the arrangement position progresses downward.

本例では、このような、行方向に隣り合う表示装置D間での読み出し開始フレームの設定間隔をKrとしてあり、この値は、各表示装置Dのフレーム抽出部31b(図2参照)が、画像生成装置20の記憶部21から画像信号を読み出す間隔によって決定するものである。読み出し開始フレームの設定間隔Krは、操作部22等を介してユーザが任意の値に設定可能としてある。つまり図3に示した例では、読み出し開始フレームの設定間隔Krは90に設定されていることになる。以下の説明においては、読み出し開始フレームの設定間隔Krを、変数Krとも称する。   In this example, the setting interval of the readout start frame between the display devices D adjacent in the row direction is Kr, and this value is determined by the frame extraction unit 31b (see FIG. 2) of each display device D. This is determined by the interval at which image signals are read from the storage unit 21 of the image generation device 20. The setting interval Kr of the read start frame can be set to an arbitrary value by the user via the operation unit 22 or the like. That is, in the example shown in FIG. 3, the setting interval Kr of the read start frame is set to 90. In the following description, the read start frame setting interval Kr is also referred to as a variable Kr.

読み出し開始フレームの設定間隔Krは、マルチ画面の右端の列の最下段に配置された表示装置D5と、その左隣の列の最上段の表示装置D6との間にも、同じ値(90)が設定される。このため、表示装置D5にはフレーム番号360の映像が表示されているのに対して、表示装置D6には、360フレームから90フレーム先の、フレーム番号450の映像が表示されている。つまり、列方向に隣り合う表示装置D間での読み出し開始フレームの設定間隔Kcは、マルチ画面を構成する列の数をM列とした場合に、Kr×Mで求めることができる。   The read start frame setting interval Kr is the same value (90) between the display device D5 arranged at the lowermost row in the rightmost column of the multi-screen and the uppermost display device D6 in the next left column. Is set. For this reason, the image of frame number 360 is displayed on the display device D5, whereas the image of frame number 450, which is 90 frames ahead of 360 frames, is displayed on the display device D6. That is, the setting interval Kc of the read start frame between the display devices D adjacent in the column direction can be obtained by Kr × M when the number of columns configuring the multi-screen is M columns.

図3に示した例では列の数を5列としてあるため、読み出し開始フレームの設定間隔Kcは、Kr(90)×M(5)=450となる。このように構成してあるため、マルチ画面における表示装置Dの配置位置が上から下、そして右から左に進むにつれて、表示装置Dに表示される映像のフレーム番号は大きくなり、マルチ画面の左下端に配置された表示装置D25に一番大きなフレーム番号(2160)の映像が表示されるようになる。つまり、マルチ画面の左下端に配置された表示装置D25には、その時点での最新の映像が表示されるのに対して、右上端に配置された表示装置D1には、一番古い映像が表示されるようになる。   In the example shown in FIG. 3, since the number of columns is five, the read start frame setting interval Kc is Kr (90) × M (5) = 450. With this configuration, the frame number of the video displayed on the display device D increases as the position of the display device D on the multi-screen advances from top to bottom and from right to left. The video with the largest frame number (2160) is displayed on the display device D25 arranged at the end. In other words, the display device D25 arranged at the lower left corner of the multi-screen displays the latest video at that time, while the display device D1 arranged at the upper right corner displays the oldest video. It will be displayed.

次に、図4のフローチャートを参照して、ユーザにより映像の再生開始が指示されてから各表示装置Dに映像が表示されるまでの間の、画像生成装置20及び表示装置Dでの処理の例について説明する。図4における画像生成装置20と表示装置Dは、図2に示した構成であるものとする。図4において、画像生成装置20は、まず操作部22より映像再生開始を指示する操作信号の入力を受け付けると(ステップS1)、フレーム制御部23aによって、マルチ画面に表示させるフレームの範囲が算出される(ステップS2)。例えば図3に示したような5×5のマトリクスに、読み出し開始フレームの設定間隔Krを90として映像を表示する場合で、かつユーザにより指定された再生開始フレームの番号が0であった場合には、マルチ画面に表示させるフレームの終端フレームの番号は、90×(5×5−1)+0=2160と算出される。よって、1フレーム表示時間でマルチ画面に表示させるフレームは、フレーム番号0から2160までのフレームということになる。   Next, referring to the flowchart of FIG. 4, the processing of the image generation device 20 and the display device D from when the user gives an instruction to start playback of the video until the video is displayed on each display device D. An example will be described. The image generation device 20 and the display device D in FIG. 4 are assumed to have the configuration shown in FIG. In FIG. 4, when the image generation apparatus 20 first receives an input of an operation signal instructing start of video reproduction from the operation unit 22 (step S <b> 1), the frame control unit 23 a calculates a range of frames to be displayed on the multi-screen. (Step S2). For example, when a video is displayed on a 5 × 5 matrix as shown in FIG. 3 with the read start frame setting interval Kr being 90, and the playback start frame number designated by the user is 0 The number of the end frame of the frame to be displayed on the multi-screen is calculated as 90 × (5 × 5-1) + 0 = 2160. Therefore, the frames displayed on the multi-screen in one frame display time are frames with frame numbers 0 to 2160.

そしてステップS3では、ステップS2で算出したフレームの範囲に基づいて、各表示装置Dに表示させるフレームが算出され、算出したフレーム番号を含むフレーム制御情報及びOSD制御情報がOSD処理部31dによって生成される。そして、生成されたフレーム情報及びOSD制御情報が、OSD処理部31dから各表示装置Dに送信される(ステップS4)。ステップS4では、予め設定された各表示装置Dの配列情報を基に、まず、表示装置D1にはフレーム番号0、表示装置D2にはフレーム番号90、表示装置D3にはフレーム番号180のフレームといったように、各表示装置Dとそこに表示させるフレームとを対応づける処理が行われる。そして、フレーム制御情報とOSD制御情報とが、対応づけられた各表示装置Dに送信される。   In step S3, a frame to be displayed on each display device D is calculated based on the frame range calculated in step S2, and frame control information and OSD control information including the calculated frame number are generated by the OSD processing unit 31d. The Then, the generated frame information and OSD control information are transmitted from the OSD processing unit 31d to each display device D (step S4). In step S4, based on the arrangement information of each display device D set in advance, first, the display device D1 has frame number 0, the display device D2 has frame number 90, the display device D3 has frame number 180, etc. As described above, a process of associating each display device D with a frame to be displayed thereon is performed. Then, the frame control information and the OSD control information are transmitted to each associated display device D.

表示装置Dでは、画像生成装置20から送信されたフレーム制御情報及びOSD制御情報を受信すると(ステップS11)、フレーム制御情報の中で指定されたフレーム番号に対応するフレームが、フレーム抽出部31bによって画像生成装置20の記憶部21から読み出され(ステップS12)、OSD処理部31dによって、ステップS12で読み出されたフレームに、OSD制御情報内で指定されたフレーム番号がOSD処理される(ステップS13)。そして、OSD処理されたフレームがOSD処理部31bから表示部32(図2参照)に出力され(ステップS14)、OSD処理されたフレームが表示部32上に表示される(ステップS15)。表示装置Dでの処理は、画像生成装置20からフレーム制御情報が送信されている間、継続して行われる。   When the display device D receives the frame control information and the OSD control information transmitted from the image generation device 20 (step S11), a frame corresponding to the frame number specified in the frame control information is received by the frame extraction unit 31b. The frame number specified in the OSD control information is subjected to OSD processing on the frame read out from the storage unit 21 of the image generation apparatus 20 (step S12) and read out in step S12 by the OSD processing unit 31d (step S12). S13). Then, the OSD-processed frame is output from the OSD processing unit 31b to the display unit 32 (see FIG. 2) (step S14), and the OSD-processed frame is displayed on the display unit 32 (step S15). The processing in the display device D is continuously performed while the frame control information is transmitted from the image generation device 20.

画像生成装置20では、ステップS4でフレーム制御情報及びOSD制御情報を表示装置Dに送信した後は、再生の停止を指示する指令を受信したか否かの判断、又は、再生フレームが終了したかの判断を行う(ステップS5)。再生の停止指令を受信した場合、又は再生すべきフレームが無いと判断された場合には、再生を終了する(ステップS8)。再生の停止命令を受信しておらず、また再生すべきフレームもまだあると判断された場合には、次にフレーム制御部23aによって、表示装置Dに送信済みのフレーム番号にLフレーム分が追加され、Lフレームが追加された新たなフレーム番号を基に、フレーム制御情報及びOSD制御情報が更新される(ステップS6)。Lが例えば1に設定されている場合には、表示装置D1に送信したフレーム番号であれば、0に1を加算して得られる「1」が新しいフレーム番号となり、表示装置D2に送信したフレーム番号であれば、90に1を加算した「91」が新しいフレーム番号になる。ステップS6の処理は、マルチ画面を構成するすべての表示装置Dに対して行われる。   In the image generation device 20, after transmitting the frame control information and the OSD control information to the display device D in step S4, it is determined whether or not an instruction to stop the reproduction is received, or whether the reproduction frame is completed. (Step S5). If a reproduction stop command is received or if it is determined that there is no frame to be reproduced, the reproduction is terminated (step S8). If it is determined that no playback stop command has been received and there are still frames to be played back, the frame controller 23a adds L frames to the frame number already transmitted to the display device D. The frame control information and the OSD control information are updated based on the new frame number to which the L frame is added (step S6). For example, when L is set to 1, if the frame number is transmitted to the display device D1, “1” obtained by adding 1 to 0 becomes a new frame number, and the frame transmitted to the display device D2 If it is a number, “91” obtained by adding 1 to 90 becomes a new frame number. The process of step S6 is performed for all the display devices D constituting the multi-screen.

次に、Lフレームの表示時間が経過したか否かの判断が行われ(ステップS7)、Lフレーム表示時間が経過するまでの時間は、そのままの状態で待機となる。Lフレームの表示時間が経過したと判断された場合にはステップS4に戻り、フレーム制御情報及びOSD制御情報が各表示装置Dに送信される。ここで送信されるフレーム制御情報とOSD制御情報は、ステップS6で更新された制御情報となる。画像生成装置20における上述した処理は、ステップS5で“Yes”が選択されるまでの間継続して行われる。   Next, it is determined whether or not the display time of the L frame has elapsed (step S7), and the time until the L frame display time elapses stands by as it is. If it is determined that the display time of the L frame has elapsed, the process returns to step S4, and the frame control information and the OSD control information are transmitted to each display device D. The frame control information and the OSD control information transmitted here are the control information updated in step S6. The above-described processing in the image generation apparatus 20 is continuously performed until “Yes” is selected in step S5.

なお、図4に示した処理では、画像生成装置20側で各表示装置Dに表示させるフレーム番号をLフレーム表示時間毎に更新し、その都度各表示装置Dに送信する場合を例に挙げたが、画像生成装置20から表示装置Dに対するフレーム制御情報の送信は最初の一度だけ行い、以降は、表示装置D側でLフレーム表示時間毎にフレーム番号の更新を行う構成としてもよい。この場合は、画像生成装置20から各表示装置Dに対して送信される最初のフレーム制御情報の中に、再生サンプリング間隔Lと読み出し開始フレームの設定間隔Krの情報も含めるようにする。例えば、表示装置D2(図3参照)に対しては、(表示装置D1に出力するフレーム+Kr)のフレームをLフレーム間隔で表示させるための制御情報を送り、表示装置D25に対しては、(表示装置D1に出力するフレーム+Kr×(25−1))のフレームをLフレーム間隔で表示させるための制御情報を送るようにする。   In the process shown in FIG. 4, the frame number to be displayed on each display device D on the image generation device 20 side is updated every L frame display time, and transmitted to each display device D each time as an example. However, the frame control information may be transmitted from the image generation device 20 to the display device D only once, and thereafter, the frame number may be updated every L frame display time on the display device D side. In this case, information on the reproduction sampling interval L and the read start frame setting interval Kr is included in the first frame control information transmitted from the image generation device 20 to each display device D. For example, for the display device D2 (see FIG. 3), control information for displaying the frame of (the frame to be output to the display device D1 + Kr) at L frame intervals is sent, and for the display device D25, ( The control information for displaying the frame + Kr × (25-1)) frame to be output to the display device D1 at intervals of L frames is sent.

図5には、マルチ画面に表示される各フレームが、時間経過に伴い遷移する様子の例を示してある。図5においては、各表示装置D上に表示される映像の図示を省略してある。図5(a)には、マルチ画面の右上端の表示装置D1にフレーム番号0の映像が表示され、左下端の表示装置D25にはフレーム番号2160の映像が表示されている様子を示してある。つまり、各表示装置D間での読み出し開始フレームの設定間隔Krは、90に設定してある。図5に示した例においては、再生サンプリング間隔Lは1に設定されているものとする。   FIG. 5 shows an example of how each frame displayed on the multi-screen transitions with time. In FIG. 5, illustration of images displayed on each display device D is omitted. FIG. 5A shows a state in which an image with frame number 0 is displayed on the display device D1 at the upper right end of the multi-screen, and an image with frame number 2160 is displayed on the display device D25 at the lower left end. . That is, the setting interval Kr of the read start frame between the display devices D is set to 90. In the example shown in FIG. 5, it is assumed that the reproduction sampling interval L is set to 1.

図5(a)に示した状態からLフレーム表示時間が経過すると、図4のフローチャートのステップS7でYesが選択されてステップS4に進む。そしてステップS4では、ステップS6で予め更新済みのフレーム制御情報及びOSD制御情報が、各表示装置Dに送信される。ステップS6においては、表示装置D1〜D25に送信済みの各フレーム番号にL(1)が加算されているため、表示装置D1に送信されるフレーム番号は90+1=91となり、表示装置25に送信されるフレーム番号は2160+1=2161となる。フレーム制御情報及びOSD制御情報を受信した各表示装置Dでは、受信したフレーム制御情報に記載されたフレーム番号のフレームを表示させる。よって、図5(a)からL(1)フレーム表示時間が経過した段階では、マルチ画面を構成する各表示装置Dに表示されるフレーム番号は、図5(b)のようになる。   When the L frame display time has elapsed from the state shown in FIG. 5A, Yes is selected in step S7 of the flowchart of FIG. 4 and the process proceeds to step S4. In step S4, the frame control information and OSD control information updated in advance in step S6 are transmitted to each display device D. In step S6, L (1) is added to each frame number already transmitted to the display devices D1 to D25, so that the frame number transmitted to the display device D1 is 90 + 1 = 91, and is transmitted to the display device 25. The frame number is 2160 + 1 = 2161. Each display device D that has received the frame control information and the OSD control information displays the frame having the frame number described in the received frame control information. Therefore, at the stage where the L (1) frame display time has elapsed from FIG. 5A, the frame numbers displayed on the respective display devices D constituting the multi-screen are as shown in FIG. 5B.

図5(b)では、表示装置D1にはフレーム番号1の映像が表示され、表示装置D2にはフレーム番号91の映像が表示され、表示装置D25にはフレーム番号2161の映像が表示されている。図5(b)においても、各表示装置D間での読み出し開始フレームの設定間隔Krは90であることが示されている。図5(b)に示した状態から90Lフレーム表示期間が経過した状態を、図5(c)に示してある。図5(c)では、表示装置D1にフレーム番号90の映像が表示され、表示装置D2にフレーム番号180の映像が表示され、表示装置D1にはフレーム番号2250の映像が表示されている。   In FIG. 5B, the video of frame number 1 is displayed on the display device D1, the video of frame number 91 is displayed on the display device D2, and the video of frame number 2161 is displayed on the display device D25. . 5B also shows that the setting interval Kr of the read start frame between the display devices D is 90. FIG. 5C shows a state in which the 90L frame display period has elapsed from the state shown in FIG. In FIG. 5C, an image with frame number 90 is displayed on the display device D1, an image with frame number 180 is displayed on the display device D2, and an image with frame number 2250 is displayed on the display device D1.

つまり、図5(c)に示したタイミングでは、表示装置D2に90フレーム表示時間前に表示されていたフレーム(フレーム番号90)が表示装置D1に表示されており、表示装置D3に90フレーム表示時間前に表示されていたフレーム(フレーム番号180)が表示装置D1に表示されている。そして、左下端に配置された表示装置D25には、その時点での最新のフレーム(フレーム番号2250)が表示されている。   That is, at the timing shown in FIG. 5C, the frame (frame number 90) that was displayed 90 frames before the display time on the display device D2 is displayed on the display device D1, and 90 frames are displayed on the display device D3. The frame (frame number 180) displayed before the time is displayed on the display device D1. The latest frame (frame number 2250) at that time is displayed on the display device D25 arranged at the lower left corner.

このような構成とすることにより、ユーザ(監視者)は、自分が注視している画面上で監視対象としての物体を見失った場合であっても、視線を上方向もしくは右方向に移動させることで、見失った物体を再度確認することができる。同様に、下方向もしくは左方向に視線を移動させることで、注視している画面上に表示されている映像より未来の映像を確認することができる。つまり、早送りや巻き戻し等の煩雑な操作等を行うことなく、視線を移動させるのみで、所望の時間軸の映像を見ることができるようになる。   With this configuration, the user (monitor) can move his / her line of sight upward or rightward even when he / she loses sight of an object to be monitored on the screen he / she is gazing at. Thus, the lost object can be confirmed again. Similarly, by moving the line of sight downward or leftward, a future image can be confirmed from the image displayed on the screen being watched. That is, it is possible to view an image of a desired time axis by simply moving the line of sight without performing complicated operations such as fast-forwarding and rewinding.

また、マトリクス状に配置した各表示装置に、再生のタイミングを所定の間隔でずらした映像を表示させているため、長い時間間隔で表現される大局的な情報を一度に取得することができるようになる。   In addition, since each display device arranged in a matrix displays a video whose reproduction timing is shifted at a predetermined interval, global information expressed at a long time interval can be acquired at a time. become.

また、各表示装置Dにおける映像の再生サンプリング間隔Lと、各表示装置D間での読み出し開始フレームの設定間隔Krという2つの異なる時間軸を、一つのマルチ画面上で表現しているため、Lフレーム間隔で表現される物体の細かな動き情報と、Krを基にマルチ画面全体で表現される大局的な情報とを、一度に確認することができるようになる。   In addition, since two different time axes of the video reproduction sampling interval L in each display device D and the read start frame setting interval Kr between the display devices D are expressed on one multi-screen, L Detailed movement information of the object expressed by the frame interval and global information expressed by the entire multi-screen based on Kr can be confirmed at a time.

さらに、各表示装置D間での読み出し開始フレームの設定間隔Krの大きさを調整することで、マルチ画面全体で一度に表現可能な時間の長さを調整することができるようになる。例えばKrを大きな値とすることで、マルチ画面全体で一度に表現可能な時間の間隔を長くとることができるようになる。これにより、監視する領域が駐車場等の、監視対象の物体に長い時間変化がないような状況であっても、長い時間における映像を、マルチ画面の一画面上に表現することができるようになる。   Furthermore, by adjusting the size of the setting interval Kr of the read start frame between the display devices D, it is possible to adjust the length of time that can be expressed at once on the entire multi-screen. For example, by setting Kr to a large value, the time interval that can be expressed at once on the entire multi-screen can be increased. As a result, even in a situation where the monitored area does not change for a long time, such as a parking lot, an image for a long time can be expressed on one screen of a multi-screen. Become.

なお、ここまで説明した実施の形態では、各表示装置D間での読み出し開始フレームの設定間隔を決める値として、変数Krと、変数Krにマルチ画面の列の数を乗算することで算出できる変数Kcとを用いた例を説明したが、変数Krと変数Kcとで、互いに相関しない別々の値を設定するようにしてもよい。変数Krと変数Kcの値は、ユーザから操作部22を介して値を入力させるようにしてもよく、監視領域における特定の物体の動きに基づいて自動的に算出するようにしてもよい。   In the embodiment described so far, the variable Kr and a variable that can be calculated by multiplying the variable Kr by the number of columns of the multi-screen are used as values for determining the setting interval of the read start frame between the display devices D. Although an example using Kc has been described, different values that are not correlated with each other may be set for the variable Kr and the variable Kc. The values of the variable Kr and the variable Kc may be input by the user via the operation unit 22 or may be automatically calculated based on the movement of a specific object in the monitoring area.

監視領域における物体の動きに基づいて、変数Krと変数Kcを自動的に算出する場合の例を、図6〜図8を参照して説明する。ここでは、監視領域が駐車場であり、駐車場における特定の車を監視対象とした場合を例に挙げる。図6には、監視対象の車が監視領域内にフレームインしてからフレームアウトするまでの間に起きたイベントを、フレーム中のタイムコード(秒)と対応させて示してある。監視対象の車(以下、物体とも称する)が監視領域内に存在している時間が3600秒である場合に、そのうち、車が監視領域内に進入開始してから進入を終えるまでの時間は、300秒時点から480秒時点までの180秒間であり、車が監視領域内から退去を開始してから退去終了までの時間が、3660秒時点から3900秒時点までの240秒間である場合の例が示されている。残りの3180秒間は、車が駐車場内で停止している滞在時間となる。   An example of automatically calculating the variable Kr and the variable Kc based on the movement of the object in the monitoring area will be described with reference to FIGS. Here, a case where the monitoring area is a parking lot and a specific vehicle in the parking lot is a monitoring target will be described as an example. FIG. 6 shows the events that occur between the time when the vehicle to be monitored is framed in the monitoring area and the time when the vehicle is out of the frame, corresponding to the time code (seconds) in the frame. When the monitored vehicle (hereinafter also referred to as an object) is in the monitoring area for 3600 seconds, the time from when the car starts to enter the monitoring area until the entry is finished is: An example of 180 seconds from the 300 second time point to the 480 second time point, and the time from the start of the car leaving the monitoring area to the end of the moving time is 240 seconds from the 3660 second time point to the 3900 second time point. It is shown. The remaining 3180 seconds is the staying time in which the car is stopped in the parking lot.

図6に示した例において、監視領域に車が存在している1時間の間に得た映像を、一つのマルチ画面上で表現するとなると、読み出し開始フレームの設定間隔Krの値を大きな値とする必要がある。ところが、変数Krを大きな値とすると、車の進入時や退去時のような非常に短い時間間隔で表現されるイベントは、映像としてサンプリングされなくなってしまう可能性がある。このような問題を解決するには、車の進入時や退去時などの、監視者が注視したい映像をより多く含む時間帯においてはフレームのサンプリング間隔を細かくし、車に動きのない滞在時間においてはフレームのサンプリング間隔を大きくとるようにすればよい。つまり、行方向に隣り合う各表示装置間での読み出し開始フレームの設定間隔であるKrは、車の移動時間を基に算出し、列方向に隣り合う各表示装置間での読み出し開始フレームの設定間隔であるKcは、車の滞在時間を基に算出するようにすることで、長い時間間隔での動きと短い時間間隔での動きとを一つのマルチ画面上に表現することができるようになる。   In the example shown in FIG. 6, if an image obtained during one hour when a vehicle is present in the monitoring area is expressed on one multi-screen, the value of the setting interval Kr of the read start frame is set to a large value. There is a need to. However, if the variable Kr is set to a large value, an event represented by a very short time interval such as when a car enters or leaves the vehicle may not be sampled as a video. In order to solve this problem, the frame sampling interval should be reduced in the time zone that includes more images that the observer wants to watch, such as when the car enters or leaves the vehicle, and the vehicle stays at a time when the vehicle does not move. The frame sampling interval may be set to be large. That is, Kr, which is the setting interval of the read start frame between the display devices adjacent in the row direction, is calculated based on the moving time of the car, and the read start frame is set between the display devices adjacent in the column direction. By calculating Kc, which is the interval, based on the staying time of the car, it is possible to express the movement at the long time interval and the movement at the short time interval on one multi-screen. .

図7には、この場合の画像表示装置20及び表示装置Dでの処理の例を、フローチャートで示してある。図7において、画像生成装置20はまず、ユーザからの再生の開始指令を受け取ると(ステップS21)、フレーム制御部23aによって、監視領域における物体の存在時間と動き時間とが算出される(ステップS22)。監視領域における物体の特定は、動体検知等のプログラムによって自動的に行われるものとする。物体の存在時間は、図6に示した例であれば3600秒であり、物体の移動時間は、進入時間の180秒と退去時間の240秒となる。   FIG. 7 is a flowchart showing an example of processing in the image display device 20 and the display device D in this case. In FIG. 7, when the image generation apparatus 20 first receives a reproduction start command from the user (step S21), the frame control unit 23a calculates the existence time and the movement time of the object in the monitoring area (step S22). ). It is assumed that the object in the monitoring area is automatically identified by a program such as moving object detection. In the example shown in FIG. 6, the existence time of the object is 3600 seconds, and the movement time of the object is 180 seconds for the entry time and 240 seconds for the departure time.

次のステップS23では、フレーム制御部23aによって、物体の動き時間(物体が動いている時間)と表示装置Dの行数(M)との情報を基に、行方向に隣り合う各表示装置D間での読み出し開始フレームの設定間隔Krが算出される。ここでは説明を簡単にするため、フレーム単位ではなく秒単位で計算した場合を例に挙げる。   In the next step S23, each frame of the display devices D adjacent to each other in the row direction is determined by the frame control unit 23a based on the information on the movement time of the object (time during which the object is moving) and the number of rows (M) of the display device D. The setting interval Kr of the read start frame between the two is calculated. Here, in order to simplify the description, a case where calculation is performed in units of seconds instead of units of frames will be described as an example.

物体の動き時間としては進入時間と退去時間があるが、ここでは経過時間が長い方の時間を計算に用いるようにする。よって、図6に示した例では、進入時間ではなく退去時間(240秒)が採用される。また行数Nは、表示装置Dの配列を例えば図3に示した配列(M列×N行=5×5)とした場合には5となる。これらの情報を、変数Kr×(N列−1)=(物体の動き時間)の式に当てはめることにより、変数Krを求める。変数Kr×(5−1)=240を解くと、Krは60となる。   The movement time of the object includes an entry time and a departure time. Here, the longer elapsed time is used for the calculation. Therefore, in the example shown in FIG. 6, the leaving time (240 seconds) is adopted instead of the entering time. The number of rows N is 5 when the arrangement of the display device D is, for example, the arrangement shown in FIG. 3 (M columns × N rows = 5 × 5). The variable Kr is obtained by applying these pieces of information to the equation of variable Kr × (N column−1) = (object movement time). When the variable Kr × (5-1) = 240 is solved, Kr becomes 60.

次にステップS24では、物体の動き終わりのフレームの情報と、物体が存在する最終フレーム(物体がフレームアウトする直前フレーム)の情報と、マルチ画面を構成する列の数Mから、列方向に隣り合う各表示装置D間での読み出し開始フレームの設定間隔Kcが算出される。ここではMが5であることから、列間の間隔は4つあることになる。よって、4Kc={(物体がフレームアウトする時点の秒数(又はフレーム番号))−(物体の動き終わり時点での秒数(又はフレーム番号)}の計算式を解くことにより、変数Kcを求めることができる。物体が存在する最終フレームや物体の動き終わりのフレームは、プログラムにより自動的に算出してもよく、ユーザにフレーム番号や秒数等で指定させるようにしてもよい。   Next, in step S24, the information on the frame at the end of the movement of the object, the information on the last frame in which the object exists (the frame immediately before the object is framed out), and the number M of columns forming the multi-screen, are adjacent in the column direction. A read start frame setting interval Kc between the matching display devices D is calculated. Here, since M is 5, there are four intervals between columns. Therefore, the variable Kc is obtained by solving the calculation formula of 4Kc = {(seconds (or frame number) when the object is out of frame)-(seconds (or frame number) when the object ends)}. The last frame in which the object exists and the frame at the end of the movement of the object may be automatically calculated by a program, or the user may specify the frame number, the number of seconds, or the like.

図6に示した例では、物体が退去を完了した時点(物体が監視領域からフレームアウトした時点)の秒数は3900秒であり、物体が監視領域への進入を終えた(動きを止めた)時点での秒数は480秒である。よって、4Kc=(3900−480)の式が成り立ち、Kc=3420/4=855と算出される。そして図7のステップS25において、このようにして求めた変数KrとKcと、物体が存在する最終フレームの情報を基に、各表示装置Dに表示させるフレームのフレーム番号が算出される。   In the example shown in FIG. 6, the number of seconds at the time when the object has finished moving out (when the object is out of frame from the monitoring area) is 3900 seconds, and the object has finished entering the monitoring area (stopped movement). ) The number of seconds at the time is 480 seconds. Therefore, the equation 4Kc = (3900-480) is established, and Kc = 3420/4 = 855 is calculated. In step S25 of FIG. 7, the frame number of the frame to be displayed on each display device D is calculated based on the variables Kr and Kc thus obtained and the information of the last frame in which the object exists.

物体が退去を完了した時点での秒数は3900秒であるため、3900秒時点でのフレームが表示装置D25に割り当てられ、3900−Kr(=60)で求められるフレーム番号、つまりフレーム番号3840が、表示装置D25の上段に配置された表示装置D24に割り当てられる。また、表示装置D25の右隣に配置された表示装置D20には、3900−Kc(=855)で求められるフレーム番号3045が割り当てられる。ステップS25の処理は、すべての表示装置Dに対して行われる。そしてステップS25で求められたフレーム番号は、フレーム制御部23aによってフレーム制御情報とOSD制御情報に含められて、各表示装置Dに送信される(ステップS26)。   Since the number of seconds at the time when the object completes leaving is 3900 seconds, the frame at the time of 3900 seconds is assigned to the display device D25, and the frame number obtained by 3900-Kr (= 60), that is, the frame number 3840 is obtained. And assigned to the display device D24 arranged in the upper stage of the display device D25. Further, the frame number 3045 obtained by 3900−Kc (= 855) is assigned to the display device D20 arranged on the right side of the display device D25. The process of step S25 is performed for all display devices D. Then, the frame number obtained in step S25 is included in the frame control information and the OSD control information by the frame control unit 23a and transmitted to each display device D (step S26).

表示装置Dでは、画像生成装置20から送信されたフレーム制御情報及びOSD制御情報を受信すると(ステップS27)、フレーム制御情報内で指定されたフレーム番号に対応するフレームが、フレーム抽出部31bによって、画像生成装置20の記憶部21から読み出される(ステップS28)。ここでのフレームの読み出しは、変数KrとKcに基づいて行われる。そして、フレーム抽出部31bが読み出したフレームに対して、OSD制御情報内で指定されたフレーム番号がOSD処理される(ステップS29)。そして、OSD処理されたフレームが、OSD処理部31dから表示部32に出力され(ステップS30)、表示部32上に映像が表示される(ステップS31)。   In the display device D, when the frame control information and the OSD control information transmitted from the image generation device 20 are received (step S27), a frame corresponding to the frame number specified in the frame control information is received by the frame extraction unit 31b. The data is read from the storage unit 21 of the image generation device 20 (step S28). The reading of the frame here is performed based on the variables Kr and Kc. Then, the frame number specified in the OSD control information is subjected to OSD processing for the frame read by the frame extraction unit 31b (step S29). Then, the OSD-processed frame is output from the OSD processing unit 31d to the display unit 32 (step S30), and an image is displayed on the display unit 32 (step S31).

図8には、図7のフローチャートに示した処理を行った場合の、マルチ画面での映像の表示例を示してある。図8においては、表示装置Dの右端にはフレーム番号ではなく秒数を示してあるため、四角ではなく括弧で囲んで示してある。実際の表示では、フレーム番号が表示されるものとする。また、図8及び図9においては説明を分かりやすくするため、物体の動き時間における映像を表示したフレームを、太線で囲んで表示してある。   FIG. 8 shows an example of displaying a video on a multi-screen when the processing shown in the flowchart of FIG. 7 is performed. In FIG. 8, the right end of the display device D indicates the number of seconds instead of the frame number, and is therefore enclosed in parentheses instead of a square. In the actual display, it is assumed that the frame number is displayed. Further, in FIGS. 8 and 9, for easy understanding of the description, a frame displaying an image during the movement time of the object is displayed surrounded by a thick line.

マルチ画面の一番左下端の表示装置D25には、物体が監視領域からフレームアウトする直前のフレーム(3900秒時点でのフレーム)が表示されている。また、表示装置D25が配置されている列M1においては、再下段の表示装置D25から最上段の表示装置D21までの間で、Kr(60)秒毎に映像が遅延されて表示されていることが示されている。表示装置D21には、3900−(60×4)=3660秒時点でのフレームが表示されている。3900秒は、物体が退去を終える時点での秒数であり、3660秒は、物体が退去を開始した時点での秒数である。つまり、マルチ画面の左端の一列M1の間に、車が退去を開始してから退去が完了する(監視領域からフレームアウトする)までの時間における映像が、60秒間隔で表現されていることになる。   On the display device D25 at the lower left end of the multi-screen, a frame (frame at 3900 seconds) immediately before the object is framed out of the monitoring area is displayed. In the column M1 where the display device D25 is arranged, the video is delayed and displayed every Kr (60) seconds between the lower display device D25 and the uppermost display device D21. It is shown. On the display device D21, a frame at the time of 3900− (60 × 4) = 3660 seconds is displayed. 3900 seconds is the number of seconds when the object finishes moving out, and 3660 seconds is the number of seconds when the object starts moving out. That is, during the first row M1 on the left end of the multi-screen, the images in the time from when the car starts moving out until the moving out is completed (out of frame from the monitoring area) are expressed at 60 second intervals. Become.

また、マルチ画面右端の一列である列M5においても、車が進入を開始した(監視領域にフレームインした)時間から進入を終えた時間までの180秒間の映像が、60秒間隔で表現されている。つまり、列M5の上から2段目に配置された表示装置D2に、車が進入を開始した300秒時点でのフレームが表示されており、列M5の再下段の表示装置D5に、車が進入を終えた480秒時点でのフレームが表示されている。   Also in row M5, which is one row on the right end of the multi-screen, images of 180 seconds from the time when the vehicle starts entering (framed into the monitoring area) to the time when the entry is finished are expressed at intervals of 60 seconds. Yes. That is, the frame at the time point of 300 seconds when the vehicle started entering is displayed on the display device D2 arranged in the second row from the top of the row M5, and the vehicle is displayed on the display device D5 in the lower row of the row M5. A frame at the time of 480 seconds after entering is displayed.

また、車の停止時間を基に、列方向に隣接する各表示装置D間での読み出し開始フレームの設定間隔Kcを算出してあるため、列M1から列M5においては、映像が855秒(=Kc)間隔で表現されている。Kcをこのように大きな値に設定してあることで、3600秒という長い時間における映像を、マルチ画面の一画面上で表現することができる。   Further, since the setting interval Kc of the reading start frame between the display devices D adjacent in the column direction is calculated based on the stop time of the car, the video is displayed in 855 seconds (= Kc) expressed in intervals. By setting Kc to such a large value, an image in a long time of 3600 seconds can be expressed on one screen of the multi-screen.

このように、物体の動いている時間の情報を基に変数Krを算出し、物体が停止している時間の情報を基に変数Kcを算出しているため、物体が動いている時間の長さが停止している時間の長さに比べて極端に短い場合であっても、物体が動いている時間の情報を、時間方向における密度を落とすことなくマルチ画面上に表現することができる。   Thus, since the variable Kr is calculated based on the information about the time when the object is moving and the variable Kc is calculated based on the information about the time when the object is stopped, the length of time during which the object is moving is calculated. Even when it is extremely short compared to the length of time during which the object is stopped, information on the time during which the object is moving can be represented on the multi-screen without reducing the density in the time direction.

なお、図8では車の進入時における映像を、マルチ画面の一番右側の列M5に表現するようにしたが、図8に示した状態から少し時間が経過した段階においても、車の進入時の映像をマルチ画面からフレームアウトさせないように、マルチ画面の右端一列(M5)は空けるようにしてもよい。この場合は、列の位置によって変数Kcの値に粗密をつけるようにする。   In FIG. 8, the video at the time of entering the car is represented in the rightmost column M5 of the multi-screen. However, even when a little time has passed since the state shown in FIG. The right end line (M5) of the multi-screen may be vacant so that the video of the image is not framed out of the multi-screen. In this case, the value of the variable Kc is adjusted according to the column position.

図9には、図6に示した例を、マルチ画面の右端一列を空けて表現した場合の例を示してある。図9においては、マルチ画面の右端の2列(列M5と列M4)と、左端の2列(列M1と列M2)との間に適用する変数Kc1と、列M4と列M3の間及び列M3と列M2との間に適用する変数Kc2とで、値を変えてある。マルチ画面の端の方の列では、車の動き時間という短い時間を表現するために、値の小さい変数Kc1を適用し、マルチ画面の中央付近の列では、車の停車時間という長い時間を表現するために、値の大きい変数Kc2を適用するようにしてある。   FIG. 9 shows an example in which the example shown in FIG. 6 is expressed with the rightmost column of the multi-screen left open. In FIG. 9, the variable Kc1 applied between the two rightmost columns (column M5 and column M4) and the two leftmost columns (column M1 and column M2) of the multi-screen, between the columns M4 and M3, and The value is changed with the variable Kc2 applied between the column M3 and the column M2. In the column near the end of the multi-screen, a variable Kc1 having a small value is applied in order to express a short time called the movement time of the car, and in the column near the center of the multi-screen, a long time called the car stop time is expressed. Therefore, a variable Kc2 having a large value is applied.

変数Kc2には、例えば変数Kr×マルチ画面の列数Mで求められる値を設定する。変数Krを、図8に示した例と同様に60に設定するものとすると、変数Kc2は、60×5=300となる。変数Kc1は、次の計算式を解くことで求めることができる。
2×Kc1+2×Kc2=車の存在時間(3600秒)
変数Kc2は300であるため、2×Kc1+600=3600となり、Kc1=1500と算出される。
For the variable Kc2, for example, a value obtained by the variable Kr × the number M of columns of the multi-screen is set. If the variable Kr is set to 60 as in the example shown in FIG. 8, the variable Kc2 is 60 × 5 = 300. The variable Kc1 can be obtained by solving the following calculation formula.
2 × Kc1 + 2 × Kc2 = Existing time of car (3600 seconds)
Since the variable Kc2 is 300, 2 × Kc1 + 600 = 3600, and Kc1 = 1500 is calculated.

そして、画像生成装置20において、物体が存在するフレームの最終フレームをマルチ画面左下端の表示装置D25に割り当て、それ以降は算出した変数Kc1,変数Kc2,変数Krを基にフレームを記憶部21から読み出して、各表示装置Dに出力する処理を行う。このようにすることで、マルチ画面の左端の列M1には車の退去時における映像が表示され、マルチ画面の右下端に配置された表示装置D5及びその左隣の列M4の上から3段(表示装置D6〜D8)には、車の進入時における映像が表示されるようになる。つまり、マルチ画面の右端一列のうち、最上段から4段目までの表示装置D(表示装置D1〜D4)には、対象の車が映っていない映像が表示されるようになる。   Then, in the image generating device 20, the final frame of the frame in which the object exists is assigned to the display device D25 at the lower left corner of the multi-screen, and thereafter, the frame is stored from the storage unit 21 based on the calculated variable Kc1, variable Kc2, and variable Kr. A process of reading and outputting to each display device D is performed. In this way, the image at the time of leaving the vehicle is displayed in the leftmost column M1 of the multi-screen, and the display device D5 arranged at the lower right end of the multi-screen and the upper three columns M4 on the left are displayed. On the (display devices D6 to D8), an image when the vehicle enters is displayed. That is, in the rightmost row of the multi-screen, the display device D (display devices D1 to D4) from the top to the fourth row displays an image that does not show the target vehicle.

このような処理を行うことにより、図9に示した状態から240秒が経過した時点でも、車が監視領域への進入を開始した300秒時点でのフレームが、マルチ画面の右上端の表示装置D1に表示されるようになる。よって、ユーザによる物体の見逃しを防止することができるようになる。   By performing such processing, even when 240 seconds have elapsed from the state shown in FIG. 9, the frame at the time of 300 seconds when the vehicle starts entering the monitoring area is displayed at the upper right end of the multi-screen. D1 is displayed. Therefore, it is possible to prevent the user from overlooking the object.

また、列M4と列M3の間及び列M3と列M2の間においては、車の停止時間を基に算出した変数Kc2を適用してあるため、中央付近の列においては、車に動きのない停止時間中における映像が、粗いサンプリング間隔で表示されるようになる。   In addition, since the variable Kc2 calculated based on the stop time of the vehicle is applied between the column M4 and the column M3 and between the column M3 and the column M2, the vehicle has no movement in the column near the center. Images during the stop time are displayed at coarse sampling intervals.

なお、図8及び図9に示した例では、マルチ画面のどの列においても、変数Krの値は同じ値を用いるようにしたが、列の位置に応じて、変数Krの大きさを変化させるようにしてもよい。   In the example shown in FIGS. 8 and 9, the same value is used for the variable Kr in any column of the multi-screen, but the size of the variable Kr is changed according to the column position. You may do it.

次に、本発明の第2の実施の形態を、図10〜図16を参照して説明する。図10は、本実施の形態の例による監視システムの構成例を示す図である。図10において図1及び図2と対応する箇所には同一の符号を付す。   Next, a second embodiment of the present invention will be described with reference to FIGS. FIG. 10 is a diagram illustrating a configuration example of a monitoring system according to the example of the present embodiment. 10, parts corresponding to those in FIGS. 1 and 2 are denoted by the same reference numerals.

本例においても、カメラ10と、画像生成装置20′′と、表示装置D1〜D25とで監視システム1′′を構成してある。本例においては、監視システム1に、映像中の特定の物体をマークするためのユーザインタフェース(以下、UIと称す)を備えさせている。監視システム1が提供するUIは、図11に示したようなものとなる。図11には、矩形のマーカMkが表示装置D7とD8にまたがって表示されている様子を示してあり、ユーザが操作部22を操作することで、マルチ画面内でマーカの位置を自由に移動させることができるようにしてある。そして、マーカMkにより物体が特定された後は、マーカMkによるマークをマルチ画面全体に展開するようにしてある。つまり、特定された物体が表示されるマルチ画面上のすべての箇所に、マーカMkによるマークがされるようになる。なお、図11に示した例では矩形のマーカを採用してあるが、丸形や十字型のマーカ等、その他の形状のマーカを使用するようにしてもよい。   Also in this example, the monitoring system 1 ″ is configured by the camera 10, the image generation device 20 ″, and the display devices D1 to D25. In this example, the monitoring system 1 is provided with a user interface (hereinafter referred to as UI) for marking a specific object in the video. The UI provided by the monitoring system 1 is as shown in FIG. FIG. 11 shows a state in which a rectangular marker Mk is displayed across the display devices D7 and D8, and the user can freely move the marker position within the multi-screen by operating the operation unit 22. You can make it. After the object is specified by the marker Mk, the mark by the marker Mk is developed on the entire multi-screen. That is, the marker Mk is marked at all locations on the multi-screen where the identified object is displayed. In addition, although the rectangular marker is employ | adopted in the example shown in FIG. 11, you may make it use the marker of other shapes, such as a round shape and a cross-shaped marker.

このような機能を提供するため、図10の監視システム1′′において、画像生成装置20′′の制御部23′には、フレーム制御部23aの他に指定位置検出部23bと物体追尾部23cとを備えさせてある。指定位置検出部23bは、ユーザが操作部22を介してカーソル(ポインタ)等で指定した箇所が、マルチ画面内のどの位置にあたるのかを検出して、検出した位置情報を物体追尾部23cに出力する。また指定位置検出部23bは、位置情報をOSD制御情報に含めて、各表示装置DのOSD制御情報I/F部31cに送信する処理も行う。   In order to provide such a function, in the monitoring system 1 ″ of FIG. 10, the control unit 23 ′ of the image generation apparatus 20 ″ includes a designated position detection unit 23b and an object tracking unit 23c in addition to the frame control unit 23a. And is provided. The designated position detection unit 23b detects the position in the multi-screen where the user designates with the cursor (pointer) or the like via the operation unit 22, and outputs the detected position information to the object tracking unit 23c. To do. The designated position detection unit 23b also includes a process of including position information in the OSD control information and transmitting it to the OSD control information I / F unit 31c of each display device D.

物体追尾部23cは、指定位置検出部23bから受け取った位置情報を基に物体を特定し、マルチ画面の各表示装置D上に表示する各フレームを対象として、物体の追尾を行う。物体の追尾は変数KrやKcの値を基に行う。そして、追尾の結果から各表示装置D内における物体の位置情報を算出し、算出した位置情報をOSD制御情報に含めて各表示装置DのOSD制御情報I/F部31cに出力する。ここで生成されるOSD制御情報は、算出した位置にマークを重畳させるための制御情報となる。なお、物体追尾部23cでの処理はオフラインで行うものとする。   The object tracking unit 23c specifies an object based on the position information received from the designated position detection unit 23b, and tracks the object for each frame displayed on each display device D on the multi-screen. Object tracking is performed based on the values of variables Kr and Kc. Then, the position information of the object in each display device D is calculated from the tracking result, and the calculated position information is included in the OSD control information and output to the OSD control information I / F unit 31c of each display device D. The OSD control information generated here is control information for superimposing a mark on the calculated position. Note that the processing in the object tracking unit 23c is performed offline.

表示装置Dの構成は図2で説明したものと同一の構成であり、制御部31と表示部32とで構成される。制御部31には、フレーム制御情報I/F部31aとフレーム抽出部31bとOSD制御情報I/F部31cとOSD処理部31dが含まれる。フレーム制御情報I/F部31aは、画像生成装置20′′のフレーム制御部23aから送信されたフレーム制御情報を受信すると、受信したフレーム制御情報をフレーム抽出部31bに出力する。   The configuration of the display device D is the same as that described with reference to FIG. 2, and includes a control unit 31 and a display unit 32. The control unit 31 includes a frame control information I / F unit 31a, a frame extraction unit 31b, an OSD control information I / F unit 31c, and an OSD processing unit 31d. When the frame control information I / F unit 31a receives the frame control information transmitted from the frame control unit 23a of the image generation device 20 '', the frame control information I / F unit 31a outputs the received frame control information to the frame extraction unit 31b.

フレーム抽出部31bでは、フレーム制御情報の中で指定されたフレームを取得するために、フレームの取得要求を画像生成装置20′′に送信し、画像生成装置20′′の記憶部21から送信されたフレームを受信する。そして、受信したフレームをOSD処理部31dに出力する。OSD制御情報I/F部31cは、画像生成装置20の物体追尾部23cから出力されたOSD制御情報を受信して、受信したOSD制御情報をOSD処理部31dに伝送する。OSD処理部31dは、OSD制御情報I/F部31cから送られたOSD制御情報に基づいて、フレーム抽出部31bで抽出されたフレームにマーカを重畳し、マーカを重畳したフレームを表示部32に出力する。表示部32は、OSD処理部31dから送信されたフレームを表示する。   In order to acquire the frame specified in the frame control information, the frame extraction unit 31b transmits a frame acquisition request to the image generation device 20 ″ and is transmitted from the storage unit 21 of the image generation device 20 ″. Receive the received frame. Then, the received frame is output to the OSD processing unit 31d. The OSD control information I / F unit 31c receives the OSD control information output from the object tracking unit 23c of the image generation apparatus 20, and transmits the received OSD control information to the OSD processing unit 31d. The OSD processing unit 31d superimposes a marker on the frame extracted by the frame extraction unit 31b based on the OSD control information sent from the OSD control information I / F unit 31c, and displays the frame on which the marker is superimposed on the display unit 32. Output. The display unit 32 displays the frame transmitted from the OSD processing unit 31d.

図12には、ユーザにより指定された物体をマークして表示する場合の処理例を、フローチャートで示してある。画像生成装置20ではまず、ユーザから物体を指定する指示を受け付けると(ステップS41)、指定位置検出部23bによって、マルチ画面内におけるカーソルの位置が算出される(ステップS42)。次に、指定位置検出部23bによって、マーカを表示させる表示装置Dの特定と、特定した表示装置Dの画面内における、マーカの表示位置の算出が行われる(ステップS43)。そして、ステップS43で特定した各表示装置Dに対して、マーカの表示位置情報を含むOSD制御情報が送信される(ステップS44)。   FIG. 12 is a flowchart showing an example of processing when an object designated by the user is marked and displayed. First, when receiving an instruction for specifying an object from the user (step S41), the image generation apparatus 20 calculates the position of the cursor in the multi-screen by the specified position detection unit 23b (step S42). Next, the specified position detection unit 23b specifies the display device D that displays the marker, and calculates the display position of the marker in the screen of the specified display device D (step S43). Then, OSD control information including marker display position information is transmitted to each display device D identified in step S43 (step S44).

表示装置Dでは、画像生成装置20′′から送信されたOSD制御情報を受信すると(ステップS45)、画像生成装置20′′から取得済みのフレームに対して、OSD制御情報内で指定された位置にマーカを重畳(OSD)する処理が行われる(ステップS46)。そして、OSD処理部31dから表示部32に対して、ステップS46でマーカが重畳されたフレームが出力され(ステップS47)、マーカが重畳されたフレームが表示部32上に表示される(ステップS48)。   When the display device D receives the OSD control information transmitted from the image generation device 20 ″ (step S45), the position specified in the OSD control information with respect to the frame acquired from the image generation device 20 ″. A process of superimposing (OSD) the marker on the is performed (step S46). Then, the frame on which the marker is superimposed in step S46 is output from the OSD processing unit 31d to the display unit 32 (step S47), and the frame on which the marker is superimposed is displayed on the display unit 32 (step S48). .

このような処理を行うことで、ユーザの操作に基づいて位置が特定された物体が、マーカMkによってマークされて各表示部32上に表示されるようになる。よって、ユーザは、不審な物体等をマルチ画面内のいずれかの画面において発見した場合等に、特定したい物体に、物体を認識しやすくするためのマークをつけることができるようになる。   By performing such processing, the object whose position is specified based on the user's operation is marked by the marker Mk and displayed on each display unit 32. Therefore, when a user finds a suspicious object or the like on any screen in the multi-screen, the user can place a mark for easily recognizing the object to be identified.

次に、図13のフローチャートを参照して、物体がマーカMkによってマークされてから、マーカMkによるマークをマルチ画面全体に展開するまでの処理の例について説明する。図13において、画像生成装置20′′はまず、ユーザから物体を指定する指示を受け付けると(ステップS51)、指定位置検出部23bで、マルチ画面内におけるカーソルの位置が算出される(ステップS52)。次に、指定位置検出部23bにおいて、マーカを表示させる表示装置Dの特定と、特定した表示装置Dの画面内におけるマーカの表示位置の算出が行われる(ステップS53)。ここまでは、図12で説明した処理と同一の処理となる。   Next, an example of processing from when an object is marked by the marker Mk to when the mark by the marker Mk is developed on the entire multi-screen will be described with reference to the flowchart of FIG. In FIG. 13, first, when receiving an instruction for designating an object from the user (step S51), the image generation apparatus 20 ″ calculates the position of the cursor in the multi-screen by the designated position detection unit 23b (step S52). . Next, in the designated position detection unit 23b, the display device D that displays the marker is specified, and the display position of the marker in the screen of the specified display device D is calculated (step S53). Up to this point, the processing is the same as the processing described in FIG.

次に、物体追尾部23cにおいて、マルチ画面内での物体の追尾処理が行われる(ステップS54)。マルチ画面内での物体の追尾は、指定位置検出部23から渡された位置情報と、マルチ画面を構成する表示装置Dの配列情報、変数Krや変数Kcの情報を基に行われる。また、マルチ画面内での物体の追尾は、物体が指定された表示装置Dを起点としてその上あるいは下の表示装置Dに表示されるフレーム、その次も、その上あるいは下の表示装置Dに表示されるフレームといったように、対象とするフレームを変えながら次々に行われる。   Next, the object tracking unit 23c performs object tracking processing in the multi-screen (step S54). The tracking of the object in the multi-screen is performed based on the position information passed from the designated position detection unit 23, the array information of the display device D constituting the multi-screen, and information on the variable Kr and the variable Kc. The tracking of an object in the multi-screen is performed by a frame displayed on the display device D above or below the display device D from which the object is designated, and then on the display device D above or below the display device D. It is performed one after another while changing the target frame such as a displayed frame.

次のステップS55では、物体追尾の処理が、マルチ画面を構成するすべてのフレームに対して行われたか否かの判断がされ、マルチ画面を構成するすべてのフレームにおける物体追尾が完了していない間は、ステップS54の処理が続けられる。マルチ画面を構成するすべてのフレームにおける物体追尾が完了したと判断された場合には、物体追尾部23cによって、マークをすべき物体が追尾対象フレームに含まれていたか否かの判断が行われる(ステップS56)。追尾の対象フレームに、マークすべき物体が含まれていなかった場合には、処理は終了される。   In the next step S55, it is determined whether or not the object tracking processing has been performed for all the frames constituting the multi-screen, and the object tracking is not completed for all the frames constituting the multi-screen. The process of step S54 is continued. When it is determined that the object tracking has been completed in all the frames constituting the multi-screen, the object tracking unit 23c determines whether or not the object to be marked is included in the tracking target frame ( Step S56). If the tracking target frame does not include an object to be marked, the process ends.

マークをすべき物体が追尾対象のフレームに含まれていた場合には、物体追尾部23cによって、マーカを表示すべき位置の情報がOSD制御情報に含められて、各表示装置Dに送信される(ステップS57)。OSD制御情報の送信後には、Lフレームの表示時間が経過したか否かの判断が行われる(ステップS58)。Lフレームの表示時間が経過するまでの間は、そのまま待機となり、Lフレームの表示時間が経過した時には、ステップS54に戻って引き続き物体の追尾処理が行われる。   When the object to be marked is included in the tracking target frame, the object tracking unit 23c includes the information on the position where the marker is to be displayed in the OSD control information and transmits it to each display device D. (Step S57). After the OSD control information is transmitted, it is determined whether or not the display time of the L frame has passed (step S58). Until the display time of the L frame elapses, the process waits as it is, and when the display time of the L frame elapses, the process returns to step S54 to continue the object tracking process.

表示装置Dでは、画像生成装置20′から送信されたOSD制御情報をOSD制御情報I/F部31cが受信すると(ステップS59)、フレーム抽出部31bがすでに画像生成装置20′から取得済みのフレームに対して、OSD制御情報内で指定された位置にマーカが重畳(OSD)される(ステップS60)。そして、OSD処理部31dから表示部32に対して、ステップS60でマーカが重畳されたフレームが出力され(ステップS61)、マーカが重畳されたフレームが表示部32上に表示される(ステップS62)。なお、図13に示した処理では、マルチ画面内のすべての画面における物体追尾が完了した後に、画像生成装置20′から表示装置DにOSD制御情報が送信されるようにしてあるが、ステップS54で、マルチ画面内で物体の追尾処理を行う都度OSD制御情報を送信して、表示部32上でマーカを表示させる構成としてもよい。   In the display device D, when the OSD control information I / F unit 31c receives the OSD control information transmitted from the image generation device 20 ′ (step S59), the frame extraction unit 31b has already acquired the frame from the image generation device 20 ′. On the other hand, a marker is superimposed (OSD) at a position designated in the OSD control information (step S60). Then, the frame on which the marker is superimposed in step S60 is output from the OSD processing unit 31d to the display unit 32 (step S61), and the frame on which the marker is superimposed is displayed on the display unit 32 (step S62). . In the process shown in FIG. 13, the OSD control information is transmitted from the image generation device 20 ′ to the display device D after the object tracking is completed on all the screens in the multi-screen. Thus, the OSD control information may be transmitted each time the object tracking process is performed in the multi-screen, and the marker may be displayed on the display unit 32.

このような処理がされることにより、図14に示したように、表示装置D7上で特定された物体Ob1を含むマルチ画面上のすべての映像、つまり表示装置D4〜D16に表示された映像において、物体Ob1がマーカMkによってマークされるようになる。   As a result of such processing, as shown in FIG. 14, in all the images on the multi-screen including the object Ob1 specified on the display device D7, that is, the images displayed on the display devices D4 to D16. The object Ob1 is marked by the marker Mk.

このため、ユーザは特定した物体がマルチ画面上のどの位置に存在するかを容易に把握することができるようになる。また、物体にマークがされることにより、ユーザは、その物体が監視領域にフレームイン又はフレームアウトした時間や、物体の動き始めや動き終わり時の時間の情報を一目で把握することができるようになる。   Therefore, the user can easily grasp at which position on the multi-screen the identified object exists. Also, by marking the object, the user can grasp at a glance information on the time when the object is framed in or out of the monitoring area and the time when the object starts moving or ends. become.

さらに、マークされた物体Ob1を表示した表示装置Dの数を数えることで、物体Ob1が監視領域に存在していた時間や、物体Ob1に動きの無かった時間等を容易に計算することができるようになる。つまり、物体の存在時間や停止時間等の情報を可視化させることができる。   Furthermore, by counting the number of display devices D that display the marked object Ob1, the time during which the object Ob1 was present in the monitoring area, the time during which the object Ob1 did not move, and the like can be easily calculated. It becomes like this. That is, information such as the existence time and stop time of the object can be visualized.

また、本例では、ユーザにより特定された物体が表示されるすべての箇所にマーカMkを重畳して表示する上に、マークされた物体Ob1を含む映像のみをマルチ画面一杯に広げて再表示する等の、マルチ画面でのフレームの割り当てを行えるようにしてある。   Further, in this example, the marker Mk is superimposed and displayed at all locations where the object specified by the user is displayed, and only the image including the marked object Ob1 is expanded and redisplayed to fill the multi-screen. The frame can be assigned on a multi-screen.

図15には、ユーザによってフレームの再割り当てが指示された場合の処理の例を示してある。ここでは、図14に示した状態で、ユーザからフレームの再割り当てが指示された場合を例に挙げて説明する。図15のフローチャートにおいて、画像生成装置20′′はまず、ユーザからのフレーム再割り当て指示を受け付けると(ステップS61)、指定位置検出部23bにより、一つのマルチ画面で表現される時間帯の中における、物体の存在時間が算出される(ステップS62)。図14に示した例では、物体Ob1はフレーム番号270から1260までの間に表示されているため、物体Ob1の存在時間は1260−270=990フレーム表示時間となる。   FIG. 15 shows an example of processing when a frame reassignment is instructed by the user. Here, a case will be described as an example where reassignment of a frame is instructed by the user in the state shown in FIG. In the flowchart of FIG. 15, first, when the image generation apparatus 20 ″ receives a frame reassignment instruction from the user (step S61), the designated position detection unit 23b within the time zone expressed by one multi-screen. The existence time of the object is calculated (step S62). In the example shown in FIG. 14, since the object Ob1 is displayed between frame numbers 270 and 1260, the existence time of the object Ob1 is 1260-270 = 990 frame display time.

そして次に、ステップS62で求めた物体の存在時間と表示装置Dの配列情報とを基に、変数Krが新たに算出される(ステップS63)。表示装置Dの配列は図14に示したとおりであり、M列×N行=5×5で構成されるものとする。図14に示したマルチ画面のうち、一番右側の列は空けてフレームの再割り当てを行う場合は、(M−1)×Nで求められる数の表示装置Dにフレームを割り当てればよい。つまり、(5−1)×5=20個の表示装置Dに、映像を出力するようにする。これにより、変数Krは、(物体の存在時間)/(フレームを割り当てる表示装置Dの数)で算出できる。図14に示した例では、変数Kr=990/20=49.5≒50となる。   Then, a variable Kr is newly calculated based on the object existence time obtained in step S62 and the arrangement information of the display device D (step S63). The arrangement of the display device D is as shown in FIG. 14 and is configured with M columns × N rows = 5 × 5. In the multi-screen shown in FIG. 14, when the rightmost column is left and frame reassignment is performed, frames may be assigned to the number of display devices D obtained by (M−1) × N. That is, video is output to (5-1) × 5 = 20 display devices D. Thereby, the variable Kr can be calculated by (object existence time) / (number of display devices D to which frames are allocated). In the example shown in FIG. 14, the variable Kr = 990/20 = 49.5≈50.

そして、ステップS63で求めた新たな変数Krと、物体がフレームアウトする直前の時点でのフレームの情報とを基に、各表示装置Dに表示させるフレームのフレーム番号が算出される(ステップS64)。図14の例では、物体が監視領域内に存在する最終のフレームは1260フレームであるため、フレーム番号1260のフレームが表示装置D25に割り当てられる。そして、1260−Kr(=50)で求められるフレーム番号、つまりフレーム番号1210のフレームが、表示装置D25の上段に配置された表示装置D24に割り当てられる。また、表示装置D25の右隣に配置された表示装置D20には、1260−Kr×Nで求められる、フレーム番号1010のフレームが割り当てられる。ステップS64の処理は、マルチ画面を構成するすべての表示装置Dに対して行われる。そしてステップS64で求められたフレーム番号は、ステップS65でフレーム制御情報とOSD制御情報に含められて、各表示装置Dに送信される。このとき、物体をマークするマーカMkの位置情報もOSD制御情報に含められる。   Then, the frame number of the frame to be displayed on each display device D is calculated based on the new variable Kr obtained in step S63 and the information on the frame immediately before the object is out of frame (step S64). . In the example of FIG. 14, since the last frame in which the object exists in the monitoring area is 1260 frames, the frame with the frame number 1260 is assigned to the display device D25. Then, the frame number obtained by 1260-Kr (= 50), that is, the frame having the frame number 1210 is assigned to the display device D24 arranged in the upper stage of the display device D25. Further, a frame of frame number 1010 obtained by 1260−Kr × N is assigned to the display device D20 arranged on the right side of the display device D25. The process of step S64 is performed for all the display devices D constituting the multi-screen. Then, the frame number obtained in step S64 is included in the frame control information and the OSD control information in step S65 and transmitted to each display device D. At this time, the position information of the marker Mk that marks the object is also included in the OSD control information.

表示装置Dでは、画像生成装置20′′から送信されたフレーム制御情報及びOSD制御情報を受信すると(ステップS66)、フレーム制御情報内で指定されたフレーム番号に対応するフレームが、変数Krに基づいて画像生成装置20の記憶部21から読み出され(ステップS67)、読み出されたフレームに対して、OSD制御情報内で指定されたフレーム番号をOSDする処理が行われる(ステップS68)。これと同時に、物体Ob1にマーカMkを重畳する処理も行われる。そして、OSD処理されたフレームが表示部32に出力され(ステップS69)、表示部32上に表示される(ステップS70)。   When the display device D receives the frame control information and the OSD control information transmitted from the image generation device 20 ″ (step S66), the frame corresponding to the frame number specified in the frame control information is based on the variable Kr. Then, a process of OSDing the frame number designated in the OSD control information is performed on the read frame from the storage unit 21 of the image generation device 20 (step S67) (step S68). At the same time, a process of superimposing the marker Mk on the object Ob1 is also performed. Then, the OSD-processed frame is output to the display unit 32 (step S69) and displayed on the display unit 32 (step S70).

図14に示した映像が表示されている状態において、図15に示した処理が行われた場合の映像の表示例を、図16に示してある。図16では、マルチ画面の右下端の表示装置D5から左下端の表示装置D25までの間に、物体Ob1を含む映像がマーカMk付きで表示されていることが示されている。なお、図15に示した例では、マルチ画面の右端一列を構成する表示装置D1〜D4には、物体を含むフレームを表示しないように調整した例を挙げているが、物体の映像を含むフレームをマルチ画面全体に表示させるようにしてもよい。   FIG. 16 shows a display example of the video when the processing shown in FIG. 15 is performed in the state where the video shown in FIG. 14 is displayed. FIG. 16 shows that an image including the object Ob1 is displayed with the marker Mk between the display device D5 at the lower right end of the multi-screen and the display device D25 at the lower left end. In the example shown in FIG. 15, an example is shown in which the display devices D1 to D4 configuring the rightmost row of the multi-screen are adjusted so as not to display a frame including an object. May be displayed on the entire multi-screen.

このような表示に切り替えることで、ユーザが注視したい物体を含む映像のみが、1つのマルチ画面上に表示されるようになる。よってユーザは、注視したい物体の情報をより細かく見ることができるようになる。   By switching to such display, only the video including the object that the user wants to watch is displayed on one multi-screen. Therefore, the user can see the information of the object to be watched more finely.

なお、図15に示した例では、各表示装置D間での読み出し開始フレームの設定間隔を決める変数として変数Krのみを使用するようにしたが、図8や図9の例と同様に、列方向に隣り合う各表示装置D間に、変数Krとは異なる値の変数Kcを適用するようにしてもよい。また、列の位置によって適用する変数Krの大きさを変えるようにしてもよい。   In the example shown in FIG. 15, only the variable Kr is used as a variable for determining the setting interval of the read start frame between the display devices D. However, as in the examples of FIGS. You may make it apply the variable Kc of the value different from the variable Kr between each display apparatus D adjacent to a direction. Further, the size of the applied variable Kr may be changed depending on the position of the column.

また、図15に示した例では、物体の監視領域内に滞在している間の映像を、マルチ画面の所望の領域に再割り当てする処理について説明したが、フレーム再割り当てを行いたい範囲をユーザに指定させ、ユーザにより指定された範囲の映像をマルチ画面上に再割り当てするようにしてもよい。   In the example shown in FIG. 15, the process of reassigning the video while staying in the object monitoring area to the desired area of the multi-screen has been described. The video in the range specified by the user may be reassigned on the multi-screen.

また、上述した実施の形態では、マルチ画面を構成する複数の表示装置Dが、垂直方向又は水平方向に隣接するように配置した例を挙げたが、図17に示すように、列方向において、表示装置D〜D25が互いに斜め方向に隣接するように配置した場合に適用するようにしてもよい。もしくは、行方向において、表示装置Dが互いに斜め方向に隣接するように配置するようにしてもよい。またこの場合においても、1つの表示装置の画面を複数の領域に分割した表示領域の設定により、同様のマルチ画面を構成するようにしてもよい。   In the above-described embodiment, the example in which the plurality of display devices D configuring the multi-screen are arranged so as to be adjacent to each other in the vertical direction or the horizontal direction has been described. However, as illustrated in FIG. You may make it apply when display apparatus D-D25 arrange | positions so that it may mutually adjoin to diagonally. Or you may make it arrange | position so that the display apparatus D may mutually adjoin to a diagonal direction in a row direction. Also in this case, a similar multi-screen may be configured by setting a display area obtained by dividing the screen of one display device into a plurality of areas.

このように1つの表示装置の表示領域を分割してマルチ画面を構成させる場合には、画像生成装置内で、その1つの表示装置に供給する画像信号として、マルチ画面を表示させる画像信号とし、表示装置ではそのマルチ画面を表示させる画像信号を入力して表示させる構成とすればよい。表示装置として1つの表示装置を使用した構成の場合には、その表示装置で、画像生成装置での処理に相当する処理を行う構成としてもよい。   In this way, when the display area of one display device is divided to form a multi-screen, the image signal supplied to the one display device is an image signal for displaying the multi-screen in the image generation device. The display device may be configured to input and display an image signal for displaying the multi-screen. In the case of a configuration using one display device as the display device, the display device may be configured to perform processing corresponding to processing in the image generation device.

上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。   The series of processes in the above-described exemplary embodiment can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, it is possible to execute various functions by installing programs that make up the software into a computer built into dedicated hardware, or by installing various programs. For example, a general-purpose personal computer or the like installs and executes a program constituting desired software.

また、上述した実施形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPU等の制御装置)が記録媒体に格納されたプログラムコードを読み出し実行することによっても達成される。   In addition, a recording medium recording software program codes for realizing the functions of the above-described exemplary embodiments is supplied to a system or apparatus, and a computer (or a control device such as a CPU) of the system or apparatus is stored in the recording medium. It is also achieved by reading and executing the program code.

この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。   As a recording medium for supplying the program code in this case, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like is used. Can do.

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部又は全部を行い、その処理によって上述した実施形態例の機能が実現される場合も含まれる。   Further, by executing the program code read by the computer, not only the functions of the above-described exemplary embodiments are realized, but also the OS running on the computer based on the instruction of the program code performs actual processing. In some cases, the functions of the above-described exemplary embodiments are realized by performing part or all of the above.

また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   Further, in this specification, the step of describing the program constituting the software is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.

本発明の第1の実施の形態による監視システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the monitoring system by the 1st Embodiment of this invention. 本発明の第1の実施の形態による監視システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the monitoring system by the 1st Embodiment of this invention. 本発明の第1の実施の形態による映像の表示例を示す構成図である。It is a block diagram which shows the example of a display of the image | video by the 1st Embodiment of this invention. 本発明の第1の実施の形態による映像表示の処理例を示すフローチャートである。It is a flowchart which shows the example of a process of the video display by the 1st Embodiment of this invention. 本発明の第1の実施の形態による映像の時間方向での変化の例を示す斜視図である。It is a perspective view which shows the example of the change in the time direction of the image | video by the 1st Embodiment of this invention. 本発明の第1の実施の形態の変形例による物体の存在時間の内訳を示す説明図である。It is explanatory drawing which shows the breakdown of the presence time of the object by the modification of the 1st Embodiment of this invention. 本発明の第1の実施の形態の変形例によるフレーム再割り当ての処理例を示すフローチャートである。It is a flowchart which shows the example of a process of the frame reallocation by the modification of the 1st Embodiment of this invention. 本発明の第1の実施の形態の変形例による映像の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of the image | video by the modification of the 1st Embodiment of this invention. 本発明の第1の実施の形態の変形例よる映像の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of the image | video by the modification of the 1st Embodiment of this invention. 本発明の第2の実施の形態による監視システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the monitoring system by the 2nd Embodiment of this invention. 本発明の第2の実施の形態による映像の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of the image | video by the 2nd Embodiment of this invention. 本発明の第2の実施の形態によるOSD表示の処理例を示すフローチャートである。It is a flowchart which shows the example of a process of the OSD display by the 2nd Embodiment of this invention. 本発明の第2の実施の形態によるOSD表示の処理例を示すフローチャートである。It is a flowchart which shows the example of a process of the OSD display by the 2nd Embodiment of this invention. 本発明の第2の実施の形態による映像の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of the image | video by the 2nd Embodiment of this invention. 本発明の第2の実施の形態によるフレーム再割り当ての処理例を示すフローチャートである。It is a flowchart which shows the example of a process of the frame reallocation by the 2nd Embodiment of this invention. 本発明の第2の実施の形態による映像の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of the image | video by the 2nd Embodiment of this invention. 本発明の他の実施の形態による表示部の配置例を示す説明図である。It is explanatory drawing which shows the example of arrangement | positioning of the display part by other embodiment of this invention.

符号の説明Explanation of symbols

1…監視システム、10…カメラ、20…画像生成装置、21…記憶部、22…操作部、23…制御部、23a…フレーム制御部、23b…指定位置検出部、23c…物体追尾部、31…制御部、31a…フレーム制御情報I/F部、31b…フレーム抽出部、31c…OSD制御情報I/F部、31d…OSD処理部、32…表示部、D1〜D25…表示装置   DESCRIPTION OF SYMBOLS 1 ... Surveillance system, 10 ... Camera, 20 ... Image generation apparatus, 21 ... Memory | storage part, 22 ... Operation part, 23 ... Control part, 23a ... Frame control part, 23b ... Designated position detection part, 23c ... Object tracking part, 31 Control unit 31a Frame control information I / F unit 31b Frame extraction unit 31c OSD control information I / F unit 31d OSD processing unit 32 Display unit D1 to D25 Display device

Claims (12)

入力された動画像を、少なくとも2つの列及び2つの行で構成される複数の表示領域のそれぞれに動画像として表示させるための画像信号を生成する画像生成装置であって、
前記入力された動画像の画像信号を蓄積する記憶部と、
前記記憶部に蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させるための画像信号とする画像信号生成部と、
前記画像信号生成部で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示させる動画像の再生フレーム間隔を制御する制御部とを備えたことを特徴とする
画像生成装置。
An image generation device that generates an image signal for displaying an input moving image as a moving image in each of a plurality of display areas configured of at least two columns and two rows,
A storage unit for storing image signals of the input moving images;
An image signal generation unit that reads out the image signal stored in the storage unit as a starting point from a different frame position for each display region, and displays the moving image in each display region;
Control for controlling the playback frame interval of moving images to be displayed in each display area while setting the readout start frame of the image signal to be generated by the image signal generation unit at a later time in correspondence with the arrangement order of the display areas An image generating apparatus.
請求項1記載の画像生成装置において、
前記制御部が設定する前記各表示領域での再生フレーム間隔と、前記読み出し開始フレームの設定間隔を、任意の値に設定する操作部を備えることを特徴とする
画像生成装置。
The image generation apparatus according to claim 1.
An image generation apparatus comprising: an operation unit that sets a playback frame interval in each display region set by the control unit and a setting interval of the readout start frame to arbitrary values.
請求項1記載の画像生成装置において、
前記制御部は、前記記憶部が記憶した画像信号から判別した、動画像中の物体の時間方向での変化状態に応じて、前記読み出し開始フレームの設定間隔を設定することを特徴とする
画像生成装置。
The image generation apparatus according to claim 1.
The control unit sets the setting interval of the readout start frame according to a change state in the time direction of an object in the moving image determined from the image signal stored in the storage unit. apparatus.
請求項1記載の画像生成装置において、
前記制御部は、前記記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、前記複数の表示領域の配列情報と、前記物体が映像中に存在している時間情報とを基に、前記読み出し開始フレームの設定間隔を再計算し、前記物体が映っている最終フレームの近傍のフレーム番号と、前記再計算された読み出し開始フレームの設定間隔とを基に、各表示領域の読み出し開始フレーム位置を算出することを特徴とする
画像生成装置。
The image generation apparatus according to claim 1.
The control unit receives a command for reassigning a frame including a video of a specific object, which is determined from the image signal stored in the storage unit, to the entire multi-screen formed in the plurality of display areas. In this case, based on the arrangement information of the plurality of display areas and the time information in which the object is present in the video, the setting interval of the readout start frame is recalculated, and the object is finally captured. An image generation apparatus that calculates a read start frame position of each display region based on a frame number in the vicinity of a frame and the recalculated read start frame setting interval.
請求項1記載の画像生成装置において、
前記制御部は、前記記憶部が記憶した画像信号から判別した、特定の物体の映像を含むフレームを、前記複数の表示領域で形成されるマルチ画面全体に再割り当てさせるための指令が入力された場合には、前記複数の表示領域の配列情報と、前記物体が映像中に存在している時間情報とを基に、前記マルチ画面の列のうちいずれかの列には特定の物体の映像を含むフレームを表示させないように、前記読み出し開始フレームの設定間隔を再計算し、前記物体が映っている最終フレームの近傍のフレーム番号と、前記再計算された読み出し開始フレームの設定間隔とを基に、各表示領域の読み出し開始フレーム位置を算出することを特徴とする
画像生成装置。
The image generation apparatus according to claim 1.
The control unit receives a command for reassigning a frame including a video of a specific object, which is determined from the image signal stored in the storage unit, to the entire multi-screen formed in the plurality of display areas. In this case, based on the arrangement information of the plurality of display areas and the time information in which the object is present in the video, the video of the specific object is displayed in one of the multi-screen columns. Recalculate the setting interval of the readout start frame so as not to display the frame including the frame, based on the frame number near the last frame in which the object is reflected, and the recalculated setting interval of the readout start frame An image generation apparatus that calculates a read start frame position of each display area.
請求項2記載の画像生成装置において、
前記操作部は、前記読み出し開始フレームの設定間隔を、前記表示領域が行方向に隣り合う前記表示部間である場合と、前記表示領域が列方向に隣り合う前記表示部間である場合とで、異なる値に設定可能であることを特徴とする
画像生成装置。
The image generation apparatus according to claim 2.
The operation unit sets the setting interval of the readout start frame between when the display region is between the display units adjacent in the row direction and when the display region is between the display units adjacent in the column direction. An image generating apparatus characterized in that it can be set to different values.
請求項2記載の画像生成装置において、
前記制御部は、前記複数の表示領域で形成されるマルチ画面上でのポインタの位置を検出し、前記操作部より、前記指定位置検出部が検出したポインタの位置を前記物体の位置とする旨の指令が入力された場合に、前記検出した位置にマーカを重畳して表示させる制御を行う指定位置検出部を備えたことを特徴とする
画像生成装置。
The image generation apparatus according to claim 2.
The control unit detects the position of a pointer on a multi-screen formed by the plurality of display areas, and uses the operation unit to set the position of the pointer detected by the designated position detection unit as the position of the object. An image generation apparatus comprising: a designated position detection unit that performs control to display a marker superimposed on the detected position when the command is input.
請求項7記載の画像生成装置において、
前記指定位置検出部が検出した前記ポインタの位置に存在する物体を、前記記憶部より読み出すすべてのフレームを対象として追尾して、追尾した結果得られた物体の位置情報を基に、前記複数の表示領域における前記物体の位置に前記マーカを表示させる制御を行う物体追尾部を備えたことを特徴とする
画像生成装置。
The image generation apparatus according to claim 7.
The object existing at the position of the pointer detected by the designated position detection unit is tracked for all frames read from the storage unit, and based on the position information of the object obtained as a result of the tracking, the plurality of An image generation apparatus comprising: an object tracking unit that performs control to display the marker at a position of the object in a display area.
入力された動画像を、少なくとも2つの列及び2つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる表示装置であって、
前記入力された動画像の画像信号を蓄積する記憶部と、
前記記憶部に蓄積された動画像の画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号とする画像信号生成部と、
前記画像信号生成部で生成させる各表示領域の動画像の画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御部と、
前記画像信号生成部で生成された画像信号を表示し、前記複数の表示領域を有する表示部とを備えたことを特徴とする
表示装置。
A display device that displays an input moving image as a moving image in each of a plurality of display areas including at least two columns and two rows,
A storage unit for storing image signals of the input moving images;
An image signal generation unit that reads out the image signal of the moving image stored in the storage unit, starting from a different frame position for each display area, and displaying an image signal in each display area, and
The image signal readout start frame of the moving image of each display area generated by the image signal generation unit is set at a later time in order corresponding to the arrangement order of the display areas, and the moving image displayed in each display area A control unit for controlling the playback frame interval of
A display device, comprising: a display unit that displays the image signal generated by the image signal generation unit and includes the plurality of display areas.
入力された動画像を、少なくとも2つの列及び2つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる画像生成方法であって、
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理とを実行することを特徴とする
画像生成方法。
An image generation method for displaying an input moving image as a moving image in each of a plurality of display areas composed of at least two columns and two rows,
An accumulation process for accumulating the image signal of the input moving image;
Image signal generation processing for reading out the image signal stored in the storage processing, starting from a different frame position for each display region, and displaying a moving image in each display region;
The readout start frame of the image signal generated by the image signal generation processing is set at a later time in order corresponding to the arrangement order of the display areas, and the playback frame interval of the moving image displayed in each display area is controlled. An image generation method characterized by executing control processing.
入力された動画像を、少なくとも2つの列及び2つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる画像生成方法であって、
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理とを実行させるための
プログラム。
An image generation method for displaying an input moving image as a moving image in each of a plurality of display areas composed of at least two columns and two rows,
An accumulation process for accumulating the image signal of the input moving image;
Image signal generation processing for reading out the image signal stored in the storage processing, starting from a different frame position for each display region, and displaying a moving image in each display region;
The readout start frame of the image signal generated by the image signal generation processing is set at a later time in order corresponding to the arrangement order of the display areas, and the playback frame interval of the moving image displayed in each display area is controlled. A program for executing control processing.
入力された動画像を、少なくとも2つの列及び2つの行で構成される複数の表示領域のそれぞれに、動画像として表示させる画像生成方法であって、
前記入力された動画像の画像信号を蓄積する蓄積処理と、
前記蓄積処理で蓄積された画像信号を、各表示領域ごとにそれぞれ異なるフレーム位置を始点として読み出して、各表示領域で動画表示させる画像信号生成処理と、
前記画像信号生成処理で生成させる画像信号の読み出し開始フレームを、前記表示領域の配置順に対応して順に後の時間に設定するとともに、各表示領域で表示される動画像の再生フレーム間隔を制御する制御処理とを実行させるためのプログラムを記録した
記録媒体。
An image generation method for displaying an input moving image as a moving image in each of a plurality of display areas composed of at least two columns and two rows,
An accumulation process for accumulating the image signal of the input moving image;
Image signal generation processing for reading out the image signal stored in the storage processing, starting from a different frame position for each display region, and displaying a moving image in each display region;
The readout start frame of the image signal generated by the image signal generation processing is set at a later time in order corresponding to the arrangement order of the display areas, and the playback frame interval of the moving image displayed in each display area is controlled. A recording medium on which a program for executing control processing is recorded.
JP2007215173A 2007-08-21 2007-08-21 Image generating device, display device, image generating method, program, and recording medium recording program Expired - Fee Related JP4867852B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007215173A JP4867852B2 (en) 2007-08-21 2007-08-21 Image generating device, display device, image generating method, program, and recording medium recording program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007215173A JP4867852B2 (en) 2007-08-21 2007-08-21 Image generating device, display device, image generating method, program, and recording medium recording program

Publications (2)

Publication Number Publication Date
JP2009049797A true JP2009049797A (en) 2009-03-05
JP4867852B2 JP4867852B2 (en) 2012-02-01

Family

ID=40501560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007215173A Expired - Fee Related JP4867852B2 (en) 2007-08-21 2007-08-21 Image generating device, display device, image generating method, program, and recording medium recording program

Country Status (1)

Country Link
JP (1) JP4867852B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023218622A1 (en) * 2022-05-13 2023-11-16 日本電気株式会社 Parking lot management system, parking lot management method, and recording medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304301A (en) * 1997-04-28 1998-11-13 Sony Corp Display device for image information and its method
JPH11289517A (en) * 1998-04-02 1999-10-19 Sony Corp Reproduction device and reproduction method
JP2000224542A (en) * 1999-01-29 2000-08-11 Hitachi Ltd Image storage device, monitor system and storage medium
JP2000339923A (en) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp Apparatus and method for collecting image
JP2001128096A (en) * 1999-10-28 2001-05-11 Toshiba Corp Picture reproducing device
WO2001037560A1 (en) * 1999-11-15 2001-05-25 Matsushita Electric Industrial Co., Ltd. Video searching method and video searching apparatus
JP2004117622A (en) * 2002-09-25 2004-04-15 Sony Corp Video signal processor and video signal processing method, recording medium, program, and video signal processing system
JP2006229465A (en) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd Monitoring apparatus, monitoring method, and monitoring program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304301A (en) * 1997-04-28 1998-11-13 Sony Corp Display device for image information and its method
JPH11289517A (en) * 1998-04-02 1999-10-19 Sony Corp Reproduction device and reproduction method
JP2000224542A (en) * 1999-01-29 2000-08-11 Hitachi Ltd Image storage device, monitor system and storage medium
JP2000339923A (en) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp Apparatus and method for collecting image
JP2001128096A (en) * 1999-10-28 2001-05-11 Toshiba Corp Picture reproducing device
WO2001037560A1 (en) * 1999-11-15 2001-05-25 Matsushita Electric Industrial Co., Ltd. Video searching method and video searching apparatus
JP2004117622A (en) * 2002-09-25 2004-04-15 Sony Corp Video signal processor and video signal processing method, recording medium, program, and video signal processing system
JP2006229465A (en) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd Monitoring apparatus, monitoring method, and monitoring program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023218622A1 (en) * 2022-05-13 2023-11-16 日本電気株式会社 Parking lot management system, parking lot management method, and recording medium

Also Published As

Publication number Publication date
JP4867852B2 (en) 2012-02-01

Similar Documents

Publication Publication Date Title
JP4140567B2 (en) Object tracking device and object tracking method
JP6249202B2 (en) Image display device, image display method, and program
JP4618166B2 (en) Image processing apparatus, image processing method, and program
US8036470B2 (en) Image processing apparatus, image processing method, and program
KR100585346B1 (en) Facilitating access to digital video
JP2008016898A (en) Monitoring apparatus, monitoring system and filter setting method
US7444062B2 (en) Playback system
US20160381339A1 (en) Image information processing method, apparatus, and program utilizing a position sequence
JP2014220724A (en) Display controller, display control method and program
JP2011182118A (en) Display controlling apparatus and control method for the same
JP2006245648A (en) Information processing system, information processing apparatus, information processing method, program and recording medium
JP4872490B2 (en) Monitoring device, monitoring system, and monitoring method
JP5613016B2 (en) Video tracking device, video tracking method, and video tracking program
EP1641257A1 (en) Image-reproducing apparatus and image-reproducing method
JP4867852B2 (en) Image generating device, display device, image generating method, program, and recording medium recording program
US9715630B2 (en) Monitoring system and related image searching method
CN102027742A (en) Recording/playback device
JP4931251B2 (en) Display control apparatus, display control system, and display control method
JP4973935B2 (en) Information processing apparatus, information processing method, program, and recording medium
JP5018706B2 (en) Recording / playback device
JP2014220722A (en) Display controller, display control method and program
US20150189127A1 (en) Video processing apparatus
JP5163605B2 (en) Moving picture reproducing apparatus and moving picture reproducing method
WO2023182026A1 (en) Information processing device, information processing system, and method for controlling information processing device
JP2008311808A (en) Information processor, information processing method, program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111031

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees