JP2012015813A - Traffic line display device, method, and program - Google Patents

Traffic line display device, method, and program Download PDF

Info

Publication number
JP2012015813A
JP2012015813A JP2010150483A JP2010150483A JP2012015813A JP 2012015813 A JP2012015813 A JP 2012015813A JP 2010150483 A JP2010150483 A JP 2010150483A JP 2010150483 A JP2010150483 A JP 2010150483A JP 2012015813 A JP2012015813 A JP 2012015813A
Authority
JP
Japan
Prior art keywords
flow line
camera
cameras
display device
tip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010150483A
Other languages
Japanese (ja)
Other versions
JP5771367B2 (en
Inventor
Masami Takahata
政実 高畠
Naoki Sekine
直樹 関根
Tomonori Ikumi
智則 伊久美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2010150483A priority Critical patent/JP5771367B2/en
Publication of JP2012015813A publication Critical patent/JP2012015813A/en
Application granted granted Critical
Publication of JP5771367B2 publication Critical patent/JP5771367B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To reduce labor and time required for a user to find a camera image containing a photographed moving object.SOLUTION: A traffic line display device obtains traffic line data of a moving object selected as an object to be displayed from a traffic line data base, and displays a traffic line indicating a travel route from the start point to the finish point of the moving object by use of the obtained traffic line data. The traffic line display device selects, from among a plurality of cameras, cameras of a fixed number or less, the number being smaller than the number of the mentioned plurality of cameras, on the basis of positional information on the tips of the traffic line displayed. Then, the images photographed by the selected cameras are displayed in synchronization with the traffic line.

Description

本発明の実施形態は、監視領域内を移動する移動体の始点から終点までの移動経路を示す動線を表示する技術に関する。   Embodiments described herein relate generally to a technique for displaying a flow line indicating a movement path from a start point to an end point of a moving body that moves in a monitoring area.

監視領域内を移動する人物等の移動体の移動経路を動線として表示するシステムは、既に実用化されている。このシステムは、移動体を認識して追跡する仕組みが必要となる。この仕組みの１つに、監視領域を撮影対象として配置された複数のカメラの画像データを利用する方法がある。カメラ画像を利用する方法は、移動体の動線だけでなく、カメラで撮影された画像から移動体を目視により確認できる利点がある。   A system that displays a moving path of a moving body such as a person moving in a monitoring area as a flow line has already been put into practical use. This system requires a mechanism for recognizing and tracking moving objects. As one of the mechanisms, there is a method of using image data of a plurality of cameras arranged with a monitoring area as an imaging target. The method using the camera image has an advantage that the moving body can be visually confirmed not only from the flow line of the moving body but also from the image taken by the camera.

特開２００９-１０７３４号公報JP 2009-10734 A

カメラ画像を利用するシステムの場合、監視領域が拡大すればするほど、必要なカメラの台数が増加する。カメラの台数が増加すると、ユーザがカメラ画像から移動体を確認する際の画像数が増加する。画像数が増加すると、移動体が撮影されているカメラ画像を探し出すのに大きな手間と時間を要する。   In the case of a system using camera images, the number of necessary cameras increases as the monitoring area increases. When the number of cameras increases, the number of images when the user confirms the moving object from the camera images increases. As the number of images increases, it takes a lot of time and effort to find a camera image in which the moving object is photographed.

一実施形態によれば、動線表示装置は、動線データ取得手段と、動線表示手段と、カメラ選択手段と、カメラ画像表示手段とを備える。動線データ取得手段は、監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体毎の動線データを記憶する動線データベースから表示対象として選択された移動体の動線データを取得する。動線表示手段は、動線データ取得手段により取得した動線データで移動体の始点から終点まで移動経路を示す動線を表示する。カメラ選択手段は、動線表示手段により表示される動線の先端の位置情報を基準に複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択する。カメラ画像表示手段は、カメラ選択手段により選択されたカメラの撮影画像を動線表示手段により表示される動線と同期させて表示する。   According to one embodiment, the flow line display device includes flow line data acquisition means, flow line display means, camera selection means, and camera image display means. The flow line data acquisition unit is configured to detect a moving object selected as a display target from a flow line database that stores flow line data for each moving object generated from each captured image of a plurality of cameras arranged with the monitoring region as an imaging target. Get flow line data. The flow line display means displays the flow line indicating the movement path from the start point to the end point of the moving body with the flow line data acquired by the flow line data acquisition means. The camera selection means selects a certain number of cameras less than the number of cameras from among a plurality of cameras on the basis of the position information of the tip of the flow line displayed by the flow line display means. The camera image display means displays the captured image of the camera selected by the camera selection means in synchronization with the flow line displayed by the flow line display means.

実施形態のシステム構成図。The system block diagram of embodiment. 実施形態の売場レイアウト図。The sales floor layout of embodiment. 図１の画像データベースに保存される画像データのデータ構造図。The data structure figure of the image data preserve | saved in the image database of FIG. 図１の動線データベースに保存される動線データのデータ構造図。The data structure figure of the flow line data preserve | saved in the flow line database of FIG. 第１の実施形態において、テーブル記憶部で記憶するエリア設定テーブルの構成図。The block diagram of the area setting table memorize | stored in a table memory | storage part in 1st Embodiment. 第１の実施形態において、テーブル記憶部で記憶するエリア別表示カメラ定義テーブルの構成図。The block diagram of the display camera definition table classified by area memorize | stored in a table memory | storage part in 1st Embodiment. 第１の実施形態において、動線表示プログラムにしたがって制御部が実行する主要な処理手順を示す流れ図。The flowchart which shows the main process procedures which a control part performs according to a flow line display program in 1st Embodiment. 動線表示画面の一例を示す図。The figure which shows an example of a flow line display screen. 第２の実施形態において、テーブル記憶部で記憶するカメラ位置設定テーブルの構成図。FIG. 10 is a configuration diagram of a camera position setting table stored in a table storage unit in the second embodiment. 第２の実施形態において、データ記憶部に形成する順位ワークメモリの構成図。The block diagram of the order | rank work memory formed in a data storage part in 2nd Embodiment. 第２の実施形態において、動線表示プログラムにしたがって制御部が実行する主要な処理手順を示す流れ図。The flowchart which shows the main process procedures which a control part performs according to a flow line display program in 2nd Embodiment. 第３の実施形態において、テーブル記憶部で記憶するカメラ画像座標テーブルの構成図。The block diagram of the camera image coordinate table memorize | stored in a table memory | storage part in 3rd Embodiment. 第３の実施形態において、動線表示プログラムにしたがって制御部が実行する主要な処理手順を示す流れ図。The flowchart which shows the main process procedures which a control part performs according to a flow line display program in 3rd Embodiment.

以下、図面を用いて、複数の実施形態を説明する。なお、各実施形態は、いずれもコンビニエンスストア等の小売店の売場Ｓを監視領域とし、この売場Ｓ内を移動する買物客を移動体として認識して、買物客の移動経路を動線として表示する場合である。   Hereinafter, a plurality of embodiments will be described with reference to the drawings. In each of the embodiments, the sales floor S of a retail store such as a convenience store is used as a monitoring area, a shopper moving in the sales floor S is recognized as a moving body, and the movement path of the shopper is displayed as a flow line. This is the case.

（第１の実施形態）
はじめに、第１の実施形態について、図１〜図８を用いて説明する。
図１は、本実施形態のシステム構成図であり、図２は、売場Ｓのレイアウトを示す平面図である。本実施形態は、カメラを用いた画像処理方式の動線認識システムを採用する。このシステムは、複数台のカメラＣＡ１，ＣＡ２，ＣＡ４，ＣＡ４，ＣＡ５，ＣＡ６と、動線認識装置１を使用する。各カメラＣＡ１〜ＣＡ６は、いずれも売場Ｓを撮影対象として、売場Ｓの天井部等に分散して取り付けられる。本実施形態では、説明の便宜上、６台のカメラＣＡ１〜ＣＡ６が図２に示すレイアウトで取り付けられているものとする。 (First embodiment)
First, a first embodiment will be described with reference to FIGS.
FIG. 1 is a system configuration diagram of the present embodiment, and FIG. 2 is a plan view showing a layout of a sales floor S. This embodiment employs an image processing type flow line recognition system using a camera. This system uses a plurality of cameras CA1, CA2, CA4, CA4, CA5, CA6 and a flow line recognition device 1. The cameras CA1 to CA6 are all attached to the ceiling of the sales floor S in a distributed manner with the sales floor S as a subject of photographing. In the present embodiment, for convenience of explanation, it is assumed that six cameras CA1 to CA6 are attached in the layout shown in FIG.

各カメラＣＡ１〜ＣＡ６は、魚眼レンズを用いたカメラや全方位ミラー付のカメラ等の広角レンズカメラである。これらのカメラＣＡ１〜ＣＡ６は、視体積交差法により、売場Ｓ内を移動する買物客の軌跡、すなわち人物動線を追跡するために用いられる。視体積交差法は、例えば客の頭部を複数の方向から撮影し、各画像の頭部の位置から頭部の店内空間に適宜設置された３次元座標系内の座標値を算出する方法である。１つの監視領域に配置されるカメラの台数は特に制限されないが、視体積交差法による位置検出精度を高めるためには少なくとも３台のカメラで撮影した画像が必要である。   Each of the cameras CA1 to CA6 is a wide-angle lens camera such as a camera using a fisheye lens or a camera with an omnidirectional mirror. These cameras CA1 to CA6 are used to track the trajectory of the shopper who moves in the sales floor S, that is, the person flow line, by the visual volume intersection method. The visual volume intersection method is, for example, a method in which a customer's head is photographed from a plurality of directions and a coordinate value in a three-dimensional coordinate system appropriately installed in the store space of the head is calculated from the position of the head of each image. is there. The number of cameras arranged in one monitoring area is not particularly limited, but images taken by at least three cameras are necessary in order to improve position detection accuracy by the visual volume intersection method.

各カメラＣＡ１〜ＣＡ６は、動線認識装置１が備えるカメラコントロール部１１の一元制御により一定の周期（例えば１／１５秒）で撮影動作を繰り返し、その撮影画像（フレーム画像）を動線認識装置１に送信する。動線認識装置１は、カメラコントロール部１１の他、カメラ画像データベース１２、動線生成部１３及び動線データベース１４を備えている。   Each of the cameras CA1 to CA6 repeats the shooting operation at a constant cycle (for example, 1/15 seconds) by the unified control of the camera control unit 11 included in the flow line recognition device 1, and the captured image (frame image) is the flow line recognition device. 1 to send. The flow line recognition apparatus 1 includes a camera image database 12, a flow line generation unit 13, and a flow line database 14 in addition to the camera control unit 11.

カメラ画像データベース１２は、各カメラＣＡ１〜ＣＡ６で撮影されたフレーム画像データを順次蓄積する。カメラ画像データベース１２に蓄積されるフレーム画像データの構造を、図３の模式図で示す。図３に示すように、カメラ画像データベース１２は、フレーム画像データを、カメラＩＤ、フレーム番号及び撮影時刻とともに記憶する。   The camera image database 12 sequentially stores frame image data captured by the cameras CA1 to CA6. The structure of the frame image data stored in the camera image database 12 is shown in the schematic diagram of FIG. As shown in FIG. 3, the camera image database 12 stores frame image data together with a camera ID, a frame number, and a shooting time.

カメラＩＤは、当該画像データを撮影したカメラＣＡ１〜ＣＡ６の識別コードである。各カメラＣＡ１〜ＣＡ６は、それぞれ固有のカメラＩＤ“ＣＡ１”，“ＣＡ２”，“ＣＡ３”，“ＣＡ４”，“ＣＡ５”，“ＣＡ６”を予め設定する。フレーム番号は、各カメラＣＡ１〜ＣＡ６でフレーム画像が撮影される毎にカウントアップされる“１”からの連続番号である。カメラコントロール部１１の制御により、各カメラＣＡ１〜ＣＡ６のフレーム番号は同期している。撮影日時は、当該画像データが撮影された時点の日時（年月日時分秒）である。   The camera ID is an identification code of the cameras CA1 to CA6 that photographed the image data. Each camera CA1 to CA6 has a unique camera ID “CA1”, “CA2”, “CA3”, “CA4”, “CA5”, “CA6” set in advance. The frame number is a serial number from “1” that is counted up each time a frame image is captured by each of the cameras CA1 to CA6. Under the control of the camera control unit 11, the frame numbers of the cameras CA1 to CA6 are synchronized. The shooting date and time is the date and time (year / month / day / hour / minute / second) when the image data was shot.

動線生成部１３は、カメラ画像データベース１２に蓄積されたフレーム画像データの画像処理により監視領域である売場内を移動する買物客を認識し、この買物客が売場Ｓに進入した地点である始点から退出した地点である終点までの売場Ｓ内での移動経路を示す動線データを作成する。   The flow line generation unit 13 recognizes a shopper who moves within the sales area, which is a monitoring area, by image processing of the frame image data stored in the camera image database 12, and a starting point that is a point where the shopper enters the sales area S. The flow line data indicating the movement route in the sales floor S to the end point that is the point where the user exits is created.

動線データベース１４は、動線生成部１３により買物客毎に生成される動線データを蓄積する。動線データベース１４に蓄積される動線データの構造を、図４の模式図で示す。図４に示すように、動線データベース１４は、動線データを、動線ＩＤとともに記憶する。動線ＩＤは、当該動線データを個々に特定するための動線特定情報である。動線生成部１３は、買物客１名の動線データを生成する毎に、その動線データに固有の動線ＩＤを付して、動線データベース１４に格納する。   The flow line database 14 accumulates flow line data generated for each shopper by the flow line generation unit 13. The structure of the flow line data stored in the flow line database 14 is shown in the schematic diagram of FIG. As shown in FIG. 4, the flow line database 14 stores the flow line data together with the flow line ID. The flow line ID is flow line specifying information for individually specifying the flow line data. Each time the flow line generation unit 13 generates flow line data for one shopper, the flow line generation unit 13 attaches a unique flow line ID to the flow line data and stores it in the flow line database 14.

動線データは、始点フレーム“１”のフレーム番号、及び、終点フレーム“ｎ”（ｎ＞１の整数）のフレーム番号と、始点フレーム“１”から終点フレーム“ｎ”までのフレーム毎のインデックスデータとを含む。インデックスデータは、少なくとも売場Ｓ内の位置を特定する三次元座標（Ｘ，Ｙ，Ｈ）とフレーム撮影時刻Ｔとを含む。   The flow line data includes the frame number of the start point frame “1”, the frame number of the end point frame “n” (n> 1), and an index for each frame from the start point frame “1” to the end point frame “n”. Data. The index data includes at least three-dimensional coordinates (X, Y, H) for specifying a position in the sales floor S and a frame shooting time T.

始点フレーム“１”番号は、当該動線データの買物客が売場Ｓで最初に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が始点フレーム“１”に対するインデックスデータのフレーム撮影時刻Ｔ１となる。終点フレーム“ｎ”番号は、当該買物客が売場Ｓで最後に認識されたフレーム画像のフレーム番号であり、このフレーム画像の撮影時刻が終点フレーム“ｎ”に対するインデックスデータのフレーム撮影時刻Ｔｎとなる。フレーム番号毎の店内座標は、対応するフレーム番号のフレーム画像から認識された当該買物客の位置を、三次元の世界座標系（Ｘ，Ｙ，Ｈ）で特定したものである。本実施形態では、図２において、売場Ｓの左上の角をＸ軸及びＹ軸の原点Ｏ（０，０）とし、その床面をＨ（Height）軸の原点としている。   The start frame “1” number is the frame number of the frame image first recognized by the shop S of the relevant flow line data at the sales floor S, and the shooting time of this frame image is the frame shooting of the index data for the start frame “1”. Time T1 is reached. The end frame “n” number is the frame number of the frame image last recognized by the shopper at the sales floor S, and the shooting time of this frame image is the frame shooting time Tn of the index data for the end frame “n”. . The store coordinates for each frame number are obtained by specifying the position of the shopper recognized from the frame image of the corresponding frame number in the three-dimensional world coordinate system (X, Y, H). In the present embodiment, in FIG. 2, the upper left corner of the sales floor S is the origin O (0, 0) of the X axis and the Y axis, and the floor is the origin of the H (Height) axis.

かかる構成の動線認識装置１は、パーソナルコンピュータ等を主体に構成される動線表示装置２と通信ケーブルで接続する。動線表示装置２は、入力部２１、表示部２２、データベースアクセス部２３、プログラム記憶部２４、データ記憶部２５、テーブル記憶部２６及び制御部２７を備える。   The flow line recognition apparatus 1 having such a configuration is connected to a flow line display apparatus 2 mainly composed of a personal computer or the like through a communication cable. The flow line display device 2 includes an input unit 21, a display unit 22, a database access unit 23, a program storage unit 24, a data storage unit 25, a table storage unit 26, and a control unit 27.

入力部２１は、キーボード，マウス等の入力デバイスからなる。表示部２２は、液晶ディスプレイ，ＣＲＴディスプレイ等の表示デバイスからなる。タッチパネル付のディスプレイを用いることで、入力部と表示部を兼用してもよい。   The input unit 21 includes input devices such as a keyboard and a mouse. The display unit 22 includes a display device such as a liquid crystal display or a CRT display. By using a display with a touch panel, the input unit and the display unit may be combined.

データベースアクセス部２３は、通信ケーブルを介して動線認識装置１にアクセスして、動線データベース１４及びカメラ画像データベース１２から動線データ及びフレーム画像データを読取る。   The database access unit 23 accesses the flow line recognition device 1 via a communication cable and reads the flow line data and the frame image data from the flow line database 14 and the camera image database 12.

例えばＲＯＭ（Read Only Memory）で構成されるプログラム記憶部２４は、当該動線表示装置２の処理動作を制御するための動線表示プログラムを記憶する。例えばＲＡＭ（Random Access Memory）で構成されるデータ記憶部２５は、動線データベース１４及びカメラ画像データベース１２から読み取った動線データ及びフレーム画像データを一時的に記憶する。例えばＨＤＤ（Hard Disk Drive）で構成されるテーブル記憶部２６は、エリア設定テーブル３１とエリア別表示カメラ定義テーブル３２とを記憶する。   For example, the program storage unit 24 configured by a ROM (Read Only Memory) stores a flow line display program for controlling the processing operation of the flow line display device 2. For example, the data storage unit 25 configured by a RAM (Random Access Memory) temporarily stores the flow line data and the frame image data read from the flow line database 14 and the camera image database 12. For example, a table storage unit 26 composed of an HDD (Hard Disk Drive) stores an area setting table 31 and an area-specific display camera definition table 32.

図５は、エリア設定テーブル３１のデータ構造を示す模式図である。図５に示すように、このテーブル３１は、複数のエリアＩＤを記述するための領域３１-1と、各エリアＩＤに結び付けて左上座標データと右上座標データとをそれぞれ記述するための領域３１-2，３１-3を備える。   FIG. 5 is a schematic diagram showing the data structure of the area setting table 31. As shown in FIG. 5, this table 31 includes an area 31-1 for describing a plurality of area IDs, and an area 31- for describing upper left coordinate data and upper right coordinate data in association with each area ID. 2, 31-3.

エリアＩＤは、監視領域である売場ＳのＸ−Ｙ平面を、２以上の区画に区切った際の各区画に割り当てられる固有のＩＤである。本実施形態では、図２に示すように、売場ＳのＸ−Ｙ平面を区画Ａ，Ｂ，Ｃ，Ｄ，Ｅの５つに区分し、各区画Ａ，Ｂ，Ｃ，Ｄ，Ｅに対してそれぞれ“Ａｒ”，“Ｂｒ”，“Ｃｒ”，“Ｄｒ”，“Ｅｒ”のエリアＩＤを設定する。   The area ID is a unique ID assigned to each section when the XY plane of the sales floor S that is the monitoring area is divided into two or more sections. In this embodiment, as shown in FIG. 2, the XY plane of the sales floor S is divided into five sections A, B, C, D, and E, and each section A, B, C, D, and E is divided. Then, the area IDs “Ar”, “Br”, “Cr”, “Dr”, and “Er” are set.

左上座標データと右上座標データは、対応するエリアＩＤによって特定される区画の床面の左上角と右下角の二次元座標（ｘ，ｙ）である。座標（ｘ，ｙ）は、前記原点Ｏ（０，０）を基準としたときの世界座標系である。   The upper left coordinate data and the upper right coordinate data are two-dimensional coordinates (x, y) of the upper left corner and the lower right corner of the floor surface of the section specified by the corresponding area ID. The coordinates (x, y) are the world coordinate system when the origin O (0, 0) is used as a reference.

動線表示装置２のユーザは、各エリアＩＤ“Ａｒ”，“Ｂｒ”，“Ｃｒ”，“Ｄｒ”，“Ｅｒ”を領域３１-1に記述する。またユーザは、対応するエリアＩＤに結び付けて、そのＩＤによって特定される区画Ａ，Ｂ，Ｃ，Ｄ，Ｅの左上座標（xa1，ya1），（xb1，yb1），（xc1，yc1），（xd1，yd1），（xe1，ye1）と、右上座標（xa2，ya2），（xb2，yb2），（xc2，yc2），（xd2，yd2），（xe2，ye2）とを領域３１-2，３２-3に記述して、エリア設定テーブル３１を事前に作成する。   The user of the flow line display device 2 describes each area ID “Ar”, “Br”, “Cr”, “Dr”, “Er” in the area 31-1. Further, the user associates with the corresponding area ID, and the upper left coordinates (xa1, ya1), (xb1, yb1), (xc1, yc1), (x) of the sections A, B, C, D, E specified by the ID. xd1, yd1), (xe1, ye1) and upper right coordinates (xa2, ya2), (xb2, yb2), (xc2, yc2), (xd2, yd2), (xe2, ye2) are represented as region 31-2, The area setting table 31 is created in advance in accordance with 32-3.

図６は、エリア別表示カメラ定義テーブル３２のデータ構造を示す模式図である。図６に示すように、このテーブル３２は、複数のエリアＩＤを記述する領域３２-1と、各エリアＩＤに結び付けて３種類のカメラＩＤをそれぞれ記述する領域３２-2，３２-3，３２-4とを備える。   FIG. 6 is a schematic diagram showing a data structure of the display camera definition table 32 classified by area. As shown in FIG. 6, this table 32 includes an area 32-1 in which a plurality of area IDs are described, and areas 32-2, 32-3, and 32 in which three types of camera IDs are described in association with each area ID. -4.

前記ユーザは、各エリアＩＤ“Ａｒ”，“Ｂｒ”，“Ｃｒ”，“Ｄｒ”，“Ｅｒ”を領域３２-1に記述する。またユーザは、対応するエリアＩＤに結び付けて、そのＩＤによって特定される区画Ａ，Ｂ，Ｃ，Ｄ，Ｅを撮影可能なカメラのうち、その区画を撮影した画像の例えば鮮明度が高い順に上位３位まで選択する。そして、選択したカメラのＩＤを領域３２-2，３２-3，３２-4に順に記述して、エリア別表示カメラ定義テーブル３２を事前に作成する。   The user describes each area ID “Ar”, “Br”, “Cr”, “Dr”, “Er” in the area 32-1. In addition, among the cameras that can capture the sections A, B, C, D, and E specified by the ID in association with the corresponding area ID, the user is ranked higher in the order of, for example, the sharpness of the images captured in the section. Select up to 3rd place. Then, the ID of the selected camera is described in the areas 32-2, 32-3, and 32-4 in order, and the display camera definition table 32 for each area is created in advance.

因みに、図２のレイアウトを適用する本実施形態では、区画Ａに対してはカメラＣＡ１，ＣＡ６，ＣＡ３のカメラＩＤを定義し、区画Ｂに対してはカメラＣＡ６，ＣＡ３，ＣＡ５のカメラＩＤを定義し、区画Ｃに対してはカメラＣＡ５，ＣＡ６，ＣＡ４のカメラＩＤを定義し、区画Ｄに対してはカメラＣＡ４，ＣＡ３，ＣＡ２のカメラＩＤを定義し、区画Ｅに対してはカメラＣＡ１，ＣＡ２，ＣＡ３のカメラＩＤを定義する。   Incidentally, in the present embodiment in which the layout of FIG. 2 is applied, the camera IDs of the cameras CA1, CA6, and CA3 are defined for the section A, and the camera IDs of the cameras CA6, CA3, and CA5 are defined for the section B. For the section C, camera IDs of the cameras CA5, CA6, and CA4 are defined. For the section D, camera IDs of the cameras CA4, CA3, and CA2 are defined. For the section E, the cameras CA1, CA2 are defined. , CA3 camera ID is defined.

例えばＣＰＵ（Central Processing Unit）で構成される制御部２７は、前記動線表示プログラムに従い、少なくとも以下の機能１〜４を実現する。   For example, the control unit 27 configured by a CPU (Central Processing Unit) realizes at least the following functions 1 to 4 according to the flow line display program.

１．表示対象として選択された移動体すなわち買物客の動線データを、前記動線データベース１４から取得する機能（動線データ取得手段）。 1. A function (flow line data acquisition means) for acquiring the flow line data of the mobile object selected as the display object, that is, the shopper, from the flow line database 14.

２．動線データ取得手段により取得した動線データで前記買物客の始点から終点まで移動経路を示す動線を表示する機能（動線表示手段）。 2. A function of displaying a flow line indicating a movement route from the start point to the end point of the shopper with the flow line data acquired by the flow line data acquisition means (flow line display means).

３．動線表示手段により表示される動線の先端、すなわち表示対象である買物客が居る場所の位置情報を基準に６台のカメラＣＡ１〜ＣＡ６のなかから３台のカメラを選択する機能（カメラ選択手段）。 3. A function of selecting three cameras from the six cameras CA1 to CA6 based on the position information of the tip of the flow line displayed by the flow line display means, that is, the place where the shopper to be displayed is present (camera selection) means).

４．カメラ選択手段により選択された３台のカメラの各撮影画像を前記動線表示手段により表示される動線と同期させて表示する機能（カメラ画像表示手段）。なお、同期とは、動線として表示される移動体（買物客）の動きに合わせて、同一時刻のカメラ画像を表示させるということである。 4). A function of displaying each captured image of the three cameras selected by the camera selection means in synchronization with the flow line displayed by the flow line display means (camera image display means). The synchronization means that the camera images at the same time are displayed in accordance with the movement of the moving object (shopper) displayed as the flow line.

以下、これらの機能１〜４について、図７の流れ図を用いて説明する。動線表示装置２のユーザが、入力部２１を操作して、動線表示業務の開始を指令すると、動線表示プログラムが起動する。このプログラムの起動を受けて、制御部２７は、図７の流れ図に示す処理手順を開始する。   Hereinafter, these functions 1 to 4 will be described with reference to the flowchart of FIG. When the user of the flow line display device 2 operates the input unit 21 to instruct the start of the flow line display job, the flow line display program is activated. In response to the activation of this program, the control unit 27 starts the processing procedure shown in the flowchart of FIG.

先ず、制御部２７は、表示部２２に動線リスト画面を表示させる（ＳＴ１）。すなわち制御部２７は、データベースアクセス部２３を介して動線認識装置１にアクセスし、動線データベース１４に保存されている全ての動線データの動線ＩＤを読み込む。そして、動線ＩＤを一覧にした動線リスト画面を編集し、表示部２２に表示させる。なお、動線認識装置１が動線リスト画面の編集機能を有しており、動線認識装置１で編集された動線リスト画面を動線表示装置２が読み込んで表示部２２に表示させるようにしてもよい。   First, the control unit 27 displays a flow line list screen on the display unit 22 (ST1). That is, the control unit 27 accesses the flow line recognition apparatus 1 via the database access unit 23 and reads the flow line IDs of all flow line data stored in the flow line database 14. Then, the flow line list screen listing the flow line IDs is edited and displayed on the display unit 22. The flow line recognition device 1 has a flow line list screen editing function, and the flow line display device 2 reads the flow line list screen edited by the flow line recognition device 1 and displays it on the display unit 22. It may be.

前記ユーザは、入力部２１を操作して、動線リスト画面のなかから所望の動線ＩＤを１つ選択する。なお、動線リスト画面には、業務終了のボタンが表示されており、動線表示業務を終了させたいユーザは、入力部２１を操作してこのボタンを入力する。   The user operates the input unit 21 to select one desired flow line ID from the flow line list screen. Note that a job end button is displayed on the flow line list screen, and a user who wants to end the flow line display job operates the input unit 21 to input this button.

制御部２７は、動線ＩＤが選択されるか（ＳＴ２）、業務終了のボタンが入力されるのを待機する（ＳＴ３）。動線ＩＤが選択されると（ＳＴ２のＹＥＳ）、制御部２７は、再度、動線認識装置１にアクセスして、選択された動線ＩＤに関連付けて動線データベース１４に記憶されている動線データを読み込み、データ記憶部２５で記憶する（ＳＴ４：動線データ取得手段）。   The control unit 27 waits for a flow line ID to be selected (ST2) or a job end button to be input (ST3). When the flow line ID is selected (YES in ST2), the control unit 27 accesses the flow line recognition apparatus 1 again and stores the movement line database 14 associated with the selected flow line ID. The line data is read and stored in the data storage unit 25 (ST4: flow line data acquisition means).

制御部２７は、記憶した動線データ（以下、表示動線データと称する）を解析して、始点フレーム１番号と終点フレーム番号ｎを検出する。そして再度、動線認識装置１にアクセスして、画像データベース１２に保存されている各カメラＣＡ１〜ＣＡ６のフレーム画像データのうち、始点フレーム１番号から終点フレームｎ番号までのフレーム画像データを全て読み込み、データ記憶部２５でカメラＩＤ別に記憶する（ＳＴ５）。   The control unit 27 analyzes the stored flow line data (hereinafter referred to as display flow line data), and detects the start frame number 1 and the end frame number n. Then, the flow line recognition apparatus 1 is accessed again, and all the frame image data from the start frame 1 number to the end frame n number is read out from the frame image data of the cameras CA1 to CA6 stored in the image database 12. Then, the data storage unit 25 stores each camera ID (ST5).

制御部２７は、表示部２２の画面を動線表示画面４０に切換える（ＳＴ６）。
動線表示画面４０の一例を図８に示す。図８に示すように、動線表示画面４０は、売場のレイアウト図が表示された動線表示エリア４１と、３つのカメラ画像エリア４２，４３，４４とを含む。また、再表示ボタン４５と完了ボタン４６の画像を含む。 The control unit 27 switches the screen of the display unit 22 to the flow line display screen 40 (ST6).
An example of the flow line display screen 40 is shown in FIG. As shown in FIG. 8, the flow line display screen 40 includes a flow line display area 41 on which a layout diagram of the sales floor is displayed, and three camera image areas 42, 43, and 44. Also, images of a redisplay button 45 and a completion button 46 are included.

制御部２７は、フレームカウンタｆを一旦“０”にリセットする（ＳＴ７）。次いで、制御部２７は、このカウンタｆを“１”だけカウントアップする（ＳＴ８）。そして制御部２７は、このカウンタｆが、表示動線データのフレーム数ｎを超えたか否かを判断する（ＳＴ９）。   The control unit 27 once resets the frame counter f to “0” (ST7). Next, the control unit 27 counts up the counter f by “1” (ST8). Then, the control unit 27 determines whether or not the counter f exceeds the frame number n of the display flow line data (ST9).

カウンタｆがフレーム数ｎを超えていない場合（ＳＴ９のＮＯ）、制御部２７は、表示動線データから、カウンタｆの値であるｆ番目のフレームのインデックスデータ（以下、フレームｆインデックスデータと称する）を検出する。そして制御部２７は、エリア設定テーブル３１を参照して、このフレームｆインデックスデータの二次元座標（Ｘｆ，Ｙｆ）で特定される売場Ｓ内の位置が属する区画を検索する（ＳＴ１０）。   When the counter f does not exceed the number of frames n (NO in ST9), the control unit 27 calculates index data of the f-th frame that is the value of the counter f from the display flow line data (hereinafter referred to as frame f index data). ) Is detected. Then, the control unit 27 refers to the area setting table 31 and searches for a section to which the position in the sales floor S specified by the two-dimensional coordinates (Xf, Yf) of the frame f index data belongs (ST10).

例えば、フレームｆインデックスデータのＸ座標Ｘｆが［ｘａ１≦Ｘｆ≦ｘａ２］の関係を満足し、かつ、Ｙ座標Ｙｆが［ｙａ１≦Ｙｆ≦ｙａ２］の関係を満足する場合には、エリアＩＤ“Ａｒ”で特定される区画Ａを検出する。Ｘ座標Ｘｆが［ｘｂ１≦Ｘｆ≦ｘｂ２］の関係を満足し、かつ、Ｙ座標Ｙｆが［ｙｂ１≦Ｙｆ≦ｙｂ２］の関係を満足する場合には、エリアＩＤ“Ｂｒ”で特定される区画Ｂを検出する。区画Ｃ，Ｄ，Ｅについても同様である。   For example, if the X coordinate Xf of the frame f index data satisfies the relationship [xa1 ≦ Xf ≦ xa2] and the Y coordinate Yf satisfies the relationship [ya1 ≦ Yf ≦ ya2], the area ID “Ar ”Is detected. When the X coordinate Xf satisfies the relationship [xb1 ≦ Xf ≦ xb2] and the Y coordinate Yf satisfies the relationship [yb1 ≦ Yf ≦ yb2], the section B specified by the area ID “Br” Is detected. The same applies to the sections C, D, and E.

区画が検出されたならば、制御部２７は、エリア別表示カメラ定義テーブル３２を参照して、検出された区画に対して定義されている３台のカメラを表示カメラとして選択する（ＳＴ１１：カメラ選択手段）。   If the section is detected, the control unit 27 refers to the display camera definition table 32 by area and selects three cameras defined for the detected section as display cameras (ST11: camera). Selection means).

例えば、区画Ａが検出された場合には、制御部２７は、この区画ＡのエリアＩＤ“Ａｒ”に結び付けられた３つのカメラＩＤ“ＣＡ１”、“ＣＡ６”、“ＣＡ３”でそれぞれ特定されるカメラＣＡ１，ＣＡ６，ＣＡ３を選択する。区画Ｂが検出された場合には、この区画ＢのエリアＩＤ“Ｂｒ”に結び付けられた３つのカメラＩＤ“ＣＡ６”、“ＣＡ３”、“ＣＡ５”でそれぞれ特定されるカメラＣＡ６，ＣＡ３，ＣＡ５を選択する。区画Ｃ，Ｄ，Ｅについても同様である。   For example, when the section A is detected, the control unit 27 is specified by three camera IDs “CA1”, “CA6”, and “CA3” associated with the area ID “Ar” of the section A. Cameras CA1, CA6 and CA3 are selected. When the section B is detected, the cameras CA6, CA3, and CA5 respectively identified by the three camera IDs “CA6”, “CA3”, and “CA5” associated with the area ID “Br” of the section B are detected. select. The same applies to the sections C, D, and E.

制御部２７は、フレームｆインデックスデータからフレーム撮影時刻Ｔｆを取得する。そして、３つの表示カメラについて、それぞれデータ記憶部２５から撮影時刻Ｔｆのフレーム画像データを抽出する（ＳＴ１２）。しかる後、制御部２７は、動線表示画面４０の各カメラ画像エリア４２，４３，４４に、それぞれ抽出したフレーム画像データのカメラ画像を表示させる（ＳＴ１３：カメラ画像表示手段）。例えば、制御部２７は、エリア別表示カメラ定義テーブル３２の領域３２-2に設定されたカメラＩＤのカメラ画像を表示エリア４２に表示させ、領域３２-3に設定されたカメラＩＤのカメラ画像を表示エリア４３に表示させ、領域３２-4に設定されたカメラＩＤのカメラ画像を表示エリア４４に表示させる。   The control unit 27 acquires the frame shooting time Tf from the frame f index data. Then, for each of the three display cameras, the frame image data at the photographing time Tf is extracted from the data storage unit 25 (ST12). Thereafter, the control unit 27 displays the camera images of the extracted frame image data in the camera image areas 42, 43, and 44 of the flow line display screen 40 (ST13: camera image display means). For example, the control unit 27 displays the camera image of the camera ID set in the area 32-2 of the display camera definition table 32 for each area in the display area 42, and displays the camera image of the camera ID set in the area 32-3. The image is displayed in the display area 43, and the camera image of the camera ID set in the area 32-4 is displayed in the display area 44.

また、制御部２７は、表示動線データの始点フレームからｆ番目のフレームまでの各インデックスデータにより、動線表示画面４０の動線表示エリア４１に動線を表示させる（ＳＴ１４：動線表示手段）。   Further, the control unit 27 displays a flow line in the flow line display area 41 of the flow line display screen 40 by each index data from the start point frame of the display flow line data to the f-th frame (ST14: flow line display means). ).

しかる後、制御部２７は、ステップＳＴ８の処理に戻る。すなわち、制御部２７は、カウンタｆをさらに“１”だけカウントアップする。そして、ステップＳＴ９以降の処理を再度実行する。   Thereafter, the control unit 27 returns to the process of step ST8. That is, the control unit 27 further increments the counter f by “1”. And the process after step ST9 is performed again.

こうして、カウンタｆがフレーム数ｎを超えるまでは、カウンタｆがカウントアップされる毎に、ステップＳＴ１０〜ＳＴ１４の処理が繰り返される。カウンタｆがフレーム数ｎを超えたならば（ＳＴ９のＹＥＳ）、制御部２７は、再表示が指令されるか（ＳＴ１５）、完了が指令されるのを待機する（ＳＴ１６）。入力部２１を介して再表示ボタン４５が入力されると（ＳＴ１５のＹＥＳ）、制御部２７は、ステップＳＴ７の処理に戻る。そして、フレームカウンタｆを”０”にリセとした後、ステップＳＴ８〜ＳＴ１４の処理を再度実行する。   Thus, until the counter f exceeds the frame number n, the processes of steps ST10 to ST14 are repeated each time the counter f is counted up. If the counter f exceeds the frame number n (YES in ST9), the control unit 27 waits for a redisplay command (ST15) or a completion command (ST16). When the redisplay button 45 is input via the input unit 21 (YES in ST15), the control unit 27 returns to the process in step ST7. Then, after resetting the frame counter f to “0”, the processes of steps ST8 to ST14 are executed again.

完了ボタン４６が入力された場合には（ＳＴ１６のＹＥＳ）、制御部２７は、ステップ１の処理に戻る。すなわち、表示部２２の画面を動線リスト画面に戻す。ここで、次の動線ＩＤが選択されたならば（ＳＴ２のＹＥＳ）、制御部２７は、ステップＳＴ３以降の処理を再度実行する。業務終了のボタンが入力された場合には（ＳＴ３のＹＥＳ）、制御部２７は、今回の処理を終了する。   When the completion button 46 is input (YES in ST16), the control unit 27 returns to the process of step 1. That is, the screen of the display unit 22 is returned to the flow line list screen. Here, if the next flow line ID is selected (YES in ST2), the control unit 27 executes the processes after step ST3 again. When the business end button is input (YES in ST3), the control unit 27 ends the current process.

本実施形態では、動線表示画面４０に表示されるカメラ画像の数は、動線認識システムで用いられるカメラの台数より少ない。本実施形態では、６台のカメラＣＡ１〜ＣＡ６に対してカメラ画像を表示するためのエリアは３つである。   In the present embodiment, the number of camera images displayed on the flow line display screen 40 is smaller than the number of cameras used in the flow line recognition system. In the present embodiment, there are three areas for displaying camera images for the six cameras CA1 to CA6.

動線表示装置２は、動線表示エリア４１に表示される買物客の動線に同期して、カメラ画像エリア４２，４３，４４に表示されるカメラ画像を切換える。具体的には、図２の売場レイアウトにおいて、買物客が区画Ａに滞在している間は、カメラＣＡ１とカメラＣＡ６とカメラＣＡ３で撮影される画像を表示する。買物客が区画Ｂに移動すると、カメラＣＡ６とカメラＣＡ３とカメラＣＡ５の画像に切り換える。さらに、買物客が区画Ｅに移動すると、カメラＣＡ１とカメラＣＡ２とカメラＣＡ３の画像に切り換える。   The flow line display device 2 switches the camera image displayed in the camera image areas 42, 43, 44 in synchronization with the flow line of the shopper displayed in the flow line display area 41. Specifically, in the sales floor layout of FIG. 2, while the shopper is staying in the section A, images captured by the camera CA1, the camera CA6, and the camera CA3 are displayed. When the shopper moves to the section B, the images are switched to the images of the cameras CA6, CA3, and CA5. Further, when the shopper moves to the section E, the images are switched to the images of the camera CA1, the camera CA2, and the camera CA3.

カメラＣＡ１，カメラＣＡ６及びカメラＣＡ３で撮影される区画Ａの画像は、他のカメラＣＡ２，ＣＡ４，ＣＡ５で撮影される区画Ａの画像よりも鮮明である。したがって、ユーザは、動線表示エリア４１に動線が表示されている買物客の売場Ｓでの行動を目視により確実に確認することができる。すなわち、この買物客の動向解析を容易に行うことができる。   The image of the section A captured by the cameras CA1, CA6, and CA3 is clearer than the image of the section A captured by the other cameras CA2, CA4, and CA5. Therefore, the user can confirm visually the action in the shop S of the shopper whose flow line is displayed in the flow line display area 41 by visual observation. That is, the trend analysis of the shopper can be easily performed.

仮に、動線表示画面４０に６台全てのカメラＣＡ１〜ＣＡ６の画像を表示させた場合、カメラＣＡ２，ＣＡ４，ＣＡ５の画像はその時点における買物客の動向解析には役立たない。それにも係わらず画面上に表示されてユーザの目に留まるため、ユーザの負担が増加する。したがって、買物客の動向解析に無駄な時間を要する。本実施形態によれば、このような不具合を解消することができる。   If the images of all six cameras CA1 to CA6 are displayed on the flow line display screen 40, the images of the cameras CA2, CA4, and CA5 are not useful for analyzing the trend of the shopper at that time. Nevertheless, it is displayed on the screen and remains in the user's eyes, increasing the burden on the user. Therefore, wasteful time is required for analyzing the trend of the shopper. According to the present embodiment, such a problem can be solved.

（第２の実施形態）
次に、第２の実施形態について、図９〜図１１を用いて説明する。なお、本実施形態も、システム構成は第１の実施形態と同一であり、図１を用いて詳細な説明は省略する。 (Second Embodiment)
Next, a second embodiment will be described with reference to FIGS. Note that the system configuration of this embodiment is the same as that of the first embodiment, and a detailed description thereof will be omitted with reference to FIG.

第２の実施形態では、動線表示装置２は、テーブル記憶部２６でカメラ位置設定テーブル５１を記憶する。図９は、カメラ位置設定テーブル５１のデータ構造を示す模式図である。図９に示すように、カメラＩＤを記述するための領域５１-1と、カメラ位置座標データを記述するための領域５１-2とを備える。   In the second embodiment, the flow line display device 2 stores the camera position setting table 51 in the table storage unit 26. FIG. 9 is a schematic diagram showing the data structure of the camera position setting table 51. As shown in FIG. 9, an area 51-1 for describing the camera ID and an area 51-2 for describing the camera position coordinate data are provided.

カメラ位置座標データは、対応するカメラＩＤによって特定されるカメラが取り付けられている地点から床面に垂線を下ろした地点の二次元座標（Ｃｘ，Ｃｙ）である。座標（Ｃｘ，Ｃｙ）は、前記原点Ｏ（０，０）を基準としたときの世界座標系である。   The camera position coordinate data is two-dimensional coordinates (Cx, Cy) of a point where a perpendicular line is dropped from the point where the camera specified by the corresponding camera ID is attached to the floor surface. The coordinates (Cx, Cy) are a world coordinate system when the origin O (0, 0) is used as a reference.

動線表示装置２のユーザは、各カメラＣＡ１〜ＣＡ６のカメラＩＤを領域５１-1に記述する。またユーザは、対応するカメラＩＤに結び付けて、そのＩＤによって特定されるカメラＣＡ１〜ＣＡ６の取付位置に対する二次元座標（Ｃｘ１，Ｃｙ１），（Ｃｘ２，Ｃｙ２），（Ｃｘ３，Ｃｙ３），（Ｃｘ４，Ｃｙ４），（Ｃｘ５，Ｃｙ５），（Ｃｘ６，Ｃｙ６）を領域５１-2に記述して、カメラ位置設定テーブル５１を事前に作成する。   The user of the flow line display device 2 describes the camera IDs of the cameras CA1 to CA6 in the area 51-1. Further, the user associates the corresponding camera ID with the two-dimensional coordinates (Cx1, Cy1), (Cx2, Cy2), (Cx3, Cy3), (Cx4) with respect to the mounting positions of the cameras CA1 to CA6 specified by the ID. Cy4), (Cx5, Cy5), and (Cx6, Cy6) are described in the area 51-2, and the camera position setting table 51 is created in advance.

また、第２の実施形態では、データ記憶部２５に、図２に示す構成の順位ワークメモリ５２を形成する。順位ワークメモリ５２は、カメラＣＡ１〜ＣＡ６の台数分の順位別に、カメラＩＤと距離データｄｒとを対にして記憶する。   In the second embodiment, the rank work memory 52 having the configuration shown in FIG. 2 is formed in the data storage unit 25. The rank work memory 52 stores a camera ID and distance data dr as a pair for each rank of the cameras CA1 to CA6.

しかして、制御部２７は、第１の実施形態と同様に、前記動線表示プログラムに従い、動線データ取得手段、動線表示手段、カメラ選択手段、カメラ画像表示手段としての機能を実現する。ここで、第１の実施形態と異なるのは、カメラ選択手段である。   As in the first embodiment, the control unit 27 implements functions as a flow line data acquisition unit, a flow line display unit, a camera selection unit, and a camera image display unit according to the flow line display program. Here, what is different from the first embodiment is camera selection means.

図１１は、動線表示プログラムの起動を受けて、制御部２７が実行する処理手順を示す流れ図である。図７に示した第１の実施形態と共通する手順には同一のステップ符号（ＳＴｘ）を付している。図７と図１１とを比較すれば明らかなように、第２の実施形態が第１の実施形態と異なる部分は、ステップＳＴ９の処理にて“ＮＯ”と判定された場合、すなわち、カウンタｆがフレーム数ｎを超えていない場合である。   FIG. 11 is a flowchart showing a processing procedure executed by the control unit 27 upon activation of the flow line display program. The same steps as those in the first embodiment shown in FIG. 7 are denoted by the same step codes (STx). As apparent from a comparison between FIG. 7 and FIG. 11, the second embodiment differs from the first embodiment in the case where “NO” is determined in the process of step ST9, that is, the counter f. Is the case where the number of frames does not exceed n.

カウンタｆがフレーム数ｎを超えていないと（ＳＴ９のＮＯ）、制御部２７は、表示動線データからフレームｆインデックスデータを検出する。そして制御部２７は、このインデックスデータの二次元座標（Ｘｆ，Ｙｆ）を取得する（ＳＴ２１）。   If the counter f does not exceed the frame number n (NO in ST9), the control unit 27 detects the frame f index data from the display flow line data. And the control part 27 acquires the two-dimensional coordinate (Xf, Yf) of this index data (ST21).

次に、制御部２７は、カメラ位置設定テーブル５１から各カメラＣＡ１〜ＣＡ６の位置座標（Ｃｘ１，Ｃｙ１），（Ｃｘ２，Ｃｙ２），（Ｃｘ３，Ｃｙ３），（Ｃｘ４，Ｃｙ４），（Ｃｘ５，Ｃｙ５），（Ｃｘ６，Ｃｙ６）を読み込む。そして、これらの位置座標とフレームｆインデックスデータの二次元座標（Ｘｆ，Ｙｆ）とから、次の演算式（１）〜（６）により、各カメラＣＡ１〜ＣＡ６の取付地点から二次元座標（Ｘｆ，Ｙｆ）で特定される地点までの距離ｄr1〜ｄr6を算出する（ＳＴ２２）。   Next, the control unit 27 determines the position coordinates (Cx1, Cy1), (Cx2, Cy2), (Cx3, Cy3), (Cx4, Cy4), (Cx5, Cy5) of the cameras CA1 to CA6 from the camera position setting table 51. ), (Cx6, Cy6). Then, from these position coordinates and the two-dimensional coordinates (Xf, Yf) of the frame f index data, the two-dimensional coordinates (Xf) are determined from the attachment points of the cameras CA1 to CA6 by the following arithmetic expressions (1) to (6). , Yf), the distances dr1 to dr6 to the point specified by (F22) are calculated (ST22).

ｄr1＝sqrt[(Xf-Cx1)*(Xf-Cx1)+(Yf-Cy1)*(Yf-Cy1)] …（１）
ｄr2＝sqrt[(Xf-Cx2)*(Xf-Cx2)+(Yf-Cy2)*(Yf-Cy2)] …（２）
ｄr3＝sqrt[(Xf-Cx3)*(Xf-Cx3)+(Yf-Cy3)*(Yf-Cy3)] …（３）
ｄr4＝sqrt[(Xf-Cx4)*(Xf-Cx4)+(Yf-Cy4)*(Yf-Cy4)] …（４）
ｄr5＝sqrt[(Xf-Cx5)*(Xf-Cx5)+(Yf-Cy5)*(Yf-Cy5)] …（５）
ｄr6＝sqrt[(Xf-Cx6)*(Xf-Cx6)+(Yf-Cy6)*(Yf-Cy6)] …（６）
なお、式（１）〜（６）において、“sqrt[ ]”は、［ ］内のルート（平方根）を示す。 dr1 = sqrt [(Xf-Cx1) * (Xf-Cx1) + (Yf-Cy1) * (Yf-Cy1)]] (1)
dr2 = sqrt [(Xf-Cx2) * (Xf-Cx2) + (Yf-Cy2) * (Yf-Cy2)] (2)
dr3 = sqrt [(Xf-Cx3) * (Xf-Cx3) + (Yf-Cy3) * (Yf-Cy3)] (3)
dr4 = sqrt [(Xf-Cx4) * (Xf-Cx4) + (Yf-Cy4) * (Yf-Cy4)] (4)
dr5 = sqrt [(Xf-Cx5) * (Xf-Cx5) + (Yf-Cy5) * (Yf-Cy5)] (5)
dr6 = sqrt [(Xf-Cx6) * (Xf-Cx6) + (Yf-Cy6) * (Yf-Cy6)] (6)
In the expressions (1) to (6), “sqrt []” indicates a route (square root) in [].

距離ｄr1〜ｄr6が算出されると、制御部２７は、この距離ｄr1〜ｄr6を、該当するカメラＩＤと結び付けて順位ワークメモリ５２に書き込む。すなわち、カメラＣＡ１の取付地点から二次元座標（Ｘｆ，Ｙｆ）の地点までの距離ｄr1は、カメラＣＡ１のカメラＩＤ“ＣＡ１”を結び付けて記憶する。他の距離ｄr2〜ｄr6についても同様である。制御部２７は、順位ワークメモリ５２に記憶されたデータを、距離が短いほど順位が上位となるように並べ替える（ＳＴ２３）。   When the distances dr1 to dr6 are calculated, the control unit 27 writes the distances dr1 to dr6 in the rank work memory 52 in association with the corresponding camera ID. That is, the distance dr1 from the attachment point of the camera CA1 to the point of the two-dimensional coordinates (Xf, Yf) is stored in association with the camera ID “CA1” of the camera CA1. The same applies to the other distances dr2 to dr6. The control unit 27 rearranges the data stored in the rank work memory 52 so that the rank becomes higher as the distance is shorter (ST23).

制御部２７は、順位ワークメモリ５２から、上位３位までのカメラＩＤを読み出す。そして、これらのカメラＩＤでそれぞれ特定される３つのカメラを表示カメラとして選択する（ＳＴ２４：カメラ選択手段）。   The control unit 27 reads the camera IDs of the top three from the order work memory 52. Then, the three cameras identified by these camera IDs are selected as display cameras (ST24: camera selection means).

以後の処理手順は、第１の実施形態と同様である。すなわち、制御部２７は、フレームｆインデックスデータからフレーム撮影時刻Ｔｆを取得する。そして、３つの表示カメラについて、それぞれデータ記憶部２５から撮影時刻Ｔｆのフレーム画像データを抽出する（ＳＴ１２）。しかる後、制御部２７は、動線表示画面４０の各カメラ画像エリア４２，４３，４４に、それぞれ抽出したフレーム画像データのカメラ画像を表示させる（ＳＴ１３：カメラ画像表示手段）。また、制御部２７は、表示動線データの始点フレームからｆ番目のフレームまでの各インデックスデータにより、動線表示画面４０の動線表示エリア４１に動線を表示させる（ＳＴ１４：動線表示手段）。その後、制御部２７は、ステップＳＴ８の処理に戻る。   The subsequent processing procedure is the same as in the first embodiment. That is, the control unit 27 acquires the frame shooting time Tf from the frame f index data. Then, for each of the three display cameras, the frame image data at the photographing time Tf is extracted from the data storage unit 25 (ST12). Thereafter, the control unit 27 displays the camera images of the extracted frame image data in the camera image areas 42, 43, and 44 of the flow line display screen 40 (ST13: camera image display means). Further, the control unit 27 displays a flow line in the flow line display area 41 of the flow line display screen 40 by each index data from the start point frame of the display flow line data to the f-th frame (ST14: flow line display means). ). Then, the control part 27 returns to the process of step ST8.

第２の実施形態では、動線表示装置２は、動線表示エリア４１に表示される買物客の動線に同期して、その動線の先端、すなわち買物客が居る地点に対して距離の近い順に３つのカメラを自動的に選択し、その選択したカメラの画像をカメラ画像エリア４２，４３，４４に表示させる。   In the second embodiment, the flow line display device 2 synchronizes with the flow line of the shopper displayed in the flow line display area 41, and the distance between the tip of the flow line, that is, the point where the shopper is located. Three cameras are automatically selected in the closest order, and images of the selected cameras are displayed in the camera image areas 42, 43, and 44.

動線の先端となる地点からカメラまでの距離が短ければ短いほど、動線先端付近の画像は鮮明となる。したがって、第１の実施形態と同様の作用効果を奏することができる。   The shorter the distance from the point at the tip of the flow line to the camera, the clearer the image near the tip of the flow line. Therefore, the same operational effects as those of the first embodiment can be obtained.

（第３の実施形態）
次に、第３の実施形態について、図１２〜図１３を用いて説明する。本実施形態は、第２の実施形態の変形例である。第２の実施形態では、テーブル記憶部２６でカメラ位置設定テーブル５１を記憶する。第３の実施形態では、図１２に示すデータ構造のカメラ画像座標テーブル６１を記憶する。図１２に示すように、カメラ画像座標テーブル６１は、カメラＩＤを記述するための領域６１-1と、カメラ画像の中心座標データを記述するための領域６１-2とを備える。 (Third embodiment)
Next, a third embodiment will be described with reference to FIGS. This embodiment is a modification of the second embodiment. In the second embodiment, the camera position setting table 51 is stored in the table storage unit 26. In the third embodiment, the camera image coordinate table 61 having the data structure shown in FIG. 12 is stored. As shown in FIG. 12, the camera image coordinate table 61 includes an area 61-1 for describing the camera ID and an area 61-2 for describing the center coordinate data of the camera image.

動線表示装置２のユーザは、各カメラＣＡ１〜ＣＡ６のカメラＩＤを領域６１-1に記述する。またユーザは、対応するカメラＩＤに結び付けて、そのＩＤによって特定されるカメラＣＡ１〜ＣＡ６で撮影される画像の中心に位置する床面の二次元座標（Ｓｘ１，Ｓｙ１），（Ｓｘ２，Ｓｙ２），（Ｓｘ３，Ｓｙ３），（Ｓｘ４，Ｓｙ４），（Ｓｘ５，Ｓｙ５），（Ｓｘ６，Ｓｙ６）を領域６１-2に記述して、カメラ画像座標テーブル６１を事前に作成する。   The user of the flow line display device 2 describes the camera IDs of the cameras CA1 to CA6 in the area 61-1. Further, the user associates with the corresponding camera ID, and the two-dimensional coordinates (Sx1, Sy1), (Sx2, Sy2) of the floor surface located at the center of the image photographed by the cameras CA1 to CA6 specified by the ID, (Sx3, Sy3), (Sx4, Sy4), (Sx5, Sy5), (Sx6, Sy6) are described in the region 61-2, and the camera image coordinate table 61 is created in advance.

しかして、制御部２７は、第２の実施形態と同様に、前記動線表示プログラムに従い、動線データ取得手段、動線表示手段、カメラ選択手段、カメラ画像表示手段としての機能を実現する。ここで、第２の実施形態と異なるのは、カメラ選択手段の一部である。   Thus, as in the second embodiment, the control unit 27 implements functions as a flow line data acquisition unit, a flow line display unit, a camera selection unit, and a camera image display unit according to the flow line display program. Here, what is different from the second embodiment is a part of the camera selection means.

図１３は、動線表示プログラムの起動を受けて、制御部２７が実行する処理手順を示す流れ図である。図１１に示した第２の実施形態と共通する手順には同一のステップ符号（ＳＴｘ）を付している。図１１と図１３とを比較すれば明らかなように、第３の実施形態が第２の実施形態と異なる部分は、ステップＳＴ２１の処理にて表示動線データからフレームｆインデックスデータを検出し、このインデックスデータの二次元座標（Ｘｆ，Ｙｆ）を取得した後に、ステップＳＴ３１として、この二次元座標（Ｘｆ，Ｙｆ）を世界座標系からカメラ座標系に変換する処理を追加した点である。   FIG. 13 is a flowchart showing a processing procedure executed by the control unit 27 upon activation of the flow line display program. The same steps as those in the second embodiment shown in FIG. 11 are denoted by the same step codes (STx). As is clear from comparison between FIG. 11 and FIG. 13, the third embodiment is different from the second embodiment in that the frame f index data is detected from the display flow line data in the process of step ST21. After obtaining the two-dimensional coordinates (Xf, Yf) of the index data, a process for converting the two-dimensional coordinates (Xf, Yf) from the world coordinate system to the camera coordinate system is added as step ST31.

ここで、世界座標系からカメラ座標系への変換処理の原理について説明する。この変換処理では、以下のパラメータを使用する。
・世界座標系の動線座標：ｘ，ｙ，ｈ
・世界座標系のカメラの位置：Ｗｘ，Ｗｙ，Ｗｚ
・画像中心の座標：Ｃｘ，Ｃｙ
・世界座標系の座標軸周りのカメラ回転角：Ｒｘ，Ｒｙ，Ｒｚ
・全方位カメラのパラメータ：ｂ，ｃ，ｆ
・魚眼カメラのパラメータ：ｋ１，ｋ３，ｋ５，scale
先ず、制御部２７は、変換対象の動線座標（ｘ，ｙ，ｈ）を、カメラ位置を原点とした座標系（Ｘ０，Ｙ０，Ｚ０）に平行移動する。この処理は、次の演算式により実行される。

Figure 2012015813
Here, the principle of the conversion process from the world coordinate system to the camera coordinate system will be described. In this conversion process, the following parameters are used.
・ Flow line coordinates in the world coordinate system: x, y, h
・ World camera position: Wx, Wy, Wz
-Image center coordinates: Cx, Cy
-Camera rotation angle around the coordinate axis of the world coordinate system: Rx, Ry, Rz
-Omnidirectional camera parameters: b, c, f
・ Fisheye camera parameters: k1, k3, k5, scale
First, the control unit 27 translates the flow line coordinates (x, y, h) to be converted into a coordinate system (X0, Y0, Z0) with the camera position as the origin. This process is executed by the following arithmetic expression.
Figure 2012015813

次に、制御部２７は、平行移動した動線座標（Ｘ０，Ｙ０，Ｚ０）について、世界座標系の座標軸周りのカメラ回転角を使って回転処理し、世界座標系とカメラ座標系の軸を合せる。この処理は、次の演算式により実行される。   Next, the control unit 27 rotates the translated motion line coordinates (X0, Y0, Z0) using the camera rotation angle around the coordinate axis of the world coordinate system, and sets the axes of the world coordinate system and the camera coordinate system. Match. This process is executed by the following arithmetic expression.

［Ｘ軸周りの回転］

Figure 2012015813
[Rotation around X axis]
Figure 2012015813

［Ｙ軸周りの回転］

Figure 2012015813
[Rotation around Y axis]
Figure 2012015813

［Ｚ軸周りの回転］

Figure 2012015813
[Rotation around the Z axis]
Figure 2012015813

次に、制御部２７は、処理対象のカメラの種類を判別する。カメラが魚眼カメラの場合、制御部２７は、魚眼カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算により実行される。   Next, the control unit 27 determines the type of camera to be processed. When the camera is a fish-eye camera, the control unit 27 converts the flow line coordinates (Xz, Yz, Zz) from the world coordinate system to the camera image coordinate system using the parameters of the fish-eye camera. This process is executed by the following calculation.

先ず、Ｘｄ＝ｒcosｔ：Ｙｄ＝ｒsinｔとする。   First, Xd = rcost: Yd = rsint.

ただし、Ｙｚ≧０のとき、

Figure 2012015813
However, when Yz ≧ 0,
Figure 2012015813

Ｙｚ＜０のとき、

Figure 2012015813
When Yz <0,
Figure 2012015813

である。ここで、上記ｒの値を、下記数式のニュートン法を用いて求める。

Figure 2012015813
It is. Here, the value of r is obtained using the Newton method of the following mathematical formula.
Figure 2012015813

なお、この数式において、初期値ｒ0を0.0、目標値をθとする。また、｜ｒn+1−ｒｎ｜＜0.01で収束したとみなす。その時点でのｒの値を使用する。 In this equation, the initial value r 0 is 0.0 and the target value is θ. In addition, it is considered that convergence is achieved when | r n + 1 −r n | <0.01. The value of r at that time is used.

一方、カメラが全方位カメラの場合は、制御部２７は、全方位カメラのパラメータを使って、動線座標（Ｘｚ，Ｙｚ，Ｚｚ）を世界座標系からカメラ画像座標系に変換する。この処理は、次の演算式により実行される。

Figure 2012015813
On the other hand, when the camera is an omnidirectional camera, the control unit 27 converts the flow line coordinates (Xz, Yz, Zz) from the world coordinate system to the camera image coordinate system using the parameters of the omnidirectional camera. This process is executed by the following arithmetic expression.
Figure 2012015813

こうして、動線座標を世界座標系からカメラ画像座標系に変換したならば、制御部２７は、変換後の座標（Ｘｄ，Ｙｄ）をカメラ画像座標系の原点に平行移動する。この処理は、次の演算式により実行される。

Figure 2012015813
When the flow line coordinates are thus converted from the world coordinate system to the camera image coordinate system, the control unit 27 translates the converted coordinates (Xd, Yd) to the origin of the camera image coordinate system. This process is executed by the following arithmetic expression.
Figure 2012015813

以上の処理を実行することにより、動線座標がカメラ画像系の座標に変換される。   By executing the above processing, the flow line coordinates are converted into the coordinates of the camera image system.

上記変換処理にしたがって、二次元座標（Ｘｆ，Ｙｆ）がカメラ画像系の座標に変換されたならば、制御部２７は、カメラ画像座標テーブル６１から各カメラＣＡ１〜ＣＡ６の画像中心座標（Ｓｘ１，Ｓｙ１），（Ｓｘ２，Ｓｙ２），（Ｓｘ３，Ｓｙ３），（Ｓｘ４，Ｓｙ４），（Ｓｘ５，Ｓｙ５），（Ｓｘ６，Ｓｙ６）を読み込む。そして、これらの画像中心座標とカメラ画像系の二次元座標とから、第２の実施形態と同様の演算式で各カメラＣＡ１〜ＣＡ６の画像中心地点から二次元座標（Ｘｆ，Ｙｆ）の地点までの距離ｄr1〜ｄr6を算出する（ＳＴ２２）。   If the two-dimensional coordinates (Xf, Yf) are converted into the coordinates of the camera image system in accordance with the conversion processing, the control unit 27 reads the image center coordinates (Sx1, Sx1, CA6) of the cameras CA1 to CA6 from the camera image coordinate table 61. Sy1), (Sx2, Sy2), (Sx3, Sy3), (Sx4, Sy4), (Sx5, Sy5), (Sx6, Sy6) are read. Then, from these image center coordinates and the two-dimensional coordinates of the camera image system, from the image center point of each camera CA1 to CA6 to the point of the two-dimensional coordinates (Xf, Yf) by the same calculation formula as in the second embodiment. The distances dr1 to dr6 are calculated (ST22).

以後の処理手順は、第２の実施形態と同様である。すなわち制御部２７は、距離ｄr1〜ｄr6を、該当するカメラＩＤと結び付けて順位ワークメモリ５２に書き込む。そして制御部２７は、順位ワークメモリ５２に記憶されたデータを、距離が短いほど順位が上位となるように並べ替える（ＳＴ２３）。   The subsequent processing procedure is the same as in the second embodiment. That is, the control unit 27 writes the distances dr1 to dr6 in the order work memory 52 in association with the corresponding camera ID. And the control part 27 rearranges the data memorize | stored in the order | rank work memory 52 so that a rank may become a high rank, so that distance is short (ST23).

制御部２７は、順位ワークメモリ５２から、上位３位までのカメラＩＤを読み出して、これらのカメラＩＤでそれぞれ特定される３つのカメラを表示カメラとして選択する（ＳＴ２４：カメラ選択手段）。そして、選択された３つの表示カメラについて、それぞれデータ記憶部２５から撮影時刻Ｔｆのフレーム画像データを抽出する（ＳＴ１２）。しかる後、制御部２７は、動線表示画面４０の各カメラ画像エリア４２，４３，４４に、それぞれ抽出したフレーム画像データのカメラ画像を表示させる（ＳＴ１３：カメラ画像表示手段）。また、制御部２７は、表示動線データの始点フレームからｆ番目のフレームまでの各インデックスデータにより、動線表示画面４０の動線表示エリア４１に動線を表示させる（ＳＴ１４：動線表示手段）。その後、制御部２７は、ステップＳＴ８の処理に戻る。   The control unit 27 reads the camera IDs of the top three from the order work memory 52, and selects three cameras respectively identified by these camera IDs as display cameras (ST24: camera selection means). Then, for each of the selected three display cameras, frame image data at the photographing time Tf is extracted from the data storage unit 25 (ST12). Thereafter, the control unit 27 displays the camera images of the extracted frame image data in the camera image areas 42, 43, and 44 of the flow line display screen 40 (ST13: camera image display means). Further, the control unit 27 displays a flow line in the flow line display area 41 of the flow line display screen 40 by each index data from the start point frame of the display flow line data to the f-th frame (ST14: flow line display means). ). Then, the control part 27 returns to the process of step ST8.

第３の実施形態においても、動線表示装置２は、動線表示エリア４１に表示される買物客の動線に同期して、その動線の先端、すなわち買物客が居る地点に対して距離の近い順に３つのカメラを自動的に選択し、その選択したカメラの画像をカメラ画像エリア４２，４３，４４に表示させる。したがって、第１及び第２の実施形態と同様の作用効果を奏し得る。   Also in the third embodiment, the flow line display device 2 is synchronized with the flow line of the shopper displayed in the flow line display area 41 and is at a distance from the tip of the flow line, that is, the point where the shopper is located. The three cameras are automatically selected in the order of close to each other, and the images of the selected cameras are displayed in the camera image areas 42, 43, and 44. Therefore, the same operational effects as those of the first and second embodiments can be obtained.

因みに、第２の実施形態では、動線の先端地点を示す世界座標系の二次元座標とカメラの取付位置を示す世界座標系のカメラ位置座標とから、カメラ取付地点から動線先端地点までの距離を計測し、表示カメラを選択している。したがって、レンズを天井から真下に向けてカメラを取り付ける直下設置方式の場合に好適である。   Incidentally, in the second embodiment, from the two-dimensional coordinates of the world coordinate system indicating the tip of the flow line and the camera position coordinates of the world coordinate system indicating the attachment position of the camera, from the camera attachment point to the flow line tip point. The distance is measured and the display camera is selected. Therefore, it is suitable for the direct installation system in which the camera is mounted with the lens facing directly below the ceiling.

これに対して、レンズを斜め方向に向けてカメラを取り付ける斜視設置方式の場合は、世界座標系による距離計算では信憑性が落ちる。このような場合には、第３の実施形態のように、動線の先端位置を示す二次元座標を世界座標系からカメラ画像座標系に変換してから、カメラ画像座標系による距離計算を行う。そして、距離の短いカメラを表示カメラとして選択することによって、動線先端地点について鮮明度の高い画像を得ることができる。   On the other hand, in the case of the perspective installation method in which the camera is mounted with the lens directed obliquely, the credibility is reduced in the distance calculation by the world coordinate system. In such a case, as in the third embodiment, the two-dimensional coordinate indicating the tip position of the flow line is converted from the world coordinate system to the camera image coordinate system, and then distance calculation is performed using the camera image coordinate system. . Then, by selecting a camera with a short distance as the display camera, it is possible to obtain an image with high definition at the flow line tip point.

以上説明したように各実施形態によれば、移動体が撮影されているカメラ画像を探し出すのにユーザが要する手間と時間を、大幅に軽減することができる。この効果は、監視領域が拡大されてカメラの台数が増加すればするほど顕著なものとなる。   As described above, according to each embodiment, it is possible to greatly reduce the labor and time required for the user to find a camera image in which a moving object is photographed. This effect becomes more prominent as the monitoring area is expanded and the number of cameras is increased.

なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。   The present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.

例えば、前記第１の実施形態では、エリア別表示カメラ定義テーブル３２を作成する際に、該当する区画を撮影した画像の例えば鮮明度が高い順に上位３位までのカメラを選択してテーブル３２に設定したが、カメラの選択条件は、鮮明度に限定されるものではない。例えば、該当する区画までの距離が短いカメラを選択してもよい。また、カメラの選択数は、動線表示画面４０に確保されているカメラ画像エリアの数に一致していなくてもよい。例えば鮮明度の高いカメラが２つしか存在しない場合には、その２つのカメラのカメラＩＤをエリア別表示カメラ定義テーブル３２設定して、該当する区画に動線先端が位置しているときにはその２つのカメラの画像をカメラ画像エリアに表示させるようにしてもよい。   For example, in the first embodiment, when the area-specific display camera definition table 32 is created, the top three cameras in the descending order of, for example, the images obtained by photographing the corresponding sections are selected and stored in the table 32. Although set, the camera selection condition is not limited to sharpness. For example, a camera having a short distance to the corresponding section may be selected. Further, the number of selected cameras may not match the number of camera image areas secured in the flow line display screen 40. For example, when there are only two cameras with high definition, the camera IDs of the two cameras are set in the display camera definition table 32 by area, and when the tip of the flow line is located in the corresponding section, the second is set. Images from two cameras may be displayed in the camera image area.

また、第２及び第３の実施形態では、距離ｄｒが短い上位３位までのカメラを表示カメラとして選択したが、予めしきい値を設定し、距離ｄｒがしきい値より長い場合は、たとえ上位３位に入っていても選択しないようにしてもよい。   In the second and third embodiments, the top three cameras with the short distance dr are selected as display cameras. However, if a threshold is set in advance and the distance dr is longer than the threshold, Even if you are in the top three, you may not select.

また、各実施形態では、発明を実施する機能を実現させるためのプログラムが装置内部に予め記録されている場合で説明をしたが、これに限らず同様のプログラムをネットワークから装置にダウンロードしても良いし、同様のプログラムを記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。   In each embodiment, a case has been described in which a program for realizing a function for carrying out the invention is recorded in advance in the apparatus. However, the present invention is not limited to this, and a similar program may be downloaded from the network to the apparatus. Alternatively, a similar program stored in a recording medium may be installed in the apparatus. The recording medium may be any form as long as the recording medium can store the program and can be read by the apparatus, such as a CD-ROM. In addition, the function obtained by installing or downloading in advance may be realized in cooperation with an OS (operating system) inside the apparatus.

この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。   In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, the constituent elements over different embodiments may be combined.

１…動線認識装置、２…動線表示装置、１１…カメラコントロール部、１２…カメラ画像データベース、１３…動線生成部、１４…動線データベース、２１…入力部、２２…表示部、２３…データベースアクセス部、２４…プログラム記憶部、２５…データ記憶部、２６…テーブル記憶部、２７…制御部、３１…エリア設定テーブル、３２…エリア別表示カメラ定義テーブル、４０…動線表示画面、５１…カメラ位置設定テーブル、５２…順位ワークメモリ、６１…カメラ画像座標テーブル。   DESCRIPTION OF SYMBOLS 1 ... Flow line recognition apparatus, 2 ... Flow line display apparatus, 11 ... Camera control part, 12 ... Camera image database, 13 ... Flow line production | generation part, 14 ... Flow line database, 21 ... Input part, 22 ... Display part, 23 ... database access unit, 24 ... program storage unit, 25 ... data storage unit, 26 ... table storage unit, 27 ... control unit, 31 ... area setting table, 32 ... display camera definition table for each area, 40 ... flow line display screen, 51 ... Camera position setting table, 52 ... Order work memory, 61 ... Camera image coordinate table.

Claims (8)

監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体毎の動線データを記憶する動線データベースから表示対象として選択された移動体の前記動線データを取得する動線データ取得手段と、
この動線データ取得手段により取得した動線データで前記移動体の始点から終点まで移動経路を示す動線を表示する動線表示手段と、
この動線表示手段により表示される動線の先端の位置情報を基準に前記複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択するカメラ選択手段と、
このカメラ選択手段により選択されたカメラの撮影画像を前記動線表示手段により表示される動線と同期させて表示するカメラ画像表示手段と、
を具備したことを特徴とする動線表示装置。 The flow line data of a moving body selected as a display target is acquired from a flow line database that stores flow line data for each moving body generated from each captured image of a plurality of cameras arranged with a monitoring area as a shooting target. Flow line data acquisition means;
A flow line display means for displaying a flow line indicating a movement path from the start point to the end point of the moving body with the flow line data acquired by the flow line data acquisition means;
Camera selection means for selecting a certain number of cameras less than the number of cameras from the plurality of cameras based on positional information on the tip of the flow line displayed by the flow line display means;
Camera image display means for displaying a captured image of the camera selected by the camera selection means in synchronization with the flow line displayed by the flow line display means;
A flow line display device comprising: 前記監視領域を区分した区分領域毎に、少なくともその区分領域を撮影可能な前記一定数以下のカメラの識別情報を記憶するエリア別表示カメラ定義テーブル、をさらに具備し、
前記カメラ選択手段は、前記位置情報から前記動線の先端が位置する前記区分領域を検出し、この検出された区分領域に結び付けられて前記領域別カメラ定義テーブルで記憶される前記一定数以下の識別情報で識別されるカメラを選択することを特徴とする請求項１記載の動線表示装置。 For each divided area into which the monitoring area is divided, an area-by-area display camera definition table that stores identification information of at least the predetermined number of cameras capable of photographing the divided area,
The camera selection means detects the segmented region where the tip of the flow line is located from the position information, and is linked to the detected segmented region and stored in the region-specific camera definition table. 2. The flow line display device according to claim 1, wherein a camera identified by the identification information is selected. 前記複数のカメラ毎に、そのカメラが配置されている各位置の世界座標系の座標情報を記憶するカメラ位置設定テーブル、をさらに具備し、
前記カメラ選択手段は、前記位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、この動線先端の座標情報と前記カメラ位置設定テーブルに記憶されている各カメラの座標情報とからカメラ毎にその配置位置から前記動線の先端地点までの距離を算出し、距離の短い順に前記一定数以下のカメラを選択することを特徴とする請求項１記載の動線表示装置。 A camera position setting table for storing coordinate information of the world coordinate system of each position where the camera is arranged for each of the plurality of cameras;
The camera selection means acquires coordinate information of the world coordinate system where the tip of the flow line is located from the position information, and coordinate information of the camera stored in the camera position setting table. 2. The flow line display device according to claim 1, wherein a distance from the arrangement position to the tip end point of the flow line is calculated for each camera from the information, and the predetermined number of cameras or less are selected in order of increasing distance. . 前記複数のカメラ毎に、そのカメラの画像中心座標の情報を記憶するカメラ画像座標テーブル、をさらに具備し、
前記カメラ選択手段は、前記位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、この座標情報を前記世界座標系から前記カメラの画像座標系に変換し、画像座標系に変換された動線先端の座標情報と前記カメラ画像座標テーブルに記憶されている各カメラの画像中心座標の情報とからカメラ毎にその画像中心地点から前記動線の先端地点までの距離を算出し、距離の短い順に前記一定数以下のカメラを選択することを特徴とする請求項１記載の動線表示装置。 For each of the plurality of cameras, further comprising a camera image coordinate table that stores information of image center coordinates of the camera,
The camera selection means acquires coordinate information of the world coordinate system where the tip of the flow line is located from the position information, converts the coordinate information from the world coordinate system to the image coordinate system of the camera, and the image coordinate system The distance from the image center point to the tip end point of the flow line is calculated for each camera from the coordinate information of the flow line tip converted into the information and the image center coordinate information of each camera stored in the camera image coordinate table. The flow line display device according to claim 1, wherein the number of cameras equal to or less than the predetermined number is selected in order of increasing distance. 監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体の動線データにより、前記移動体の始点から終点まで移動経路を示す動線を表示装置が表示する方法であって、
前記表示装置が、前記監視領域を区分した区分領域毎に、少なくともその区分領域を撮影可能な一定数以下のカメラの識別情報を予め記憶し、
前記表示装置が、表示する動線の先端の位置情報から当該先端が位置する前記区分領域を検出し、
前記表示装置が、この検出された区分領域に結び付けられて記憶される前記一定数以下の識別情報で識別されるカメラを選択し、
前記表示装置が、この選択されたカメラの撮影画像を前記動線と同期させて表示することを特徴とする動線表示方法。 A method in which a display device displays a flow line indicating a movement path from a start point to an end point of the moving body based on flow line data of the moving body generated from captured images of a plurality of cameras arranged with a monitoring area as an imaging target. There,
The display device stores in advance, for each divided area into which the monitoring area is divided, at least a predetermined number of cameras that can shoot the divided area, and identification information of the cameras,
The display device detects the segmented region where the tip is located from the position information of the tip of the flow line to be displayed,
The display device selects a camera identified by the identification information of a certain number or less stored in association with the detected segmented area,
The flow line display method, wherein the display device displays a photographed image of the selected camera in synchronization with the flow line. 監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体の動線データにより、前記移動体の始点から終点まで移動経路を示す動線を表示装置が表示する方法であって、
前記表示装置が、前記複数のカメラ毎に、そのカメラが配置されている各位置の世界座標系の座標情報を予め記憶し、
前記表示装置が、表示する動線の先端の位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、
前記表示装置が、前記動線の先端の座標情報と予め記憶している各カメラの座標情報とから、カメラ毎にその配置位置から前記動線の先端地点までの距離を算出して、距離の短い順に前記一定数以下のカメラを選択し、
前記表示装置が、この選択されたカメラの撮影画像を前記動線と同期させて表示することを特徴とする動線表示方法。 A method in which a display device displays a flow line indicating a movement path from a start point to an end point of the moving body based on flow line data of the moving body generated from captured images of a plurality of cameras arranged with a monitoring area as an imaging target. There,
For each of the plurality of cameras, the display device stores in advance coordinate information of the world coordinate system at each position where the camera is disposed,
The display device acquires coordinate information of the world coordinate system where the tip of the flow line is located from the position information of the tip of the flow line to be displayed,
The display device calculates the distance from the arrangement position to the tip of the flow line for each camera from the coordinate information of the tip of the flow line and the coordinate information of each camera stored in advance. Select less than a certain number of cameras in the short order,
The flow line display method, wherein the display device displays a photographed image of the selected camera in synchronization with the flow line. 監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体の動線データにより、前記移動体の始点から終点まで移動経路を示す動線を表示装置が表示する方法であって、
前記表示装置が、複数のカメラ毎に、そのカメラの画像中心座標の情報を予め記憶し、
前記表示装置が、表示する動線の先端の位置情報から前記動線の先端が位置する世界座標系の座標情報を取得し、
前記表示装置が、前記動線の先端が位置する座標情報を前記世界座標系から前記カメラの画像座標系に変換し、
前記表示装置が、前記画像座標系に変換された動線先端の座標情報と予め記憶している各カメラの画像中心座標の情報とから、カメラ毎にその画像中心地点から前記動線の先端地点までの距離を算出して、距離の短い順に前記一定数以下のカメラを選択し、
前記表示装置が、この選択されたカメラの撮影画像を前記動線と同期させて表示することを特徴とする動線表示方法。 A method in which a display device displays a flow line indicating a movement path from a start point to an end point of the moving body based on flow line data of the moving body generated from captured images of a plurality of cameras arranged with a monitoring area as an imaging target. There,
For each of the plurality of cameras, the display device stores in advance information on the image center coordinates of the cameras,
The display device acquires coordinate information of the world coordinate system where the tip of the flow line is located from the position information of the tip of the flow line to be displayed,
The display device converts the coordinate information where the tip of the flow line is located from the world coordinate system to the image coordinate system of the camera,
From the coordinate information of the flow line tip converted into the image coordinate system and the information of the image center coordinate of each camera stored in advance, the display device from the image center point to the tip point of the flow line for each camera. To select the cameras below the certain number in order from the shortest distance,
The flow line display method, wherein the display device displays a photographed image of the selected camera in synchronization with the flow line. 移動体の始点から終点まで移動経路を示す動線を表示するコンピュータに、
監視領域を撮影対象として配置された複数のカメラの各撮影画像から生成される移動体毎の動線データを記憶する動線データベースから表示対象として選択された移動体の前記動線データを取得させる機能、
取得した動線データで前記移動体の始点から終点まで移動経路を示す動線を表示部に表示させる機能、
前記表示部に表示される動線の先端の位置情報を基準に前記複数のカメラのなかからそのカメラ台数より少ない一定数以下のカメラを選択させる機能、及び
選択されたカメラの撮影画像を前記動線と同期させて表示部に表示させる機能、
を実現させるためのプログラム。 To the computer that displays the flow line showing the movement path from the start point to the end point
The flow line data of a moving body selected as a display target is acquired from a flow line database that stores flow line data for each moving body generated from each captured image of a plurality of cameras arranged with a monitoring area as a shooting target. function,
A function for displaying a flow line indicating a movement route from the start point to the end point of the moving object on the display unit in the acquired flow line data;
A function of selecting a certain number of cameras less than the number of cameras from the plurality of cameras based on positional information on the tip of the flow line displayed on the display unit, and a captured image of the selected camera Function to display on the display unit in sync with the line,
A program to realize
JP2010150483A 2010-06-30 2010-06-30 Flow line display apparatus and method Expired - Fee Related JP5771367B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010150483A JP5771367B2 (en) 2010-06-30 2010-06-30 Flow line display apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010150483A JP5771367B2 (en) 2010-06-30 2010-06-30 Flow line display apparatus and method

Publications (2)

Publication Number Publication Date
JP2012015813A true JP2012015813A (en) 2012-01-19
JP5771367B2 JP5771367B2 (en) 2015-08-26

Family

ID=45601712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010150483A Expired - Fee Related JP5771367B2 (en) 2010-06-30 2010-06-30 Flow line display apparatus and method

Country Status (1)

Country Link
JP (1) JP5771367B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104572A (en) * 2002-09-11 2004-04-02 Bank Of Tokyo-Mitsubishi Ltd Method and system for controlling monitoring camera, program for making computer implement monitoring camera controlling method, and recording medium with the program recorded thereon
JP2006202062A (en) * 2005-01-20 2006-08-03 Toshiba Corp Facility monitoring system
JP2006332754A (en) * 2005-05-23 2006-12-07 Fujitsu Ltd Image distribution method, image distribution apparatus, event detection apparatus, and image browsing operation terminal
JP2008099248A (en) * 2006-10-13 2008-04-24 Fuji Xerox Co Ltd Interface apparatus for providing display video from multiple fixed-position cameras, method for providing interface and display of the video, and program
JP2009010734A (en) * 2007-06-28 2009-01-15 Toshiba Tec Corp Traffic line display apparatus, method, and program
JP2009110408A (en) * 2007-10-31 2009-05-21 Toshiba Tec Corp Moving route editing apparatus and moving route editing program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104572A (en) * 2002-09-11 2004-04-02 Bank Of Tokyo-Mitsubishi Ltd Method and system for controlling monitoring camera, program for making computer implement monitoring camera controlling method, and recording medium with the program recorded thereon
JP2006202062A (en) * 2005-01-20 2006-08-03 Toshiba Corp Facility monitoring system
JP2006332754A (en) * 2005-05-23 2006-12-07 Fujitsu Ltd Image distribution method, image distribution apparatus, event detection apparatus, and image browsing operation terminal
JP2008099248A (en) * 2006-10-13 2008-04-24 Fuji Xerox Co Ltd Interface apparatus for providing display video from multiple fixed-position cameras, method for providing interface and display of the video, and program
JP2009010734A (en) * 2007-06-28 2009-01-15 Toshiba Tec Corp Traffic line display apparatus, method, and program
JP2009110408A (en) * 2007-10-31 2009-05-21 Toshiba Tec Corp Moving route editing apparatus and moving route editing program

Also Published As

Publication number Publication date
JP5771367B2 (en) 2015-08-26

Similar Documents

Publication Publication Date Title
JP6540108B2 (en) Image generation method, system, device, and terminal
US10674142B2 (en) Optimized object scanning using sensor fusion
US8896535B2 (en) Image processing apparatus and method, and program therefor
US20160357491A1 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
JP6587489B2 (en) Image processing apparatus, image processing method, and image processing system
JP5613741B2 (en) Image processing apparatus, method, and program
US20170076491A1 (en) Operation support method, operation support program, and operation support system
US9007399B2 (en) Information processing apparatus and method for generating image of virtual space
US20210329175A1 (en) Image processing system, image processing method, and program
JP2010086336A (en) Image control apparatus, image control program, and image control method
JP2012244196A (en) Image processing apparatus and method
JP2016224919A (en) Data browsing device, data browsing method, and program
JP5771367B2 (en) Flow line display apparatus and method
JP5930808B2 (en) Image processing apparatus, image processing apparatus control method, and program
WO2013183738A1 (en) Information processing device, information processing method, program, and surveillance camera system
JP5876121B2 (en) Image processing apparatus, method, and program
US20220309682A1 (en) Object tracking apparatus, object tracking method, and program
JP6112436B1 (en) MONITORING SYSTEM, VIDEO DISPLAY METHOD, AND COMPUTER PROGRAM
WO2019064755A1 (en) Processing program, processing method, and processing device
JP7261261B2 (en) Information processing device, switching system, program and method
JP5849762B2 (en) Prediction information presentation system, prediction information presentation device, prediction information presentation method, and prediction information presentation program
CN108293107A (en) Display processing unit, display processing method and the computer-readable medium for executing display processing method
JP2018107651A (en) Imaging apparatus
JP2005098927A (en) Mobile unit detecting apparatus, mobile unit detecting method, and mobile unit detecting program
JP6400110B2 (en) Cursor control device and cursor control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130305

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131217

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R150 Certificate of patent or registration of utility model

Ref document number: 5771367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees