JP2011081567A

JP2011081567A - Image capturing system

Info

Publication number: JP2011081567A
Application number: JP2009232786A
Authority: JP
Inventors: Xiaolin Zhang; 暁林張; Takeshi Kobayashi; 剛小林; Toru Murase; 亨村瀬; Masahiro Moriguchi; 雅弘森口
Original assignee: Sumitomo Electric Industries Ltd; Tokyo Institute of Technology NUC
Current assignee: Sumitomo Electric Industries Ltd; Tokyo Institute of Technology NUC
Priority date: 2009-10-06
Filing date: 2009-10-06
Publication date: 2011-04-21

Abstract

<P>PROBLEM TO BE SOLVED: To accurately detect the location and size of a tracking object. <P>SOLUTION: An image capturing system provided to an intersection includes: an overall view imaging unit which images a pedestrian moving in the intersection; a tracking object specifying unit which specifies the pedestrian as a tracking object from the imaging data of the overall view imaging unit based on predetermined conditions; a plurality of specific object imaging units which have image sensors with higher pixel density than the pixel density of the image sensors of the overall view imaging unit and image the tracking object while tracking; and a risk state decision unit which determines whether the tracking object be in high risk state having high risk of accident or not based on the imaging data of the specific object imaging units. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、交差点に設けられる撮像システムに関する。より詳しくは、交差点内および交差点周辺を移動する複数の対象のうちの特定の対象を追跡しながら撮像する撮像システムに関する。 The present invention relates to an imaging system provided at an intersection. More specifically, the present invention relates to an imaging system that captures an image while tracking a specific object among a plurality of objects moving in and around an intersection.

交差点を走行する車両の運転者を支援する交差点運転支援システムが知られている（例えば特許文献１参照）。このようなシステムでは、自車両の前方および側方を撮像した画像から移動体を検出して当該移動体の危険度に応じて車両の運転者に通知または警報を行うことにより、交差点を走行する際の安全性を高めることができる。 An intersection driving support system that supports a driver of a vehicle traveling at an intersection is known (for example, see Patent Document 1). In such a system, the vehicle travels at an intersection by detecting a moving body from images obtained by capturing the front and side of the host vehicle and notifying or warning the vehicle driver according to the risk of the moving body. Safety can be improved.

特開２００２−３５２３９４号公報JP 2002-352394 A

しかしながら、特許文献１に記載されたシステムでは、車両前方および車両側方にそれぞれ1台ずつ設けられた撮像装置により移動体を検知することから、移動体の位置および大きさを正確に検出することが難しかった。また、移動体の大きさが急に変化した場合、例えば、車両前方を横断中の歩行者が倒れたり、あるいは蹲ったりした場合は、事故に至る危険性が極めて高い状態となるが、このような移動体の大きさの変化についても正確に検出することができなかった。また、移動体の大きさなどの検出精度を高めるために撮像装置の解像度を上げると、撮像される画像のデータが大きくなり、それに伴って移動体の検出処理による負荷も大きくなることが課題であった。 However, in the system described in Patent Document 1, since the moving body is detected by the imaging devices provided one by one in front of the vehicle and the side of the vehicle, the position and size of the moving body can be accurately detected. It was difficult. In addition, when the size of the moving body changes suddenly, for example, when a pedestrian crossing the front of the vehicle falls or hits, the risk of an accident is extremely high. It was not possible to accurately detect changes in the size of a moving object. In addition, if the resolution of the imaging device is increased in order to increase the detection accuracy such as the size of the moving body, the image data to be captured increases, and the load due to the detection processing of the moving body increases accordingly. there were.

上記課題を解決することを目的として、本発明は、交差点に設けられる撮像システムであって、前記交差点内を移動する歩行者を撮像する全体視撮像部と、
予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象とすべき前記歩行者を特定する追跡対象特定部と、前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、
前記特定対象撮像部の撮像データに基づいて、前記追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する危険状態判定部と、
を備えることを特徴とする撮像システムを提供する。 In order to solve the above problems, the present invention is an imaging system provided at an intersection, an overall imaging unit that images a pedestrian moving in the intersection,
Based on a predetermined condition, a tracking target specifying unit that specifies the pedestrian to be tracked from the imaging data of the overall imaging unit, and a pixel higher than the pixel density in the imaging device of the overall imaging unit A plurality of specific target imaging units that have an image sensor of a density and that capture images while tracking the tracking target;
Based on the imaging data of the specific target imaging unit, a dangerous state determination unit that determines whether or not the tracking target is a dangerous state with a high risk of encountering an accident,
An imaging system is provided.

このような撮像システムによれば、交差点内および交差点周辺を移動する一または複数の歩行者を全体視撮像部で撮像するとともに、その撮像データから例えば移動速度および移動方向などの条件に基づいて特定された歩行者を追跡対象として複数の特定対象撮像部で追跡しながら撮像することができる。したがって、追跡対象である歩行者の位置だけでなく、当該歩行者の姿勢の変化などを高い精度で検出することができる。したがって、当該歩行者が交差点内で倒れたり、あるいは蹲るなど危険な状態に至ったことを早期に発見することができる。また、全体視撮像部の撮像素子における画素密度は、特定対象撮像部の撮像素子における画素密度よりも低いので、交差点内外の撮像データから複数の対象を検出する際の検出処理の負荷を抑えることができる。 According to such an imaging system, one or a plurality of pedestrians moving in and around the intersection are imaged by the overall imaging unit and specified from the imaging data based on conditions such as the moving speed and the moving direction, for example. The captured pedestrian can be imaged while being tracked by a plurality of specific target imaging units. Therefore, it is possible to detect not only the position of the pedestrian to be tracked but also a change in the posture of the pedestrian with high accuracy. Therefore, it is possible to detect at an early stage that the pedestrian has fallen into a dangerous state such as falling or hitting in an intersection. In addition, since the pixel density of the image pickup device of the overall image pickup unit is lower than the pixel density of the image pickup device of the specific target image pickup unit, it is possible to suppress the load of detection processing when detecting a plurality of targets from image data inside and outside the intersection. Can do.

また、上記撮像システムにおいて、前記追跡対象特定部は、複数の前記歩行者を移動方向に基づいてグループに分類し、前記グループの最後尾の前記歩行者を前記追跡対象とすることが好ましい。また、上記撮像システムにおいて、前記追跡対象特定部は、前記交差点内で立ち止まった前記歩行者を前記追跡対象としてもよい。 In the imaging system, it is preferable that the tracking target specifying unit classifies a plurality of the pedestrians into groups based on a moving direction, and sets the last pedestrian in the group as the tracking target. Moreover, the said imaging system WHEREIN: The said tracking object specific | specification part is good also considering the said pedestrian who stopped in the said intersection as the said tracking object.

これにより、危険な状態に至る可能性のより高い歩行者を追跡対象とすることができる。 Thereby, a pedestrian who is more likely to reach a dangerous state can be set as a tracking target.

また、上記撮像システムにおいて、前記危険状態判定部は、前記特定対象撮像部の撮像データから前記追跡対象の姿勢の変化を検出し、交差点内で倒れているか、または蹲っている前記追跡対象を前記危険状態であると判定することが好ましい。 Further, in the imaging system, the dangerous state determination unit detects a change in the posture of the tracking target from the imaging data of the specific target imaging unit, and the tracking target that has fallen or is lying in an intersection is detected as the tracking target. It is preferable to determine that the state is dangerous.

これにより、交差点内において事故の危険性が高まった歩行者を他の歩行者から識別することができる。 Thereby, the pedestrian who increased the risk of the accident in the intersection can be identified from other pedestrians.

また、上記撮像システムは、前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して前記危険状態判定部へと出力する信号情報取得部をさらに備え、前記危険状態判定部は、前記信号情報取得部からの前記信号情報が、歩行者が横断不可であることを前記歩行者用信号が示す場合、又は、自動車が通行可能であることを前記自動車用信号が示す場合に、前記交差点内の前記歩行者を前記危険状態であると判定してもよい。 In addition, the imaging system acquires signal information indicating a lighting state of at least one of a pair of pedestrian signals and automobile signals installed at the intersection, and outputs the signal information to the dangerous state determination unit The danger state determination unit is configured such that the signal information from the signal information acquisition unit indicates that the pedestrian signal indicates that the pedestrian cannot cross or the vehicle is allowed to pass. May be determined that the pedestrian in the intersection is in the dangerous state.

これにより、例えば歩行者用信号が赤になっても交差点内に残っている歩行者など、事故に遭う可能性の高い歩行者を他の歩行者から識別することができる。 Thereby, for example, a pedestrian who is likely to encounter an accident, such as a pedestrian who remains in an intersection even when the pedestrian signal turns red, can be identified from other pedestrians.

また、上記撮像システムは、前記危険状態判定部が前記交差点内の前記歩行者を前記危険状態であると判定したことに応じて、前記自動車用信号を、自動車が通行不可であることを示す点灯状態とする信号情報制御部をさらに備えることが好ましい。 In addition, the imaging system may light the vehicle signal indicating that the vehicle is not allowed to pass in response to the danger state determination unit determining that the pedestrian in the intersection is in the dangerous state. It is preferable to further include a signal information control unit for setting the state.

これにより、歩行者用信号が赤になったときに交差点内に歩行者が残っている場合でも、当該歩行者を保護することができる。 Thereby, even when a pedestrian remains in the intersection when the pedestrian signal turns red, the pedestrian can be protected.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

本発明の実施形態に係る撮像システム１００が設けられた交差点５００を上方から見た図である。It is the figure which looked at the intersection 500 where the imaging system 100 which concerns on embodiment of this invention was provided from upper direction. 撮像システム１００の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an imaging system 100. FIG. 撮像システム１００による歩行者の追跡撮像の動作フローである。3 is an operation flow of tracking imaging of a pedestrian by the imaging system 100. コンピュータ１０００のハードウェア構成の一例を示す。2 shows an example of a hardware configuration of a computer 1000.

以下、添付図面に基づいて本発明の一実施形態について説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態における特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings. However, the following embodiment does not limit the invention according to the claims, and all combinations of features in the embodiment are based on the invention. It is not always essential to the solution.

図1は、本発明の実施形態に係る撮像システム１００が設けられた交差点５００を上方から見た図である。また、図２は、撮像システム１００の構成を示すブロック図である。本実施形態に係る撮像システム１００は、交差点５００内およびその周辺を移動する歩行者や自動車などの複数の対象を撮像するとともに、例えば撮像した複数の歩行者から特定の歩行者を選択して追跡撮像し、事故に遭う危険性の高い状態（危険状態）にある歩行者を検出することのできるシステムである。 FIG. 1 is a view of an intersection 500 where an imaging system 100 according to an embodiment of the present invention is provided as viewed from above. FIG. 2 is a block diagram showing a configuration of the imaging system 100. The imaging system 100 according to the present embodiment images a plurality of objects such as pedestrians and automobiles moving in and around the intersection 500 and, for example, selects and tracks a specific pedestrian from the plurality of captured pedestrians. It is a system that can pick up an image and detect a pedestrian in a high risk state (dangerous state).

なお、撮像システム１００の説明のために例示する交差点５００は、図１の上下方向に自動車が対面通行可能な車道５１１と、図１の左右方向に自動車が対面通行可能な車道５１２とが交差する十字路型の交差点である。また、交差点５００には、車道５１１，５１２側方の歩道５２１，５２２，５２３，５２４間を横断するための横断歩道５３１，５３２，５３３，５３４が設けられている。 Note that an intersection 500 illustrated for explaining the imaging system 100 intersects a roadway 511 in which the automobile can pass in the up-down direction in FIG. 1 and a roadway 512 in which the automobile can pass in the left-right direction in FIG. It is a crossroad intersection. The intersection 500 is provided with pedestrian crossings 531, 532, 533, and 534 for crossing the sidewalks 521, 522, 523, and 524 on the sides of the roadways 511 and 512.

また、車道５１１，５１２の各横断歩道５３１〜５３４の手前側（交差点５００の中心から遠い側）には、自動車用信号５４１，５４２，５４３，５４４が設けられている。また、横断歩道５３１〜５３４の両側（歩道５２１〜５２４側）には、歩行者用信号５５１，５５２，５５３，５５４が設けられている。 In addition, automobile signals 541, 542, 543, and 544 are provided on the front side (the side far from the center of the intersection 500) of the pedestrian crossings 531 to 534 of the roadways 511 and 512. In addition, pedestrian signals 551, 552, 553, and 554 are provided on both sides of the pedestrian crossing 531 to 534 (on the side of the sidewalks 521 to 524).

例えば、歩道５２１から歩道５２２へと車道５１１を横断するための横断歩道５３１の手前側には、自動車用信号５４１が設けられている。また、横断歩道５３１の両側には、歩行者用信号５５１が設けられている。なお、自動車用信号５４１〜５４４および歩行者用信号５５１〜５５４は、いずれも路面から５〜１０ｍ程度の高さに設けられる。 For example, an automobile signal 541 is provided on the front side of the pedestrian crossing 531 for crossing the roadway 511 from the sidewalk 521 to the sidewalk 522. In addition, pedestrian signals 551 are provided on both sides of the pedestrian crossing 531. The automobile signals 541 to 544 and the pedestrian signals 551 to 554 are all provided at a height of about 5 to 10 m from the road surface.

例えば車道５１１を交差点５００に向けて移動する自動車６２１Ａ，６２１Ｂは、例えば自動車用信号５４１が青である場合は、そのまま交差点５００内に侵入することができるが、自動車用信号５４１が赤である場合は、横断歩道５３１の手前側に設けられた一時停止線より手前にて停車しなければならない。一方、歩行者６１１Ａ，６１１Ｂ，６１１Ｃ，６１１Ｄ，６１１Ｅは、歩行者用信号５５１が青である場合は、横断歩道５３１を横断できるが、歩行者用信号５５１が赤である場合は、横断することはできない。 For example, the automobiles 621A and 621B moving toward the intersection 500 along the road 511 can enter the intersection 500 as they are when the automobile signal 541 is blue, for example, but the automobile signal 541 is red. Must stop before the temporary stop line provided on the near side of the pedestrian crossing 531. On the other hand, pedestrians 611A, 611B, 611C, 611D, and 611E can cross the pedestrian crossing 531 when the pedestrian signal 551 is blue, but cross when the pedestrian signal 551 is red. I can't.

図１に示すように、本実施形態に係る撮像システム１００は、固定部１０５と、全体視撮像部１１０と、２台の特定対象撮像部１２０，１３０とを備える。固定部１０５は、車道５１１の両側に設けられた支柱部と当該支柱部に両端が固定された梁部によって構成される。全体視撮像部１１０および特定対象撮像部１２０，１３０は、固定部１０５の梁部に固定される。 As shown in FIG. 1, the imaging system 100 according to the present embodiment includes a fixing unit 105, a whole-view imaging unit 110, and two specific target imaging units 120 and 130. The fixed portion 105 includes a support portion provided on both sides of the roadway 511 and a beam portion having both ends fixed to the support portion. The whole-view imaging unit 110 and the specific target imaging units 120 and 130 are fixed to the beam portion of the fixing unit 105.

本例において、２台の特定対象撮像部１２０，１３０は、全体視撮像部１１０の両側に設けられる。また、全体視撮像部１１０および特定対象撮像部１２０，１３０は、いずれも車道５１１の路面から１０ｍ程度の高さに設置されることが好ましい。なお、全体視撮像部１１０および特定対象撮像部１２０，１３０の配置およびこれらを設置する路面からの高さは、本例に限られず、それぞれの撮像部の撮像対象および撮像範囲などにより適切に設定される。 In this example, the two specific target imaging units 120 and 130 are provided on both sides of the overall imaging unit 110. Moreover, it is preferable that the whole-view imaging unit 110 and the specific target imaging units 120 and 130 are both installed at a height of about 10 m from the road surface of the roadway 511. In addition, the arrangement of the whole-view imaging unit 110 and the specific target imaging units 120 and 130 and the height from the road surface on which these are installed are not limited to this example, and are appropriately set depending on the imaging target and imaging range of each imaging unit. Is done.

図２に示すように、撮像システム１００は、さらに、撮像データ取得部１４１，１４２と、動体識別部１５０と、追跡対象特定部１６０と、制御部１７０と、信号情報取得部１７５と、危険状態判定部１８０と、信号情報制御部１９０とを備える。 As illustrated in FIG. 2, the imaging system 100 further includes imaging data acquisition units 141 and 142, a moving object identification unit 150, a tracking target identification unit 160, a control unit 170, a signal information acquisition unit 175, and a dangerous state. A determination unit 180 and a signal information control unit 190 are provided.

全体視撮像部１１０は、交差点５００内およびその周辺（本例では全体視撮像部１１０から見て横断歩道５３１よりも向こう側の車道５１１上）を撮像可能なＣＣＤカメラ１１１、およびＣＣＤカメラ１１１による撮像データを記憶する画像記憶部１１２を有する。ＣＣＤカメラ１１１は、例えば画素数が３２０×２４０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。また、本例において、ＣＣＤカメラ１１１は、例えば固定部１０５に固定されており、その撮像範囲は一定である。なお、全体視撮像部１１０は、ＣＣＤカメラ１１１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有するカメラを有してもよい。 The overall image capturing unit 110 includes a CCD camera 111 and a CCD camera 111 that can image the intersection 500 and its vicinity (in this example, on the roadway 511 beyond the pedestrian crossing 531 when viewed from the overall image capturing unit 110). An image storage unit 112 that stores imaging data is included. The CCD camera 111 may be a CCD camera that has, for example, a CCD image sensor with 320 × 240 pixels as an imaging element and can capture the imaging range at a frame rate of 30 fps. In this example, the CCD camera 111 is fixed to the fixing unit 105, for example, and the imaging range is constant. Note that the overall image capturing unit 110 may include a camera having an image sensor of another type such as a CMOS image sensor instead of the CCD camera 111.

画像記憶部１１２は、ＣＣＤカメラ１１１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部１１２には、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。 The image storage unit 112 stores the image data captured by the CCD camera 111 at the frame rate in association with the imaging time. For the image storage unit 112, for example, a storage element such as a flash memory or a storage device such as a hard disk drive is used.

特定対象撮像部１２０は、全体視撮像部１１０が有するＣＣＤカメラ１１１の撮像範囲のうちの特定の範囲を拡大して撮像する光学ズーム機能を有するＣＣＤカメラ１２１、ＣＣＤカメラ１２１による撮像データを記憶する画像記憶部１２２、およびＣＣＤカメラ１２１を駆動する駆動部１２３を有する。また、特定対象撮像部１３０は、特定対象撮像部１２０のＣＣＤカメラ１２１、画像記憶部１２２、および駆動部１２３のそれぞれと同様の機能を有するＣＣＤカメラ１３１、画像記憶部１３２、および駆動部１３３を有する。 The specific target imaging unit 120 stores the image data captured by the CCD camera 121 and the CCD camera 121 having an optical zoom function for enlarging and imaging a specific range of the imaging range of the CCD camera 111 included in the overall imaging unit 110. An image storage unit 122 and a drive unit 123 that drives the CCD camera 121 are included. Further, the specific target imaging unit 130 includes a CCD camera 131, an image storage unit 132, and a driving unit 133 having the same functions as the CCD camera 121, the image storage unit 122, and the driving unit 123 of the specific target imaging unit 120, respectively. Have.

ＣＣＤカメラ１２１，１３１は、例えば画素数が６４０×４８０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。画像記憶部１２２は、ＣＣＤカメラ１２１によって上記フレームレートで撮像された撮像データを時系列で取得し、それぞれの撮像データを撮像時間に対応付けて記憶する。なお、特定対象撮像部１２０，１３０は、ＣＣＤカメラ１２１，１３１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有し、かつ所定の光学ズーム機能を有するカメラを有してもよい。 The CCD cameras 121 and 131 may be CCD cameras that have, for example, a CCD image sensor having a number of pixels of 640 × 480 as an imaging device and can capture the imaging range at a frame rate of 30 fps. The image storage unit 122 acquires imaging data captured by the CCD camera 121 at the above frame rate in time series, and stores each imaging data in association with the imaging time. The specific target imaging units 120 and 130 may include other types of imaging elements such as CMOS image sensors instead of the CCD cameras 121 and 131 and cameras having a predetermined optical zoom function.

画像記憶部１３２は、ＣＣＤカメラ１３１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部１３２は、画像記憶部１２２，１３２には、画像記憶部１１２と同様に、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。 The image storage unit 132 stores the imaging data captured by the CCD camera 131 at the frame rate in association with the imaging time. In the image storage unit 132, a storage device such as a flash memory or a storage device such as a hard disk drive is used for the image storage units 122 and 132, similarly to the image storage unit 112.

撮像データ取得部１４１は、画像記憶部１１２に対して所定のタイミングでアクセスして画像記憶部１１２が記憶する撮像データを取得する。動体識別部１５０は、撮像データ取得部１４１から出力される撮像データを受け取り、ＣＣＤカメラ１１１の撮像範囲内において移動する一または複数の対象を当該撮像データから識別する。 The imaging data acquisition unit 141 acquires the imaging data stored in the image storage unit 112 by accessing the image storage unit 112 at a predetermined timing. The moving object identification unit 150 receives the imaging data output from the imaging data acquisition unit 141, and identifies one or a plurality of targets that move within the imaging range of the CCD camera 111 from the imaging data.

より具体的には、動体識別部１５０は、ある時点における撮像データが撮像データ取得部１４１から送られると、当該撮像データから画素毎の輝度の情報を抽出して記憶する。そして、動体識別部１５０は、次に撮像データ取得部１４１から送られる撮像データにおける対応する画素の輝度との差分を求める。動体識別部１５０は、時系列で送られる撮像データについてこの処理を繰り返すことにより、ＣＣＤカメラ１１１の撮像範囲内において移動する対象を識別する。 More specifically, when imaging data at a certain point in time is sent from the imaging data acquisition unit 141, the moving body identification unit 150 extracts and stores luminance information for each pixel from the imaging data. Then, the moving object identification unit 150 obtains a difference from the luminance of the corresponding pixel in the imaging data sent from the imaging data acquisition unit 141 next. The moving body identification unit 150 identifies the object that moves within the imaging range of the CCD camera 111 by repeating this process for imaging data sent in time series.

ここで、動体識別部１５０は、識別される対象の種類（歩行者、自動車など）まで識別できることが好ましいが、本例では、全体視撮像部１１０のＣＣＤカメラ１１１による撮像範囲内で移動する対象の位置および数を少なくとも検出できればよく、さらには検出した対象の移動速度および予想進路などを算出してもよい。 Here, it is preferable that the moving object identification unit 150 can identify the type of object to be identified (pedestrian, car, etc.), but in this example, an object that moves within the imaging range of the CCD camera 111 of the overall imaging unit 110. It is only necessary to detect at least the position and number, and the moving speed and predicted course of the detected object may be calculated.

追跡対象特定部１６０は、動体識別部１５０により識別された対象から、特定対象撮像部１２０，１３０により追跡撮像させるべき対象（以下、「追跡対象」と称する）を、予め定められた条件に基づいて特定する。より具体的には、追跡対象特定部１６０は、動体識別部１５０により識別された対象それぞれの位置および移動速度に関する情報を動体識別部１５０から取得し、例えば交差点５００内を移動中に立ち止まったまま動かない歩行者のように、通常の横断歩行者と異なる動きをする歩行者を特定して追跡対象とする。 The tracking target specifying unit 160 selects a target (hereinafter referred to as “tracking target”) to be tracked and imaged by the specific target imaging units 120 and 130 from the targets identified by the moving object identifying unit 150 based on a predetermined condition. To identify. More specifically, the tracking target specifying unit 160 acquires information on the position and moving speed of each of the objects identified by the moving object identifying unit 150 from the moving object identifying unit 150, and remains stationary while moving in the intersection 500, for example. A pedestrian that moves differently from a normal crossing pedestrian, such as a pedestrian that does not move, is identified and tracked.

また、このような歩行者がいない場合は、追跡対象特定部１６０は、横断歩道上を横断中の複数の歩行者について、その移動方向に基づいてグループに分類し、当該グループの最後尾の歩行者を追跡対象とする。また、追跡対象特定部１６０は、複数の歩行者が追跡対象として特定される場合は、それぞれの歩行者について、その位置および移動速度、あるいは車道を走行中の自動車との位置関係などから事故に遭う危険性を示す危険度を算出して当該危険度のレベルに応じて順位付けを行ってもよい。 In addition, when there is no such pedestrian, the tracking target specifying unit 160 classifies the plurality of pedestrians crossing the pedestrian crossing into groups based on the moving direction, and walks at the end of the group. The person is tracked. In addition, when a plurality of pedestrians are specified as tracking targets, the tracking target specifying unit 160 causes each pedestrian to make an accident based on the position and moving speed of the pedestrian or the positional relationship with the car traveling on the roadway. A risk level indicating the risk of encounter may be calculated and ranking may be performed according to the level of the risk level.

制御部１７０は、特定結果取得部１７１および撮像条件制御部１７２を有する。特定結果取得部１７１は、追跡対象特定部１６０による追跡対象の位置および移動速度などの情報を取得する。具体的には、特定結果取得部１７１は、例えば、追跡対象特定部１６０により特定された追跡対象の位置および移動速度などの情報を取得する。撮像条件制御部１７２は、特定結果取得部１７１が取得した追跡対象に関する上記情報に基づいて、特定対象撮像部１２０のＣＣＤカメラ１２１および特定対象撮像部１３０のＣＣＤカメラ１３１の撮像方向および焦点などの撮像条件を設定する。 The control unit 170 includes a specific result acquisition unit 171 and an imaging condition control unit 172. The identification result acquisition unit 171 acquires information such as the position and moving speed of the tracking target by the tracking target specifying unit 160. Specifically, the identification result acquisition unit 171 acquires information such as the position and movement speed of the tracking target specified by the tracking target specifying unit 160, for example. The imaging condition control unit 172 determines the imaging direction and focus of the CCD camera 121 of the specific target imaging unit 120 and the CCD camera 131 of the specific target imaging unit 130 based on the information regarding the tracking target acquired by the specific result acquisition unit 171. Set the imaging conditions.

より具体的には、撮像条件制御部１７２は、特定結果取得部１７１が取得した追跡対象に関する上記情報に基づいて、駆動部１２３に駆動制御信号を与える。そして、駆動部１２３は、上記駆動制御信号に基づいて、ＣＣＤカメラ１２１の撮像範囲内に追跡対象が入るようにＣＣＤカメラ１２１の撮像方向を設定する。また、駆動部１２３は、上記駆動制御信号に基づいて、ＣＣＤカメラ１２１の光学系を制御することにより焦点および露出などを追跡対象の撮像に適した条件に設定する。 More specifically, the imaging condition control unit 172 gives a drive control signal to the drive unit 123 based on the information related to the tracking target acquired by the identification result acquisition unit 171. Based on the drive control signal, the drive unit 123 sets the imaging direction of the CCD camera 121 so that the tracking target is within the imaging range of the CCD camera 121. Further, the drive unit 123 controls the optical system of the CCD camera 121 based on the drive control signal to set the focus, exposure, and the like to conditions suitable for tracking target imaging.

また、これと同様に、撮像条件制御部１７２は、駆動部１３３にも駆動制御信号を与える。そして、駆動部１３３は、上記駆動制御信号に基づいて、ＣＣＤカメラ１３１の撮像方向、焦点、および露出などを追跡対象の撮像に適した条件に設定する。 Similarly, the imaging condition control unit 172 gives a drive control signal to the drive unit 133 as well. Based on the drive control signal, the drive unit 133 sets the imaging direction, focus, exposure, and the like of the CCD camera 131 to conditions suitable for imaging the tracking target.

そして、撮像条件制御部１７２は、ＣＣＤカメラ１２１，１３１による追跡対象の撮像データに基づいて、ＣＣＤカメラ１２１，１３１による追跡対象の撮像条件を適宜変更する。これにより、ＣＣＤカメラ１２１，１３１の撮像範囲は、いずれも上記追跡対象の移動に追従する。また、これに替えて、撮像条件制御部１７２は、特定結果取得部１７１が上記追跡対象の位置、移動速度、予想進路などが変化したことを示す情報を取得した場合に、当該新たな情報に基づいてＣＣＤカメラ１２１，１３１による追跡対象の撮像条件を変更してもよい。 Then, the imaging condition control unit 172 appropriately changes the imaging condition of the tracking target by the CCD cameras 121 and 131 based on the imaging data of the tracking target by the CCD cameras 121 and 131. Thereby, the imaging ranges of the CCD cameras 121 and 131 both follow the movement of the tracking target. In place of this, when the specific result acquisition unit 171 acquires information indicating that the position of the tracking target, the moving speed, the expected course, and the like have changed, the imaging condition control unit 172 adds the new information to the new information. Based on this, the imaging conditions of the tracking target by the CCD cameras 121 and 131 may be changed.

このように、２台の特定対象撮像部１２０，１３０（ＣＣＤカメラ１２１，１３１）で同一の追跡対象を追跡させながら撮像させることにより、特定対象撮像部１２０，１３０をステレオカメラとして機能させることができる。したがって、追跡対象までの距離を正確に測定することができる。 As described above, the two specific target imaging units 120 and 130 (CCD cameras 121 and 131) can cause the specific target imaging units 120 and 130 to function as a stereo camera by capturing an image while tracking the same tracking target. it can. Therefore, the distance to the tracking target can be accurately measured.

また、本例のＣＣＤカメラ１２１，１３１は、高倍率の光学ズーム機能を有するとともに、それぞれのＣＣＤカメラが備える撮像素子は、ＣＣＤカメラ１１１が備える撮像素子よりも高い画素密度を有する。したがって、追跡対象の大きさを正確に測定することができるので、例えば追跡対象として撮像している歩行者が横断歩道を横断中に倒れたり蹲って立往生するなど、当該歩行者が事故に遭う危険性が極めて高い状態に至ったことを正確に検出することができる。 In addition, the CCD cameras 121 and 131 of the present example have a high-magnification optical zoom function, and an image sensor included in each CCD camera has a higher pixel density than an image sensor included in the CCD camera 111. Therefore, it is possible to accurately measure the size of the tracking target.For example, there is a risk that the pedestrian taking an image as the tracking target may fall into an accident, for example, when the pedestrian falls or falls while crossing the pedestrian crossing. It is possible to accurately detect that the state has reached a very high level.

また、本例において、追跡対象特定部１６０が複数の歩行者を追跡対象として特定し、危険度のレベルに応じて順位付けを行っている場合、制御部１７０は、それらの歩行者の当該順位に関する情報を追跡対象特定部１６０から取得し、最も順位の高い歩行者を特定対象撮像部１２０，１３０により追跡撮像させてもよい。 Further, in this example, when the tracking target specifying unit 160 specifies a plurality of pedestrians as tracking targets and ranks the pedestrians according to the level of risk, the control unit 170 determines the rankings of those pedestrians. May be acquired from the tracking target specifying unit 160, and the pedestrian with the highest ranking may be tracked and captured by the specific target imaging units 120 and 130.

このように、複数の追跡対象が特定された場合でも、その中でより事故に至る危険性の高い（より危険度の高い）追跡対象を正確に選択して特定対象撮像部１２０，１３０により追跡撮像させることができる。また、特定対象撮像部１２０，１３０のＣＣＤカメラ１２１，１３１をステレオカメラとすることにより、追跡対象が危険な状態となったことをより正確に検知することができる。 As described above, even when a plurality of tracking targets are specified, a tracking target with a high risk of reaching an accident (higher risk) is accurately selected and tracked by the specific target imaging units 120 and 130. An image can be taken. In addition, by using the CCD cameras 121 and 131 of the specific target imaging units 120 and 130 as stereo cameras, it is possible to more accurately detect that the tracking target is in a dangerous state.

信号情報取得部１７５は、交差点５００に設置された歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して危険状態判定部１８０へと出力する。例えば、信号情報取得部１７５は、交差点５００に設置された歩行者用信号５５１〜５５４、および自動車用信号５４１〜５４４のうち、一方が通行または横断不可（例えば赤）を示すときに他方が青（通行または横断可能）を示す一対の信号（例えば自動車用信号５４１と歩行者用信号５５１）の各々の点灯状態を示す信号情報を取得して危険状態判定部１８０へと出力する。 The signal information acquisition unit 175 acquires signal information indicating a lighting state of at least one of a pedestrian signal and an automobile signal installed at the intersection 500 and outputs the signal information to the dangerous state determination unit 180. For example, the signal information acquisition unit 175 indicates that when one of the pedestrian signals 551 to 554 and the car signals 541 to 544 installed at the intersection 500 indicates impassability or crossing (for example, red), the other is blue. Signal information indicating the lighting state of each of a pair of signals (for example, an automobile signal 541 and a pedestrian signal 551) indicating (passage or crossing is possible) is acquired and output to the dangerous state determination unit 180.

危険状態判定部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データに基づいて、当該追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する。より具体的には、危険状態判定部１８０は、例えば、特定対象撮像部１２０，１３０で追跡撮像している歩行者（追跡対象）の撮像データから当該歩行者の姿勢の変化を検出する。そして、危険状態判定部１８０は、歩行者が交差点内で倒れたり、または蹲っていることを検出した場合、その歩行者が危険状態であると判定する。 The dangerous state determination unit 180 determines whether or not the tracking target is in a dangerous state with a high risk of encountering an accident based on the imaging data of the tracking target by the specific target imaging units 120 and 130. More specifically, the dangerous state determination unit 180 detects a change in the posture of the pedestrian from the imaging data of the pedestrian (tracking target) being tracked and imaged by the specific target imaging units 120 and 130, for example. And when the dangerous state determination part 180 detects that a pedestrian falls down or hits within an intersection, it determines with the pedestrian being in a dangerous state.

また、危険状態判定部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データに加えて、信号情報取得部１７５からの信号情報を参照することにより追跡対象を危険対象として識別してもよい。より具体的には、危険状態判定部１８０は、信号情報取得部１７５からの信号情報が、歩行者が横断不可であることを歩行者用信号が示すか、又は、自動車が通行可能であることを自動車用信号が示しているにも関わらず交差点５００内（横断歩道上）に歩行者が残っている場合、当該歩行者が危険状態であると判定する。 Further, the dangerous state determination unit 180 may identify the tracking target as a dangerous target by referring to the signal information from the signal information acquisition unit 175 in addition to the imaging data of the tracking target by the specific target imaging units 120 and 130. Good. More specifically, the danger state determination unit 180 indicates that the signal information from the signal information acquisition unit 175 indicates that the pedestrian signal cannot be crossed by the pedestrian signal or that the vehicle can pass. When the pedestrian remains in the intersection 500 (on the pedestrian crossing) in spite of the vehicle signal indicating that the pedestrian is in a dangerous state.

そして、危険状態判定部１８０は、交差点５００内の歩行者を危険状態であると判定した場合、交差点５００内を自動車が通行不可とすべき旨の情報を信号情報制御部１９０へと出力する。信号情報制御部１９０は、危険状態判定部１８０から上記情報を受け取ると、自動車用信号を赤に変更して交差点５００内に自動車を侵入させないようにする。このように、本実施形態に係る撮像システム１００によれば、歩行者用信号が赤になったときに交差点５００内に歩行者が残っている場合でも、当該歩行者を保護することができる。 When the dangerous state determination unit 180 determines that the pedestrian in the intersection 500 is in a dangerous state, the dangerous state determination unit 180 outputs information to the signal information control unit 190 that the automobile should not pass through the intersection 500. When the signal information control unit 190 receives the information from the dangerous state determination unit 180, the signal information control unit 190 changes the vehicle signal to red so that the vehicle does not enter the intersection 500. As described above, according to the imaging system 100 according to the present embodiment, even when a pedestrian remains in the intersection 500 when the pedestrian signal turns red, the pedestrian can be protected.

また、本実施形態において、全体視撮像部１１０のＣＣＤカメラ１１１が有する撮像素子の画素密度は、特定対象撮像部１２０，１３０のＣＣＤカメラ１２１，１３１が有する撮像素子の画素密度よりも低い。したがって、ＣＣＤカメラ１１１は、ＣＣＤカメラ１２１，１３１よりも解像度は低くなるものの、より広範囲の対象を検出処理の負荷を抑えつつ特定することができる。そして、追跡対象のみをより高解像度のＣＣＤカメラ１２１，１３１で撮像することにより、注目すべき追跡対象までの距離、および当該追跡対象の大きさ、姿勢などをより正確に検出することができる。 In the present embodiment, the pixel density of the image sensor included in the CCD camera 111 of the overall image capturing unit 110 is lower than the pixel density of the image sensor included in the CCD cameras 121 and 131 of the specific target image capturing units 120 and 130. Therefore, although the CCD camera 111 has a lower resolution than the CCD cameras 121 and 131, it can specify a wider range of objects while suppressing the load of detection processing. Then, by capturing only the tracking target with higher-resolution CCD cameras 121 and 131, the distance to the tracking target to be noticed, the size and orientation of the tracking target, and the like can be detected more accurately.

以下において、撮像システム１００の動作フローをより具体的に説明する。 Hereinafter, the operation flow of the imaging system 100 will be described more specifically.

図３は、撮像システム１００による歩行者の追跡撮像の動作フローである。本フローにおいては、まず、全体視撮像部１１０によって、横断歩道５３１および横断歩道５３３を撮像する（ステップ：Ｓ３００）。次に、動体識別部１５０は、全体視撮像部１１０による撮像データから、横断歩道５３１を横断中の歩行者６１１Ａ〜６１１Ｅおよび横断歩道５３３を横断中の歩行者６１３Ａ〜６１３Ｅを、移動する対象として識別する（ステップ：Ｓ３０５）。 FIG. 3 is an operation flow of pedestrian tracking imaging by the imaging system 100. In this flow, first, the overall view imaging unit 110 images the pedestrian crossing 531 and the pedestrian crossing 533 (step: S300). Next, the moving body identification unit 150 uses pedestrians 611A to 611E crossing the pedestrian crossing 531 and pedestrians 613A to 613E crossing the pedestrian crossing 533 as the objects to be moved, based on the imaging data obtained by the overall imaging unit 110. Identify (step: S305).

追跡対象特定部１６０は、歩行者６１１Ａ〜６１１Ｅおよび歩行者６１３Ａ〜６１３Ｅから、特定対象撮像部１２０，１３０により追跡撮像させるべき追跡対象を特定する（ステップ：Ｓ３１０）。 The tracking target specifying unit 160 specifies the tracking target to be tracked and imaged by the specific target imaging units 120 and 130 from the pedestrians 611A to 611E and the pedestrians 613A to 613E (step: S310).

例えば、追跡対象特定部１６０は、横断歩道５３１を横断中の歩行者６１１Ａ〜６１１Ｅと、横断歩道５３３を横断中の歩行者６１３Ａ〜６１３Ｅを、横断方向によってそれぞれ２つのグループ（計４グループ）に分類する。本例では、横断歩道５３１を横断中の歩行者６１１Ａ〜６１１Ｅは、歩行者６１１Ａ，６１１Ｂ，６１１Ｃのグループと歩行者６１１Ｄ，６１１Ｅのグループに分類される。また、同様に、横断歩道５３３を横断中の歩行者６１３Ａ〜６１３Ｅは、歩行者６１３Ａ，６１３Ｂ，６１３Ｃのグループと歩行者６１３Ｄ，６１３Ｅのグループに分類される。 For example, the tracking target specifying unit 160 divides pedestrians 611A to 611E crossing the pedestrian crossing 531 and pedestrians 613A to 613E crossing the pedestrian crossing 533 into two groups according to the crossing direction (total of 4 groups). Classify. In this example, the pedestrians 611A to 611E crossing the pedestrian crossing 531 are classified into a group of pedestrians 611A, 611B, and 611C and a group of pedestrians 611D and 611E. Similarly, the pedestrians 613A to 613E crossing the pedestrian crossing 533 are classified into a group of pedestrians 613A, 613B, and 613C and a group of pedestrians 613D and 613E.

そして、追跡対象特定部１６０は、各グループの最後尾の歩行者を追跡対象とする。したがって、本例では、歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄが追跡対象となる。なお、追跡対象特定部１６０は、横断歩道上で動かない歩行者がいる場合、その歩行者を上記歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄに替えて追跡対象とする。 Then, the tracking target specifying unit 160 sets the last pedestrian in each group as a tracking target. Therefore, in this example, pedestrians 611A, 611D, 613A, and 613D are tracking targets. When there is a pedestrian that does not move on the pedestrian crossing, the tracking target specifying unit 160 replaces the pedestrian with the pedestrians 611A, 611D, 613A, and 613D as a tracking target.

そして、本例のように追跡対象が複数特定される場合（ステップ：Ｓ３１５ＹＥＳ）、追跡対象特定部１６０は、歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄのそれぞれについて、その位置および移動速度、あるいは車道を走行中の自動車との位置関係などから事故に遭う危険性を示す危険度を算出して当該危険度のレベルに応じて順位付けを行う。例えば、追跡対象特定部１６０は、歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄのうち、例えば横断歩道を渡り切るまでの距離が最も遠い歩行者６１１Ｄの危険度が最も高い歩行者として順位付けする。 When a plurality of tracking targets are specified as in this example (step: S315 YES), the tracking target specifying unit 160 determines the position and moving speed of each of the pedestrians 611A, 611D, 613A, 613D, or the roadway. The risk level indicating the risk of encountering an accident is calculated based on the positional relationship with the car traveling on the road, and ranking is performed according to the level of the risk level. For example, the tracking target specifying unit 160 ranks the pedestrian 611A, 611D, 613A, 613D as the pedestrian with the highest risk of the pedestrian 611D having the longest distance to cross the pedestrian crossing, for example.

そして、制御部１７０は、最も上記順位の高い追跡対象である歩行者６１１Ｄを特定対象撮像部１２０，１３０により撮像させる（ステップ：Ｓ３２０）。なお、追跡対象特定部１６０により追跡対象として特定される歩行者が一人の場合（ステップ：Ｓ３１５ＮＯ）、制御部１７０は、当該歩行者を特定対象撮像部１２０，１３０により撮像させる（ステップ：Ｓ３３０）。 Then, the control unit 170 causes the specific target imaging units 120 and 130 to capture an image of the pedestrian 611D that is the highest tracking target (step: S320). When there is only one pedestrian identified as a tracking target by the tracking target specifying unit 160 (step S315: NO), the control unit 170 causes the specific target imaging units 120 and 130 to capture an image of the pedestrian (step: S330). ).

次に、信号情報取得部１７５は、歩行者用信号５５１，５５３および自動車用信号５４１，５４３の点灯状態を示す信号情報を取得して危険状態判定部１８０へと出力する（ステップ：Ｓ３３５）。そして、危険状態判定部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データおよび信号情報に基づいて、追跡対象である歩行者が危険な状態となっていないかを判定する（ステップ：Ｓ３４０）。 Next, the signal information acquisition unit 175 acquires signal information indicating lighting states of the pedestrian signals 551 and 553 and the automobile signals 541 and 543 and outputs the signal information to the dangerous state determination unit 180 (step: S335). Then, the dangerous state determination unit 180 determines whether the tracking target pedestrian is in a dangerous state based on the imaging data and signal information of the tracking target by the specific target imaging units 120 and 130 (step: S340).

そして、危険状態判定部１８０は、特定対象撮像部１２０，１３０により追跡撮像していた歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄが交差点内で倒れたり、または蹲っていることを検出した場合、その歩行者が危険状態であると判定する（ステップ：Ｓ３４０ＮＯ）。また、危険状態判定部１８０は、歩行者用信号５５１，５５３が赤であることを信号情報が示しているときに歩行者６１１Ａ〜６１１Ｅおよび歩行者６１３Ａ〜６１３Ｅのいずれかが横断歩道５３１，５５３上に残っている場合、その歩行者が危険状態であると判定する（ステップ：Ｓ３４０ＮＯ）。 Then, when the dangerous state determination unit 180 detects that the pedestrians 611A, 611D, 613A, and 613D that have been tracked and imaged by the specific target imaging units 120 and 130 have fallen or crawled in the intersection, the walking It is determined that the person is in a dangerous state (step: S340 NO). In addition, the danger state determination unit 180 indicates that any of the pedestrians 611A to 611E and the pedestrians 613A to 613E is a pedestrian crossing 531,553 when the signal information indicates that the pedestrian signals 551,553 are red. If it remains above, it is determined that the pedestrian is in danger (step: S340 NO).

そして、危険状態判定部１８０は、交差点５００内の歩行者を危険状態であると判定した場合、交差点５００内を自動車が通行不可とすべき旨の情報を信号情報制御部１９０へと出力し、信号情報制御部１９０は、自動車用信号を赤にして自動車（例えば自動車６２１Ａ，６２１Ｂ）を停止させる（ステップ：Ｓ３４５）。 If the dangerous state determination unit 180 determines that the pedestrian in the intersection 500 is in a dangerous state, the dangerous state determination unit 180 outputs information indicating that the vehicle is not allowed to pass through the intersection 500 to the signal information control unit 190. The signal information control unit 190 sets the automobile signal to red and stops the automobile (for example, the automobiles 621A and 621B) (step: S345).

一方、危険状態判定部１８０によって、特定対象撮像部１２０，１３０により追跡撮像していた歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄを含むいずれの歩行者も危険状態とならず（ステップ：Ｓ３４０ＹＥＳ）に、そのまま交差点５００外に出た場合（ステップ：Ｓ３５０ＹＥＳ）、すなわち、全ての歩行者が横断歩道５３１，５５３を渡り切った場合、本フローは終了する。 On the other hand, any pedestrians including the pedestrians 611A, 611D, 613A, and 613D that have been tracked and imaged by the specific target imaging units 120 and 130 are not in a dangerous state by the dangerous state determination unit 180 (step: S340 YES). If the vehicle goes out of the intersection 500 as it is (step: S350 YES), that is, if all pedestrians have crossed the pedestrian crossing 531, 553, this flow ends.

なお、全体視撮像部１１０により撮像される全ての歩行者が横断歩道５３１，５５３を渡り切るまでは、再び上記ステップＳ３３５以降を繰り返す（ステップ：Ｓ３５０ＮＯ）。 In addition, until all the pedestrians imaged by the general-view imaging unit 110 cross the pedestrian crossing 531, 553, the above steps S335 and after are repeated again (step: S350 NO).

図４は、コンピュータ１０００のハードウェア構成の一例を示す。コンピュータ１０００は、与えられるプログラムに基づいて、図１から図３において説明した撮像システム１００の全体視撮像部１１０および特定対象撮像部１２０，１３０を制御するホストコンピュータとして機能する。例えば、コンピュータ１０００がホストコンピュータとして機能する場合、プログラムは、コンピュータ１０００を、図１から図３に関連して説明した撮像システム１００の撮像データ取得部１４１，１４２、動体識別部１５０、追跡対象特定部１６０、制御部１７０、信号情報取得部１７５、危険状態判定部１８０、および信号情報制御部１９０として機能させてよい。 FIG. 4 shows an example of the hardware configuration of the computer 1000. The computer 1000 functions as a host computer that controls the overall imaging unit 110 and the specific target imaging units 120 and 130 of the imaging system 100 described with reference to FIGS. 1 to 3 based on a given program. For example, when the computer 1000 functions as a host computer, the program causes the computer 1000 to acquire the imaging data acquisition units 141 and 142, the moving object identification unit 150, and the tracking target identification of the imaging system 100 described with reference to FIGS. Unit 160, control unit 170, signal information acquisition unit 175, dangerous state determination unit 180, and signal information control unit 190.

コンピュータ１０００は、ＣＰＵ周辺部、入出力部、及びレガシー入出力部を備える。ＣＰＵ周辺部は、ホスト・コントローラ１０８２により相互に接続されるＣＰＵ１００５、ＲＡＭ１０２０、グラフィック・コントローラ１０７５、及び表示装置１０８０を有する。入出力部は、入出力コントローラ１０８４によりホスト・コントローラ１０８２に接続される通信インターフェース１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を有する。レガシー入出力部は、入出力コントローラ１０８４に接続されるＲＯＭ１０１０、フレキシブルディスク・ドライブ１０５０、及び入出力チップ１０７０を有する。 The computer 1000 includes a CPU peripheral unit, an input / output unit, and a legacy input / output unit. The CPU peripheral section includes a CPU 1005, a RAM 1020, a graphic controller 1075, and a display device 1080 that are connected to each other by a host controller 1082. The input / output unit includes a communication interface 1030, a hard disk drive 1040, and a CD-ROM drive 1060 that are connected to the host controller 1082 by the input / output controller 1084. The legacy input / output unit includes a ROM 1010, a flexible disk drive 1050, and an input / output chip 1070 connected to the input / output controller 1084.

ホスト・コントローラ１０８２は、ＲＡＭ１０２０と、高い転送レートでＲＡＭ１０２０をアクセスするＣＰＵ１００５及びグラフィック・コントローラ１０７５とを接続する。ＣＰＵ１００５は、ＲＯＭ１０１０及びＲＡＭ１０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１０７５は、ＣＰＵ１００５等がＲＡＭ１０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１０８０上に表示させる。これに代えて、グラフィック・コントローラ１０７５は、ＣＰＵ１００５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。 The host controller 1082 connects the RAM 1020 to the CPU 1005 and the graphic controller 1075 that access the RAM 1020 at a high transfer rate. The CPU 1005 operates based on programs stored in the ROM 1010 and the RAM 1020 and controls each unit. The graphic controller 1075 acquires image data generated by the CPU 1005 or the like on a frame buffer provided in the RAM 1020 and displays it on the display device 1080. Instead, the graphic controller 1075 may include a frame buffer for storing image data generated by the CPU 1005 or the like.

入出力コントローラ１０８４は、ホスト・コントローラ１０８２と、比較的高速な入出力装置である通信インターフェース１０３０、ハードディスクドライブ１０４０、ＣＤ−ＲＯＭドライブ１０６０を接続する。通信インターフェース１０３０は、ネットワークを介して全体視撮像部１１０および特定対象撮像部１２０，１３０などと通信する。ハードディスクドライブ１０４０は、コンピュータ１０００内のＣＰＵ１００５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１０６０は、ＣＤ−ＲＯＭ１０９５からプログラム又はデータを読み取り、ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供する。 The input / output controller 1084 connects the host controller 1082 to the communication interface 1030, the hard disk drive 1040, and the CD-ROM drive 1060, which are relatively high-speed input / output devices. The communication interface 1030 communicates with the global imaging unit 110, the specific target imaging units 120 and 130, and the like via a network. The hard disk drive 1040 stores programs and data used by the CPU 1005 in the computer 1000. The CD-ROM drive 1060 reads a program or data from the CD-ROM 1095 and provides it to the hard disk drive 1040 via the RAM 1020.

また、入出力コントローラ１０８４には、ＲＯＭ１０１０と、フレキシブルディスク・ドライブ１０５０、及び入出力チップ１０７０の比較的低速な入出力装置とが接続される。ＲＯＭ１０１０は、コンピュータ１０００が起動時に実行するブート・プログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１０５０は、フレキシブルディスク１０９０からプログラム又はデータを読み取り、ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供する。入出力チップ１０７０は、フレキシブルディスク・ドライブ１０５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。 The input / output controller 1084 is connected to the ROM 1010, the flexible disk drive 1050, and the relatively low-speed input / output device of the input / output chip 1070. The ROM 1010 stores a boot program executed when the computer 1000 is started up, a program depending on the hardware of the computer 1000, and the like. The flexible disk drive 1050 reads a program or data from the flexible disk 1090 and provides it to the hard disk drive 1040 via the RAM 1020. The input / output chip 1070 connects various input / output devices via a flexible disk drive 1050 and, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like.

ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供されるプログラムは、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１０２０を介してコンピュータ１０００内のハードディスクドライブ１０４０にインストールされ、ＣＰＵ１００５において実行される。 A program provided to the hard disk drive 1040 via the RAM 1020 is stored in a recording medium such as the flexible disk 1090, the CD-ROM 1095, or an IC card and provided by the user. The program is read from the recording medium, installed in the hard disk drive 1040 in the computer 1000 via the RAM 1020, and executed by the CPU 1005.

当該プログラムは、コンピュータ１０００にインストールされる。当該プログラムは、ＣＰＵ１００５等に働きかけて、コンピュータ１０００を、前述した撮像データ取得部１４１，１４２、動体識別部１５０、追跡対象特定部１６０、制御部１７０、信号情報取得部１７５、危険状態判定部１８０、および信号情報制御部１９０として機能させる。 The program is installed in the computer 1000. The program works on the CPU 1005 and the like to change the computer 1000 into the above-described imaging data acquisition units 141 and 142, the moving object identification unit 150, the tracking target identification unit 160, the control unit 170, the signal information acquisition unit 175, and the dangerous state determination unit 180. , And the signal information control unit 190.

以上に示したプログラムは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５の他に、ＤＶＤやＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１０００に提供してもよい。 The program shown above may be stored in an external recording medium. As the recording medium, in addition to the flexible disk 1090 and the CD-ROM 1095, an optical recording medium such as DVD or CD, a magneto-optical recording medium such as MO, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1000 via the network.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることは当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

１００…撮像システム
１０５…固定部
１１０…全体視撮像部
１２０，１３０…特定対象撮像部
１１１，１２１，１３１…ＣＣＤカメラ
１１２，１２２，１３２…画像記憶部
１２３，１３３…駆動部
１４１，１４２…撮像データ取得部
１５０…動体識別部
１６０…追跡対象特定部
１７０…制御部
１７１…特定結果取得部
１７２…撮像条件制御部
１７５…信号情報取得部
１８０…危険状態判定部
１９０…信号情報制御部
５００…交差点
５１１，５１２…車道
５２１，５２２，５２３，５２４…歩道
５３１，５３２，５３３，５３４…横断歩道
５４１，５４２，５４３，５４４…自動車用信号
５５１，５５２，５５３，５５４…歩行者用信号
６１１Ａ〜６１１Ｅ，６１２，６１３Ａ〜６１３Ｅ，６１４…歩行者
６２１Ａ，６２１Ｂ…自動車
１０００…コンピュータ
１００５…ＣＰＵ
１０１０…ＲＯＭ
１０２０…ＲＡＭ
１０３０…通信インターフェース
１０４０…ハードディスクドライブ
１０５０…フレキシブルディスク・ドライブ
１０６０…ＣＤ−ＲＯＭドライブ
１０７０…入出力チップ
１０７５…グラフィック・コントローラ
１０８０…表示装置
１０８２…ホスト・コントローラ
１０８４…入出力コントローラ
１０９０…フレキシブルディスク
１０９５…ＣＤ−ＲＯＭ
DESCRIPTION OF SYMBOLS 100 ... Imaging system 105 ... Fixed part 110 ... Whole-view imaging part 120, 130 ... Specific object imaging part 111, 121, 131 ... CCD camera 112, 122, 132 ... Image storage part 123, 133 ... Drive part 141, 142 ... Imaging Data acquisition unit 150 ... moving object identification unit 160 ... tracking target identification unit 170 ... control unit 171 ... identification result acquisition unit 172 ... imaging condition control unit 175 ... signal information acquisition unit 180 ... danger state determination unit 190 ... signal information control unit 500 ... Intersections 511, 512 ... Roadways 521, 522, 523, 524 ... Sidewalks 531, 532, 533, 534 ... Crosswalks 541, 542, 543, 544 ... Automotive signals 551, 552, 553, 554 ... Pedestrian signals 611A- 611E, 612, 613A to 613E, 614 ... pedestrians 621A, 621B ... automobile 1000 Computer 1005 ... CPU
1010 ... ROM
1020 ... RAM
DESCRIPTION OF SYMBOLS 1030 ... Communication interface 1040 ... Hard disk drive 1050 ... Flexible disk drive 1060 ... CD-ROM drive 1070 ... Input / output chip 1075 ... Graphic controller 1080 ... Display device 1082 ... Host controller 1084 ... Input / output controller 1090 ... Flexible disk 1095 ... CD-ROM

Claims

An imaging system provided at an intersection,
A panoramic imaging unit for imaging a pedestrian moving in the intersection;
Based on a predetermined condition, a tracking target specifying unit that specifies the pedestrian to be tracked from the imaging data of the overall imaging unit,
A plurality of specific target imaging units that have an imaging element with a pixel density higher than a pixel density in the imaging element of the overall imaging unit, and that capture an image while tracking the tracking target;
Based on the imaging data of the specific target imaging unit, a dangerous state determination unit that determines whether or not the tracking target is a dangerous state with a high risk of encountering an accident,
An imaging system comprising:

The imaging according to claim 1, wherein the tracking target specifying unit classifies the plurality of pedestrians into groups based on a moving direction, and sets the pedestrian at the tail of the group as the tracking target. system.

The imaging system according to claim 1, wherein the tracking target specifying unit sets the pedestrian stopped in the intersection as the tracking target.

The dangerous state determination unit detects a change in the posture of the tracking target from the imaging data of the specific target imaging unit, and determines that the tracking target that has fallen or stuttered in an intersection is in the dangerous state. The imaging system according to claim 3.

A signal information acquisition unit that acquires signal information indicating a lighting state of at least one of a pair of pedestrian signals and an automobile signal installed at the intersection and outputs the signal information to the dangerous state determination unit;
The dangerous state determination unit is configured for the vehicle when the signal information from the signal information acquisition unit indicates that the pedestrian signal indicates that the pedestrian cannot cross or the vehicle is allowed to pass. The imaging system according to any one of claims 1 to 4, wherein when the signal indicates, the pedestrian in the intersection is determined to be in the dangerous state.

In response to the danger state determination unit determining that the pedestrian in the intersection is in the danger state, the signal information control unit sets the vehicle signal to a lighting state indicating that the vehicle is not allowed to pass. The imaging system according to claim 5, further comprising: