JP2012194768A - Image processing unit - Google Patents

Image processing unit Download PDF

Info

Publication number
JP2012194768A
JP2012194768A JP2011058108A JP2011058108A JP2012194768A JP 2012194768 A JP2012194768 A JP 2012194768A JP 2011058108 A JP2011058108 A JP 2011058108A JP 2011058108 A JP2011058108 A JP 2011058108A JP 2012194768 A JP2012194768 A JP 2012194768A
Authority
JP
Japan
Prior art keywords
unit
user
image
image processing
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011058108A
Other languages
Japanese (ja)
Other versions
JP5348160B2 (en
Inventor
Tetsuya Tsukamoto
哲也 塚本
Masamichi Kogure
正道 小暮
Tomohiko Higami
智彦 樋上
Keisuke Tanaka
慧輔 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2011058108A priority Critical patent/JP5348160B2/en
Publication of JP2012194768A publication Critical patent/JP2012194768A/en
Application granted granted Critical
Publication of JP5348160B2 publication Critical patent/JP5348160B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Devices For Checking Fares Or Tickets At Control Points (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing unit capable of achieving cost reduction of a gate device in which a passage direction of a user in a passage way is bidirectional.SOLUTION: In an image processing unit 11, frame images picked up by an imaging unit 10A an imaging area of which is a peripheral portion of one entrance opening through which a user enters a passage way and an imaging unit 10B an imaging area of which is a peripheral portion of the other entrance opening are inputted into an image input unit 13. An image processing unit 15 performs processing of the frame image picked up by the selected one imaging unit 10A (or 10B). In addition, the frame image picked up by the non-selected other imaging unit 10B (or 10A) is stored in an image storing unit 14. When entrance of the user through the entrance opening which the non-selected other imaging unit 10B picks up an image is detected, the frame image stored in the image storing unit 14 is utilized.

Description

この発明は、利用者の通行方向を双方向としたゲート装置の通路に進入した利用者の撮像画像を処理する画像処理ユニットに関する。   The present invention relates to an image processing unit that processes a captured image of a user who has entered a passage of a gate device in which a user's passage direction is bidirectional.

従来、鉄道の駅の改札口では、駅構内に入場する利用者や、駅構内から出場する利用者に対する改札処理を自動改札機で行っている。自動改札機は、利用者が所持しているキップ、定期券、プリペイド券等の乗車券を受け付け、この乗車券に記録されている乗車券情報を読み取り、読み取った乗車券情報に基づいて、その利用者に対する改札通路の通行可否を判定する。自動改札機は、利用者に対して改札通路の通行を許可すると判定すると、改札通路の出口側に設けた扉を開し、反対に、利用者に対して改札通路の通行を許可しないと判定すると、改札通路の出口側に設けた扉を閉する。   Conventionally, at a ticket gate of a railroad station, a ticket gate process is performed by an automatic ticket gate for users who enter the station or users who enter from the station. The automatic ticket gate accepts tickets such as tickets, commuter passes, prepaid tickets, etc. possessed by the user, reads the ticket information recorded on this ticket, and based on the read ticket information, It is determined whether or not the ticket gate passage is accessible to the user. If the automatic ticket gate determines that the user is allowed to pass the ticket gate, it opens the door provided on the exit side of the ticket gate, and conversely determines that the user is not permitted to pass the ticket gate. Then, the door provided on the exit side of the ticket gate is closed.

また、一般的な鉄道会社では、利用者を年齢で幼児(6歳未満)、小児(6歳以上12歳未満)、または大人(12歳以上)に分類し、鉄道の利用にかかる乗車券の価値(乗車料金)を定めている。通常、幼児は、鉄道の利用に際して乗車券を必要としない。小児、および大人は、鉄道の利用に際して乗車券を必要とするが、小児用の乗車券の価値は、通常、大人用の乗車券の半分である。乗車券に記録されている乗車券情報には、小児用であるか、大人用であるかを示す情報が含まれている。   Also, in general railway companies, users are classified into infants (under 6 years old), children (over 6 years old and under 12 years old), or adults (over 12 years old) by age, and tickets for the use of railways Value (ride) is set. In general, infants do not need a ticket to use the railway. Children and adults need a ticket to use the railway, but the value of a child's ticket is usually half that of an adult ticket. The ticket information recorded on the ticket includes information indicating whether it is for children or for adults.

また、特許文献1は、改札通路を通行している利用者を撮像したフレーム画像から利用者の年齢を推定し、この利用者が幼児、小児、または大人のいずれであるかを判定する自動改札機を提案している。   Further, Patent Document 1 estimates an age of a user from a frame image obtained by imaging a user passing through a ticket gate, and determines whether the user is an infant, a child, or an adult. Proposing a machine.

特開2009−205495号公報JP 2009-205495 A

しかしながら、2台の改札ユニットを対向して配置し、これらの改札ユニットの間に形成される改札通路における利用者の通行方向を双方向にした自動改札機では、通行方向毎に撮像装置を設けるだけでなく、撮像装置毎に撮像されたフレーム画像を処理する画像処理ユニットを設けなければならなかった。このため、通路における利用者の通行方向を双方向にし、利用者を撮像したフレーム画像を処理して推定した利用者の属性(年齢等)を用いて改札通路における通行可否を判定する自動改札機が高価であり、コストダウンが要望されている。   However, in an automatic ticket gate in which two ticket gate units are arranged so as to face each other and a user's passage direction is bidirectional in a ticket gate passage formed between these ticket gate units, an imaging device is provided for each passage direction. In addition, an image processing unit for processing a frame image captured for each imaging apparatus has to be provided. Therefore, an automatic ticket gate for determining whether or not a ticket gate is allowed to pass using a user attribute (age or the like) estimated by processing a frame image obtained by imaging the user in a bidirectional direction for the user in the passage. Is expensive, and cost reduction is desired.

この発明の目的は、通路における利用者の通行方向を双方向にし、利用者を撮像したフレーム画像を処理して改札通路における通行可否を判定するゲート装置のコストダウンが図れる画像処理ユニットを提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing unit that can reduce the cost of a gate device that makes a passage direction of a user in a passage bidirectional and processes a frame image obtained by imaging the user to determine whether or not a ticket gate passage is permitted. There is.

この発明の画像処理ユニットは、上記課題を解決し、その目的を達するために、以下のように構成している。   The image processing unit of the present invention is configured as follows in order to solve the above-described problems and achieve the object.

この発明の画像処理ユニットは、利用者の通行方向を双方向としたゲート装置の通路に進入した利用者の画像を処理する。この画像処理では、例えば、撮像されている利用者の属性を推定する。ゲート装置は、画像処理ユニットの処理結果を用いて、通路における当該利用者の通行可否等を判定する。   The image processing unit of the present invention processes an image of a user who has entered a passage of a gate device in which the user's passage direction is bidirectional. In this image processing, for example, the attribute of the user who is being imaged is estimated. The gate device uses the processing result of the image processing unit to determine whether or not the user can pass through the passage.

画像処理ユニットは、第1の撮像部、および第2の撮像部が撮像しているフレーム画像が画像入力部に入力される。第1の撮像部の撮像エリアは、利用者が通路に進入する一方の進入口周辺であり、第2の撮像部の撮像エリアは、他方の進入口周辺である。   In the image processing unit, the frame image captured by the first imaging unit and the second imaging unit is input to the image input unit. The imaging area of the first imaging unit is around one entrance where the user enters the passage, and the imaging area of the second imaging unit is around the other entrance.

選択部が、第1の撮像部、または第2の撮像部の一方を選択する。画像処理部は、選択部が選択した一方の撮像部が撮像したフレーム画像を処理する。画像処理部は、例えば撮像されている利用者の属性を推定する。画像処理部の処理結果は、ゲート装置に通知される。また、画像記憶部は、選択部が選択していない他方の撮像部が撮像したフレーム画像を記憶する。   The selection unit selects one of the first imaging unit and the second imaging unit. The image processing unit processes a frame image captured by one imaging unit selected by the selection unit. The image processing unit estimates the attribute of the user who is being imaged, for example. The processing result of the image processing unit is notified to the gate device. The image storage unit stores a frame image captured by the other imaging unit that is not selected by the selection unit.

また、選択部は、ゲート装置からの指示にしたがって、選択する撮像部を切り換える。ゲート装置は、例えば、通路への利用者の進入を検知したときに、この利用者が進入した側の進入口周辺を撮像エリアとする撮像部の選択を指示する。また、ゲート装置は、進入口周辺に配置している媒体受付部で媒体(乗車券やIDカード等)を受け付けたとき、この媒体を受け付けた媒体受付部を配置している側の進入口周辺を撮像エリアとする撮像部の選択を指示する。   The selection unit switches the imaging unit to be selected in accordance with an instruction from the gate device. For example, when the gate device detects the user's entry into the passage, the gate device instructs selection of an imaging unit in which the vicinity of the entrance on the side where the user enters is set as the imaging area. In addition, when the gate device receives a medium (such as a ticket or an ID card) at the medium reception unit arranged around the entrance, the gate device is located near the entrance on the side where the medium reception unit that receives the medium is arranged. Is selected as an imaging area.

画像処理部は、選択部がゲート装置からの指示にしたがって撮像部の選択を切り換えたとき、画像記憶部に記憶しているフレーム画像を処理する。このように、選択部が撮像部の選択を切り換えたときには、画像処理部が過去に撮像されたフレーム画像も合わせて処理するので、撮像されている利用者の属性等の推定精度の低下が抑えられる。   The image processing unit processes the frame image stored in the image storage unit when the selection unit switches the selection of the imaging unit in accordance with an instruction from the gate device. As described above, when the selection unit switches the selection of the imaging unit, the image processing unit also processes a frame image captured in the past, so that a decrease in estimation accuracy of the attribute of the user being captured is suppressed. It is done.

なお、属性の推定精度を確保するには、利用者の顔をほぼ正面から撮像したフレーム画像を用いることである。したがって、利用者の顔が撮像されているフレーム画像が多いほど、属性の推定に適したフレーム画像が存在する可能性が高くなり、属性の推定精度の低下が抑えられる。   In order to ensure the accuracy of attribute estimation, it is necessary to use a frame image obtained by capturing the user's face almost from the front. Therefore, the more frame images in which the user's face is captured, the higher the possibility that there is a frame image suitable for attribute estimation, and the reduction in attribute estimation accuracy can be suppressed.

また、画像記憶部は、例えばフレーム画像を所定数(3〜10フレーム程度)記憶する構成とし、記憶しているフレーム数が所定数に達しているときには、記憶している時間的に最も古いフレーム画像を、新たに記憶するフレーム画像に書き換える構成とすればよい。このようにすれば、画像記憶部の記憶容量を抑えることができ、コストアップが抑えられる。   Further, the image storage unit stores, for example, a predetermined number of frame images (about 3 to 10 frames), and when the number of stored frames reaches a predetermined number, the stored oldest frame in time The image may be rewritten to a newly stored frame image. In this way, the storage capacity of the image storage unit can be suppressed, and the cost increase can be suppressed.

また、この画像処理ユニットは、上述したように、1つの画像処理部で、通路を双方向に通行する利用者の撮像画像を処理することができる。したがって、この画像処理ユニットを利用することで、ゲート装置のコストダウンが図れる。   Further, as described above, this image processing unit can process a captured image of a user who passes through the passage bidirectionally with one image processing unit. Therefore, the cost of the gate device can be reduced by using this image processing unit.

さらに、ゲート装置から選択する撮像部が指示されていないときは、画像処理部がフレーム画像を処理する毎に、第1の撮像部、または第2の撮像部の選択を切り換えてもよい。このようにすれば、利用者が、通路に進入するよりも以前に、その利用者の存在を検知することができ、利用者の属性等の推定精度の低下が一層抑えられる。   Furthermore, when the imaging unit to be selected is not instructed from the gate device, the selection of the first imaging unit or the second imaging unit may be switched every time the image processing unit processes the frame image. In this way, it is possible to detect the presence of the user before the user enters the passage, and the deterioration of the estimation accuracy of the user attributes and the like can be further suppressed.

この発明によれば、通路における利用者の通行方向を双方向にし、利用者を撮像したフレーム画像を処理して推定した利用者の属性等も用いて改札通路における通行可否を判定するゲート装置のコストダウンが図れる。   According to the present invention, there is provided a gate device for determining whether or not a ticket gate is allowed to pass using a user's direction of passage in a passage and using a user attribute estimated by processing a frame image obtained by imaging the user. Cost can be reduced.

自動改札機の主要部の構成を示すブロック図である。It is a block diagram which shows the structure of the principal part of an automatic ticket gate. 自動改札機の外観を示す概略図である。It is the schematic which shows the external appearance of an automatic ticket gate. 自動改札機の通路側の平面図である。It is a top view by the side of the passage of an automatic ticket gate. 画像処理ユニットの主要部の構成を示すブロック図である。It is a block diagram which shows the structure of the principal part of an image processing unit. 改札ユニットの動作を示すフローチャートである。It is a flowchart which shows operation | movement of a ticket gate unit. 画像処理ユニットの動作を示すフローチャートである。It is a flowchart which shows operation | movement of an image processing unit. アイドルモードの動作を示すフローチャートである。It is a flowchart which shows operation | movement of an idle mode. アイドルモードの動作を示す模式図である。It is a schematic diagram which shows operation | movement of an idle mode. 進入検知モードの動作を示すフローチャートである。It is a flowchart which shows operation | movement of approach detection mode. 進入検知モードの動作を示す模式図である。It is a schematic diagram which shows operation | movement of approach detection mode. 属性推定モードの動作を示すフローチャートである。It is a flowchart which shows operation | movement of attribute estimation mode. 属性推定モードの動作を示す模式図である。It is a schematic diagram which shows operation | movement of attribute estimation mode. 属性推定モードの動作を示す模式図である。It is a schematic diagram which shows operation | movement of attribute estimation mode.

以下、この発明の実施形態である画像処理ユニットについて説明する。   Hereinafter, an image processing unit according to an embodiment of the present invention will be described.

図1は、この発明の実施形態である画像処理ユニットを備える自動改札機の主要部の構成を示すブロック図である。また、図2は、この発明の実施形態である自動改札機の外観を示す概略図である。図3は、この自動改札機(一方の改札ユニット)の通路側の平面図である。   FIG. 1 is a block diagram showing a configuration of a main part of an automatic ticket gate having an image processing unit according to an embodiment of the present invention. FIG. 2 is a schematic view showing the appearance of an automatic ticket gate according to an embodiment of the present invention. FIG. 3 is a plan view of the passage side of the automatic ticket gate (one ticket gate unit).

この自動改札機1は、2台の改札ユニット1A、1Bを対向して配置し、これらの自動改札ユニット1A、1Bの間に形成された改札通路における利用者の通行方向を双方向にしている。自動改札機1が、この発明で言うゲート装置に相当する。図2において、改札ユニット1Aは、改札通路をA方向に通行する利用者に対して改札処理を行う。また、図2において、改札ユニット1Bは、改札通路をB方向に通行する利用者に対して改札処理を行う。A方向は、駅に入場する方向であり、B方向は、駅から出場する方向である。すなわち、改札ユニット1Aは、駅に入場する利用者に対して改札処理を行い、改札ユニット1Bは、駅から出場する利用者に対して改札処理を行う。   This automatic ticket gate 1 has two ticket gate units 1A and 1B facing each other, and the direction of user's passage in the ticket gate passage formed between these automatic ticket gate units 1A and 1B is bidirectional. . The automatic ticket gate 1 corresponds to the gate device referred to in the present invention. In FIG. 2, the ticket gate unit 1 </ b> A performs ticket gate processing for a user who passes through the ticket gate passage in the direction A. In FIG. 2, the ticket gate unit 1B performs a ticket gate process on a user who passes through the ticket gate passage in the B direction. The A direction is the direction to enter the station, and the B direction is the direction to enter from the station. That is, the ticket gate unit 1A performs a ticket gate process for users who enter the station, and the ticket gate unit 1B performs a ticket gate process for users who enter the station.

各改札ユニット1A、1Bは、乗車券処理部3(3A、3B)と、利用者検知部4(4A、4B)と、表示部5(5A、5B)と、扉開閉部6(6A、6B)と、報知部7(7A、7B)と、を備えている。また、改札ユニット1Aは、制御部2、および通信部8を備えている(改札ユニット1Bは、制御部2、および通信部8を備えていない。)。また、この自動改札機1は、撮像部10(10A、10B)と、この発明の実施形態である画像処理ユニット11と、を備えている。   Each ticket gate unit 1A, 1B includes a ticket processing unit 3 (3A, 3B), a user detection unit 4 (4A, 4B), a display unit 5 (5A, 5B), and a door opening / closing unit 6 (6A, 6B). ) And a notification unit 7 (7A, 7B). Further, the ticket gate unit 1A includes a control unit 2 and a communication unit 8 (the ticket gate unit 1B does not include the control unit 2 and the communication unit 8). The automatic ticket gate 1 includes an imaging unit 10 (10A, 10B) and an image processing unit 11 according to an embodiment of the present invention.

なお、以下の説明において、乗車券処理部3(3A、3B)、利用者検知部4(4A、4B)、表示部5(5A、5B)、扉開閉部6(6A、6B)、および報知部7(7A、7B)については、A、Bの符合を省略することがある。   In the following description, the ticket processing unit 3 (3A, 3B), the user detection unit 4 (4A, 4B), the display unit 5 (5A, 5B), the door opening / closing unit 6 (6A, 6B), and notification About the part 7 (7A, 7B), the code | symbol of A and B may be abbreviate | omitted.

制御部2は、改札ユニット1A、1Bの各部の動作を制御する。   The control unit 2 controls the operation of each unit of the ticket gate units 1A and 1B.

乗車券処理部3は、改札通路を通行する利用者が所持している乗車券を受け付け、受け付けた乗車券に記録されている乗車券情報の読み取りや、書き込みを行う。この乗車券処理部3は、非接触ICカードとの間で無線通信を行う無線通信部等を有している。改札通路の入口側には、非接触ICカードとの無線通信を行うためのアンテナ3aが設けられている。非接触ICカードは、無線通信機能を有し、乗車券情報を内蔵メモリに記録している乗車券である。乗車券処理部3は、非接触ICカードとの無線通信により、その非接触ICカードに記録されている乗車券情報の読み取りや、当該非接触ICカードに対する乗車券情報の書き込みを行う。乗車券が、この発明で言う媒体に相当する。   The ticket processing unit 3 receives a ticket held by a user who passes through the ticket gate, and reads and writes the ticket information recorded on the received ticket. The ticket processing unit 3 includes a wireless communication unit that performs wireless communication with a non-contact IC card. An antenna 3a for performing wireless communication with the non-contact IC card is provided on the entrance side of the ticket gate passage. The non-contact IC card is a ticket that has a wireless communication function and records ticket information in a built-in memory. The ticket processing unit 3 reads the ticket information recorded on the non-contact IC card and writes the ticket information on the non-contact IC card by wireless communication with the non-contact IC card. The boarding ticket corresponds to the medium referred to in the present invention.

なお、乗車券には、乗車券情報を磁気データで記録している磁気券もある。図2では、この磁気券を処理する構成を備えていない改札ユニット1A、1Bを例示しているが、乗車券処理部3が磁気券を処理する機能を有する構成であってもよい。この磁気券を処理する機能は、公知のように、入口側に設けた投入口と、出口側に設けた放出口との間で、磁気券を搬送する搬送路を形成し、この搬送路を搬送されている磁気券に記録されている磁気データの読み取りや、磁気データの書き込みを行う構成である。   In addition, there is also a magnetic ticket in which the ticket information is recorded as magnetic data. Although FIG. 2 illustrates the ticket gate units 1A and 1B that do not have a configuration for processing the magnetic ticket, the ticket processing unit 3 may have a function of processing the magnetic ticket. As is well known, the function of processing the magnetic ticket is to form a transport path for transporting the magnetic ticket between the input port provided on the entrance side and the discharge port provided on the exit side. In this configuration, the magnetic data recorded on the magnetic ticket being conveyed is read and the magnetic data is written.

利用者検知部4は、適当な間隔で改札通路に沿って設けた複数のセンサにより、改札通路における利用者の位置を検知する。すなわち、利用者検知部4A、4Bは、利用者が改札通路に進入してから、退出するまでの間、改札通路における利用者の位置を追跡することができる。具体的には、センサは、透過型の光センサであり、発光素子4aと受光素子4bとが通路を挟んで対向するように配置している。改札ユニット1は、通路に沿って、発光素子4aと受光素子4bとを交互に配置している。   The user detection unit 4 detects the position of the user in the ticket gate passage by a plurality of sensors provided along the ticket gate passage at appropriate intervals. That is, the user detection units 4A and 4B can track the position of the user in the ticket gate passage after the user enters the ticket gate passage and exits. Specifically, the sensor is a transmissive optical sensor, and is disposed such that the light emitting element 4a and the light receiving element 4b are opposed to each other with a passage therebetween. In the ticket gate unit 1, light emitting elements 4a and light receiving elements 4b are alternately arranged along the passage.

表示部5は、改札通路の中央付近に設けた表示器5aに、改札通路を通行している利用者に対する案内メッセージ等を表示する。また、扉開閉部6は、改札通路の出口側に設けた扉6aを開閉することにより、改札通路における利用者の通行を制限する。   The display unit 5 displays a guidance message or the like for a user traveling through the ticket gate passage on a display 5a provided near the center of the ticket gate passage. Moreover, the door opening / closing part 6 restricts the passage of the user in the ticket gate passage by opening and closing the door 6a provided on the exit side of the ticket gate passage.

なお、改札ユニット1A、1Bは、改札通路の入口側にも扉6aを有している。   The ticket gate units 1A and 1B also have a door 6a on the entrance side of the ticket gate passage.

報知部7は、改札通路に進入した利用者が適正な乗車券を所持していなければ、警告音等による報知を行う。   If the user who has entered the ticket gate does not have a proper boarding ticket, the notification unit 7 performs a warning sound or the like.

通信部8は、駅務室に設置されている駅サーバ(不図示)等の上位装置との間における通信を行う。また、画像処理ユニット11との通信も行う。   The communication unit 8 performs communication with a host device such as a station server (not shown) installed in the station service room. Communication with the image processing unit 11 is also performed.

撮像部10Aは、改札ユニット1Aに取り付けている。撮像部10Bは、改札ユニット1Bに取り付けている。撮像部10Bの撮像エリアは、一定時間(例えば100〜200ms)間隔で撮像したフレーム画像を画像処理ユニット11に入力するビデオカメラである。撮像部10Aは、視野を、改札ユニット1Aが改札処理する利用者(駅構内に入場する利用者)にとっての改札通路の入口側にして取り付けている。撮像部10Bは、視野を、改札ユニット1Bが改札処理する利用者(駅構内から出場する利用者)にとっての改札通路の入口側にして取り付けている。   The imaging unit 10A is attached to the ticket gate unit 1A. The imaging unit 10B is attached to the ticket gate unit 1B. The imaging area of the imaging unit 10B is a video camera that inputs frame images captured at regular time intervals (for example, 100 to 200 ms) to the image processing unit 11. The imaging unit 10A has a field of view attached to the entrance side of a ticket gate passage for a user (a user who enters the station premises) whose ticket gate unit 1A performs ticket gate processing. The imaging unit 10B has a field of view attached to the entrance side of the ticket gate passage for a user (a user who enters from the station premises) for which the ticket gate unit 1B performs a ticket gate process.

図4は、画像処理ユニットの主要部の構成を示すブロック図である。画像処理ユニット11は、制御部12と、画像入力部13と、画像記憶部14と、画像処理部15と、通信部16と、を備えている。画像入力部13には、撮像部10A、10Bが接続されており、撮像部10A、10Bが撮像したフレーム画像が入力される。画像記憶部14は、画像入力部13に入力されたフレーム画像を数フレーム(3〜10フレーム程度)記憶する。画像処理部15は、画像記憶部14に記憶されているフレーム画像を処理し、撮像されている利用者の有無の検知、および撮像されている利用者の顔画像から年齢や性別等の属性を推定する属性推定処理を行う。通信部16は、改札ユニット1との間における通信を制御する。   FIG. 4 is a block diagram illustrating a configuration of a main part of the image processing unit. The image processing unit 11 includes a control unit 12, an image input unit 13, an image storage unit 14, an image processing unit 15, and a communication unit 16. Imaging units 10A and 10B are connected to the image input unit 13, and frame images captured by the imaging units 10A and 10B are input. The image storage unit 14 stores several frames (about 3 to 10 frames) of the frame image input to the image input unit 13. The image processing unit 15 processes the frame image stored in the image storage unit 14 to detect the presence / absence of the user being imaged and to determine attributes such as age and sex from the face image of the user being imaged. Performs attribute estimation processing to be estimated. The communication unit 16 controls communication with the ticket gate unit 1.

この自動改札機1は、利用者を、幼児(6歳未満)、小児(6歳以上12歳未満)、大人(12歳以上)のいずれかの属性に区分し、区分した属性に応じて改札通路の通行可否を判定する。具体的には、幼児については、乗車券を所持していなくても改札通路の通行を許可する。また、小児と大人については、適正な乗車券を所持していれば改札通路の通行を許可するが、乗車券を所持していなかったり、所持している乗車券が適正でなかったりした場合に、改札通路の通行を許可しない。乗車券には、小児用の乗車券と、大人用の乗車券とがある。   This automatic ticket gate 1 classifies the user into one of the attributes of an infant (under 6 years old), a child (over 6 years old and under 12 years old), and an adult (over 12 years old), and the ticket gates according to the divided attributes. Judgment on passage of passage. Specifically, infants are allowed to pass through the ticket gates even if they do not have a ticket. In addition, children and adults are permitted to pass through the ticket gate if they have an appropriate ticket, but they do not have a ticket or have an incorrect ticket. , Do not allow passage in the ticket gate. There are two types of tickets: children's tickets and adults' tickets.

また、この自動改札機1は、ほぼ同じタイミングで改札通路の両側から利用者が進入した場合、先に乗車券を受け付けた利用者に対して改札処理を行う。すなわち、先に乗車券を受け付けた側の改札ユニット1A(または1B)による改札処理を有効にし、他方の改札ユニット1B(または1A)による改札処理を一時的に停止する。   In addition, when the user enters from both sides of the ticket gate passage at approximately the same timing, the automatic ticket gate 1 performs a ticket gate process on the user who has received the boarding ticket first. That is, the ticket gate processing by the ticket gate unit 1A (or 1B) on the side that has received the ticket first is validated, and the ticket gate processing by the other ticket gate unit 1B (or 1A) is temporarily stopped.

以下、この自動改札機1の動作について説明する。   Hereinafter, the operation of the automatic ticket gate 1 will be described.

図5は、改札ユニットにおける改札処理の動作を示すフローチャートである。ここでは、改札ユニット1Aを例にして説明するが、改札ユニット1Bも同様である。   FIG. 5 is a flowchart showing the operation of the ticket gate process in the ticket gate unit. Here, the ticket gate unit 1A will be described as an example, but the same applies to the ticket gate unit 1B.

改札ユニット1Aは、改札通路への利用者の進入を検知するか(s1)、乗車券処理部3Aで乗車券を受け付けるか(s2)、を待っている。また、改札ユニット1Aは、s1で改札通路への利用者の進入を検知した後は、この利用者が無札検知位置に達するか(s3)、この利用者が通路を引き返して退出するか(s4)、を待つ。無札検知位置は、改札通路の入口に設けたアンテナ3aよりも、少し通路内に入った位置である。   The ticket gate unit 1A waits whether it detects the user's entry into the ticket gate passage (s1) or accepts the ticket at the ticket processing unit 3A (s2). Further, after detecting the entry of the user into the ticket gate at s1, the ticket gate unit 1A determines whether the user reaches the no-ticket detection position (s3) or whether the user turns back the passage and exits ( s4). The no-tag detection position is a position slightly inside the passage than the antenna 3a provided at the entrance of the ticket gate passage.

改札ユニット1Aは、s1で改札通路への利用者の進入を検知すると、改札通路における、この利用者の追跡処理を開始するとともに(s5)、画像処理ユニット11に対して進入検知を通知する(s6)。この追跡処理は、利用者検知部4が利用者の位置を検知している発光素子4a、および受光素子4bのセンサ状態が変化する毎に、利用者検知部4で改札通路における利用者の位置を検知する処理である。また、この追跡処理は、この利用者が改札通路から退出すると終了する。   When the ticket gate unit 1A detects the user's entry into the ticket gate passage at s1, the ticket gate unit 1A starts the tracking process of the user in the ticket gate passage (s5) and notifies the image processing unit 11 of the entry detection ( s6). This tracking process is performed by the user detection unit 4 in the ticket gate passage whenever the sensor state of the light emitting element 4a and the light receiving element 4b in which the user detection unit 4 detects the user position changes. Is a process of detecting The tracking process ends when the user leaves the ticket gate.

また、改札ユニット1Aは、s2で乗車券を受け付けると、対向する側の改札ユニット1Bに対して改札停止指示を通知するとともに(s7)、画像処理ユニット11に対して属性推定要求を通知する(s8)。改札ユニット1Bは、対向する側の改札ユニット1Aから改札停止指示の通知があると、乗車券処理部3Bでの乗車券の受け付けを停止する。すなわち、改札ユニット1Bは、改札処理の実行を一時的に停止する。また、画像処理ユニット11は、属性通知の要求を受信すると、今回改札通路に進入した利用者の属性(年齢、性別等)を推定し、推定した属性を改札ユニット1Aに通知する。画像処理ユニット11の動作については、後述する。   When the ticket gate unit 1A receives the ticket at s2, the ticket gate unit 1A notifies the opposite ticket gate unit 1B of a ticket gate stop instruction (s7) and also notifies the image processing unit 11 of an attribute estimation request ( s8). When the ticket gate unit 1B receives a ticket stop instruction from the opposite ticket gate unit 1A, the ticket gate unit 1B stops accepting the ticket at the ticket processing unit 3B. That is, the ticket gate unit 1B temporarily stops the ticket gate process. Further, when receiving the attribute notification request, the image processing unit 11 estimates the attributes (age, gender, etc.) of the user who has entered the ticket gate this time, and notifies the estimated attributes to the ticket gate unit 1A. The operation of the image processing unit 11 will be described later.

改札ユニット1Aは、s3で利用者が無札検知位置に達したと判定すると、この利用者に乗車券情報が対応づけられているかどうかを判定する(s9)。改札ユニット1Aは、s2で受け付けた乗車券から読み取った乗車券情報を利用者に対応づけている。言い換えれば、s2で乗車券を受け付けていない利用者には、乗車券情報が対応づけられていない。   When it is determined that the user has reached the no-ticket detection position in s3, the ticket gate unit 1A determines whether or not the ticket information is associated with the user (s9). The ticket gate unit 1A associates the ticket information read from the ticket accepted in s2 with the user. In other words, the ticket information is not associated with the user who has not accepted the ticket at s2.

改札ユニット1Aは、乗車券情報が利用者に対応づけられていると、この乗車券情報と、この利用者に対応づけられている属性と、を用いて、改札通路における通行可否を判定する(s10)。改札ユニット1Aは、上述したように、s8で画像処理ユニット11に対して属性推定要求を行っており、この要求に対する画像処理ユニット11からの応答に含まれていた利用者の属性(年齢、性別等)を、この利用者に対応づけている。改札ユニット1Aは、この利用者に対して、通行可と判定すると、扉開閉部6により、改札通路の出口側に位置する扉6aを開し(s11)、この利用者が改札通路から退出するのを待つ(s16)。   When the ticket information is associated with the user, the ticket gate unit 1A uses the ticket information and the attribute associated with the user to determine whether or not the ticket gate passage is permitted ( s10). As described above, the ticket gate unit 1A makes an attribute estimation request to the image processing unit 11 in s8, and the user attributes (age, gender) included in the response from the image processing unit 11 to this request. Etc.) is associated with this user. When the ticket gate unit 1A determines that the user can pass, the door opening / closing part 6 opens the door 6a located on the exit side of the ticket gate passage (s11), and the user exits the ticket gate passage. (S16).

また、改札ユニット1Aは、乗車券を受け付けていない利用者であれば、対応づけられている属性(年齢)が6歳未満(乗車券を必要としない幼児)であるかどうかを判定する(s12)。改札ユニット1Aは、s12で6歳未満の幼児であると判定すると、上述したs11以降の処理を実行する。   In addition, if the ticket gate unit 1A is a user who has not received a ticket, the ticket gate unit 1A determines whether or not the attribute (age) associated with the ticket gate unit is less than 6 years old (toddler who does not require a ticket) (s12). ). When it is determined that the ticket gate unit 1A is an infant under 6 years old at s12, the ticket gate unit 1A executes the above-described processing after s11.

改札ユニット1Aは、s12で利用者が6歳未満の幼児でないと判定すると、表示部5が表示器5aに通行不可を示す警告メッセージを表示するととともに、報知部7が警告音による報知を行う(s13)。改札ユニット1Aは、s12で利用者が6歳未満の幼児でないと判定した利用者に対応づけられている年齢が60歳以上(高齢者)であるかどうかを判定する(s14)。改札ユニット1Aは、s14で高齢者であると判定すると、上述したs11以降の処理を実行する。すなわち、通行不可とした利用者が高齢者であれば、扉6aを閉めずに開する。これにより、高齢者が閉された扉6aに衝突するのを防止している。   When the ticket gate unit 1A determines in s12 that the user is not an infant under 6 years old, the display unit 5 displays a warning message indicating that the user cannot pass through the display unit 5a, and the notification unit 7 performs notification using a warning sound ( s13). The ticket gate unit 1A determines whether or not the age associated with the user who has determined that the user is not an infant under 6 years old in s12 is 60 years or older (elderly) (s14). When it is determined that the ticket gate unit 1A is an elderly person in s14, the ticket gate unit 1A executes the above-described processing after s11. That is, if the user who cannot pass is an elderly person, it opens without closing the door 6a. This prevents an elderly person from colliding with the closed door 6a.

また、改札ユニット1Aは、s14で高齢者でないと判定すると、扉開閉部6により、改札通路の出口側に位置する扉6aを閉し(s15)、上述したs16でこの利用者が改札通路から退出するのを待つ。   If the ticket gate unit 1A determines that it is not an elderly person in s14, the door opening / closing section 6 closes the door 6a located on the exit side of the ticket gate passage (s15), and the user exits the ticket gate passage in s16 described above. Wait for the exit.

なお、s15では、この利用者よりも先に改札通路に進入し、通行可と判定されている利用者、または高齢者が改札通路から退出するのを待って、扉6aを閉する。   In step s15, the user enters the ticket gate before this user, waits for the user who has been determined to be allowed to pass, or an elderly person to exit the ticket gate, and closes the door 6a.

改札ユニット1Aは、利用者が改札通路から退出すると、改札通路に他の利用者がいるかどうかを判定する(s17)。s17では、改札通路から退出した利用者(改札処理の対象であった利用者)につづいて、改札通路に進入した利用者の有無を判定している。この利用者についても、この図5に示す改札処理を行っている。改札ユニット1Aは、s17で改札通路に他の利用者がいないと判定すると、画像処理ユニット11に対して、アイドル状態を通知し(s18)、本処理を終了する。また、改札ユニット1Bは、上述したs7で通知された改札停止指示により一時的に停止していた改札処理を再開する。   When the user exits the ticket gate, the ticket gate unit 1A determines whether there is another user in the ticket gate (s17). In s17, it is determined whether there is a user who has entered the ticket gate passage following the user who has exited the ticket gate passage (the user who was the target of the ticket gate processing). The ticket gate process shown in FIG. 5 is also performed for this user. If the ticket gate unit 1A determines that there is no other user in the ticket gate passage at s17, the ticket gate unit 1A notifies the image processing unit 11 of an idle state (s18), and ends this processing. Further, the ticket gate unit 1B restarts the ticket gate processing that has been temporarily stopped by the ticket gate stop instruction notified in s7 described above.

次に、画像処理ユニット11の動作について説明する。図6は、画像処理ユニットの動作を示すフローチャートである。画像処理ユニット11は、改札ユニット1からアイドル状態の通知があるとアイドルモードに移行する(s21、s22)。また、画像処理ユニット11は、改札ユニット1から進入検知の通知があれば進入検知モードに移行する(s23、s24)。また、画像処理ユニット11は、改札ユニット1から属性推定要求の通知があれば属性推定モードに移行する(s25、s26)。画像処理ユニット11は、s21〜s26の処理を繰り返し実行している。   Next, the operation of the image processing unit 11 will be described. FIG. 6 is a flowchart showing the operation of the image processing unit. The image processing unit 11 shifts to the idle mode when notified of the idle state from the ticket gate unit 1 (s21, s22). Further, if there is an entry detection notification from the ticket gate unit 1, the image processing unit 11 shifts to the entry detection mode (s23, s24). Further, if there is a notification of an attribute estimation request from the ticket gate unit 1, the image processing unit 11 shifts to the attribute estimation mode (s25, s26). The image processing unit 11 repeatedly executes the processes of s21 to s26.

画像処理ユニット11におけるアイドルモードの動作について説明する。図7は、このアイドルモードの動作を示すフローチャートである。また、図8は、このアイドル状態の動作を示す模式図である。画像処理ユニット11は、撮像部10A、10Bが撮像したフレーム画像が画像入力部13に入力されている。画像処理ユニット11は、アイドルモードであるとき、選択している撮像部10A、10Bを切り換える(s31)。画像処理ユニット11は、今回選択した撮像部10A(または10B)から画像入力部13に入力された撮像画像を画像処理部15に取り込み(s32)、利用者が撮像されているかどうかを判定する画像処理を行う(s33)。画像処理ユニット11は、s33で利用者が撮像されていないと判定すると、s31に戻り、上記処理を繰り返す。   An operation in the idle mode in the image processing unit 11 will be described. FIG. 7 is a flowchart showing the operation in the idle mode. FIG. 8 is a schematic diagram showing the operation in the idle state. In the image processing unit 11, frame images captured by the imaging units 10 </ b> A and 10 </ b> B are input to the image input unit 13. When in the idle mode, the image processing unit 11 switches the selected imaging units 10A and 10B (s31). The image processing unit 11 captures the captured image input to the image input unit 13 from the imaging unit 10A (or 10B) selected this time into the image processing unit 15 (s32), and determines whether the user is captured Processing is performed (s33). If the image processing unit 11 determines in s33 that the user has not been imaged, it returns to s31 and repeats the above processing.

例えば、図8に示すように、時刻T1において、改札ユニット1A側の撮像部10Aが撮像したフレーム画像を画像処理部15で処理し、このフレーム画像に利用者が撮像されていなければ、時刻T2において、改札ユニット1B側の撮像部10Bが撮像したフレーム画像を画像処理部15で処理する。すなわち、画像処理ユニット11は、s31〜s33にかかる処理を実行することにより、撮像部10A、10Bが撮像したフレーム画像を交互に画像処理部15で処理し、撮像されている利用者の有無を検知する。時刻T1〜時刻T4が、s31〜s33にかかる処理が繰り返された例を示している。   For example, as shown in FIG. 8, at time T1, a frame image captured by the image capturing unit 10A on the ticket gate unit 1A side is processed by the image processing unit 15, and if a user is not captured in this frame image, the time T2 , The image processing unit 15 processes the frame image captured by the imaging unit 10B on the ticket gate unit 1B side. That is, the image processing unit 11 executes the processing according to s31 to s33, so that the image processing unit 15 alternately processes the frame images captured by the imaging units 10A and 10B, and the presence / absence of the user being imaged is determined. Detect. Time T1 to time T4 show an example in which the processing relating to s31 to s33 is repeated.

なお、s33では、改札通路に進入する以前に利用者を検知しており、この利用者が改札通路に進入するとは限らない。   In s33, the user is detected before entering the ticket gate, and this user does not necessarily enter the ticket gate.

画像処理ユニット11は、s33で利用者が撮像されていると判定すると、その利用者の属性を推定する(s34)。また、画像処理ユニット11は、これ以降、選択していない側の撮像部10A(または10B)が撮像したフレーム画像を画像記憶部14に記憶し(s35)、s32に戻る。すなわち、撮像されている利用者を検知した撮像部10A(または10B)が撮像したフレーム画像を画像処理部15で繰り返し処理するとともに、反対側の撮像部10B(または10A)が撮像したフレーム画像を画像記憶部14に記憶する。   If the image processing unit 11 determines that the user is imaged in s33, the image processing unit 11 estimates the attribute of the user (s34). Thereafter, the image processing unit 11 stores the frame image captured by the imaging unit 10A (or 10B) on the unselected side in the image storage unit 14 (s35), and returns to s32. That is, the image processing unit 15 repeatedly processes the frame image captured by the imaging unit 10A (or 10B) that has detected the user being imaged, and the frame image captured by the opposite imaging unit 10B (or 10A). The image is stored in the image storage unit 14.

例えば、図8に示す時刻T5で撮像部10Aが撮像したフレーム画像に利用者が撮像されていることを検知すると、次の時刻T6でも、撮像部10Aが撮像したフレーム画像を画像処理部15で処理する。また、時刻T6で撮像部10Bが撮像したフレーム画像については、画像記憶部14に記憶する。   For example, when it is detected that the user is captured in the frame image captured by the image capturing unit 10A at time T5 shown in FIG. 8, the frame image captured by the image capturing unit 10A is also captured by the image processing unit 15 at the next time T6. To process. Further, the frame image captured by the imaging unit 10B at time T6 is stored in the image storage unit 14.

画像記憶部14は、フレーム画像を所定数(3〜10フレーム程度)記憶する構成であり、すでに所定数のフレームを記憶している場合、記憶している時間的に最も古い画像を、新たに入力されたフレーム画像(最新のフレーム画像)に書き換える。   The image storage unit 14 is configured to store a predetermined number of frame images (about 3 to 10 frames). When a predetermined number of frames are already stored, the image storage unit 14 newly stores the oldest image stored in time. Rewrite the input frame image (latest frame image).

なお、画像処理部15で処理している側の撮像部10A(または10B)が撮像したフレーム画像については、この画像処理部15に取り込まれると消去される。   Note that the frame image captured by the imaging unit 10A (or 10B) on the side processed by the image processing unit 15 is deleted when it is captured by the image processing unit 15.

また、画像処理ユニット11は、この後、フレーム画像に利用者が撮像されていない状態になると、s31に戻る。   After that, when the image processing unit 11 is in a state where the user is not captured in the frame image, the process returns to s31.

例えば、撮像部10Aが、図8に示す時刻T7で撮像したフレーム画像に利用者が撮像されていないと判定すると、図8に示す時刻T2以降の処理を実行する。また、この場合、画像処理部15は、時刻T5〜時刻T7までの間、撮像部10Aが撮像したフレーム画像を連続的に処理しており、時刻T6、T7で、撮像部10Bが撮像したフレーム画像については、画像記憶部14に記憶している。   For example, when the imaging unit 10A determines that the user is not captured in the frame image captured at time T7 illustrated in FIG. 8, the processing after time T2 illustrated in FIG. 8 is executed. In this case, the image processing unit 15 continuously processes the frame images captured by the imaging unit 10A from time T5 to time T7, and the frames captured by the imaging unit 10B at times T6 and T7. The image is stored in the image storage unit 14.

このように、アイドル状態では、利用者が改札通路に進入する前に、その利用者を検知し、事前に属性の推定処理を行うことから、この利用者が撮像されている、より多くのフレーム画像を用いて、この利用者の属性を推定することができる。したがって、属性の推定精度の低下が抑えられる。   Thus, in the idle state, before the user enters the ticket gate, the user is detected and attribute estimation processing is performed in advance, so that more frames in which the user is captured are captured. The user's attribute can be estimated using the image. Therefore, a decrease in attribute estimation accuracy can be suppressed.

次に、画像処理ユニット11における進入検知モードの動作について説明する。図9は、この進入検知モードの動作を示すフローチャートである。また、図10は、この進入検知モードの動作を示す模式図である。画像処理ユニット11は、利用者の進入が検知された側の撮像部10A(または10B)を選択し、選択した側の撮像部10A(または10B)が撮像したフレーム画像を画像処理部15に取り込む(s41)。また、利用者の進入が検知されていない側の撮像部10B(または10A)が撮像したフレーム画像を画像記憶部14に記憶する(s42)。   Next, the operation in the entry detection mode in the image processing unit 11 will be described. FIG. 9 is a flowchart showing the operation in this approach detection mode. FIG. 10 is a schematic diagram showing the operation in this approach detection mode. The image processing unit 11 selects the imaging unit 10A (or 10B) on the side where the user's entry is detected, and captures the frame image captured by the selected imaging unit 10A (or 10B) into the image processing unit 15. (S41). Further, the frame image captured by the imaging unit 10B (or 10A) on the side where the user's entry is not detected is stored in the image storage unit 14 (s42).

この場合も、上述のアイドルモードと同様に、画像処理部15で処理している側(選択している側)の撮像部10A(または10B)が撮像したフレーム画像については、この画像処理部15に取り込まれると消去される。   Also in this case, as in the above-described idle mode, the frame image captured by the imaging unit 10A (or 10B) on the side (selected side) processed by the image processing unit 15 is the image processing unit 15. When it is taken in, it is deleted.

画像処理部15は、s41で取り込んだフレーム画像を処理し、利用者が撮像されていれば、その属性を推定する(s43、s44)。画像処理ユニット11は、進入検知状態である間、s41〜s44の処理を繰り返す。   The image processing unit 15 processes the frame image captured in s41, and if the user has been imaged, estimates the attribute (s43, s44). The image processing unit 11 repeats the processes of s41 to s44 while in the approach detection state.

例えば、画像処理ユニット11は、図10に示すように、改札通路への利用者の進入が改札ユニット1A側で検知された場合、撮像部10Aからフレーム画像が入力されるごとに、そのフレーム画像を画像処理部15に取り込み、利用者の検知、および利用者の属性の推定を繰り返す(時刻T11〜時刻T17)。また、撮像部10Bから入力されるフレーム画像は、画像記憶部14に記憶される(時刻T11〜時刻T17)。   For example, as shown in FIG. 10, the image processing unit 11, when the user's entry into the ticket gate is detected on the ticket gate unit 1 </ b> A side, every time a frame image is input from the imaging unit 10 </ b> A, Are captured in the image processing unit 15, and the detection of the user and the estimation of the attribute of the user are repeated (time T11 to time T17). In addition, the frame image input from the imaging unit 10B is stored in the image storage unit 14 (time T11 to time T17).

また、上述のアイドルモードと異なり、画像処理ユニット11は、進入検知モードであるときは、図10に示す時刻T14で、撮像部10Aから入力されたフレーム画像から利用者が検知できなくても、撮像部10Aの選択を切り換えない。すなわち、次の時刻T15においても、画像処理部15で処理するフレーム画像を撮像している撮像部10Aの選択を切り換えない。これは、進入検知された利用者が一時的に撮像部10A(または10B)の撮像視野から外れただけで、改札通路から退出していないからである。改札通路から退出していれば、上述したs18で、改札ユニット1A(または1B)からアイドルモ状態の通知がある。   Further, unlike the above-described idle mode, the image processing unit 11 is in the approach detection mode, even if the user cannot be detected from the frame image input from the imaging unit 10A at time T14 shown in FIG. The selection of the imaging unit 10A is not switched. That is, even at the next time T15, the selection of the imaging unit 10A that captures the frame image processed by the image processing unit 15 is not switched. This is because the user whose entry has been detected has only temporarily deviated from the imaging field of the imaging unit 10A (or 10B) and has not left the ticket gate. If the ticket gate is exited, the ticket gate unit 1A (or 1B) notifies the idle mode state in s18 described above.

また、図10に示すようにある時刻(時刻T15〜時刻T17)において、選択されていない撮像部10Bのフレーム画像に利用者が撮像されることがある。このフレーム画像は、この時点では画像処理部15で処理されないが、画像記憶部14に記憶される。この記憶されたフレーム画像は、後述する属性推定モードで利用する場合がある。   Further, as shown in FIG. 10, at a certain time (time T15 to time T17), the user may be imaged in the frame image of the imaging unit 10B that is not selected. This frame image is not processed by the image processing unit 15 at this time, but is stored in the image storage unit 14. The stored frame image may be used in an attribute estimation mode described later.

このように、進入検知モードでは、改札通路に進入した利用者について、その利用者の乗車券を受け付ける前から、属性の推定処理を行っているので、この利用者が撮像されている、より多くのフレーム画像を用いて、この利用者の属性を推定することができる。したがって、属性の推定精度の低下が抑えられる。   As described above, in the entry detection mode, since the attribute estimation process is performed for the user who has entered the ticket gate before accepting the user's ticket, the user is imaged more. This user's attribute can be estimated using the frame image. Therefore, a decrease in attribute estimation accuracy can be suppressed.

次に、画像処理ユニット11における属性推定モードの動作について説明する。図11は、この属性推定モードの動作を示すフローチャートである。また、図12、および図13は、この属性推定モードの動作を示す模式図である。   Next, the operation of the attribute estimation mode in the image processing unit 11 will be described. FIG. 11 is a flowchart showing the operation of this attribute estimation mode. FIGS. 12 and 13 are schematic diagrams showing the operation of this attribute estimation mode.

画像処理ユニット11は、属性推定要求を送信してきた改札ユニット1A(または1B)が、選択している側の撮像部10A(または10B)であるかどうかを判定する(s51)。画像処理ユニット11は、選択している側の撮像部10A(または10B)であれば、上述のアイドルモードや、進入検知モードで事前に属性を推定している。また、画像処理ユニット11は、属性推定要求の通知があったときに、選択している側の撮像部10A(または10B)から入力されたフレーム画像を処理して、利用者の属性を推定してもよい(s53)。   The image processing unit 11 determines whether or not the ticket gate unit 1A (or 1B) that has transmitted the attribute estimation request is the selected imaging unit 10A (or 10B) (s51). If the image processing unit 11 is the selected imaging unit 10A (or 10B), the attribute is estimated in advance in the above-described idle mode or approach detection mode. The image processing unit 11 processes the frame image input from the selected imaging unit 10A (or 10B) when the attribute estimation request is notified, and estimates the attribute of the user. (S53).

また、画像処理ユニット11は、選択していない側の撮像部10A(または10B)であれば、画像記憶部14に記憶しているフレーム画像の有無を判定する(s52)。記憶している画像がなければ、今回入力されたフレーム画像を処理して、利用者の属性を推定する(s53)。この場合、以降に入力される数フレーム分のフレーム画像を処理して、利用者の属性を推定してもよい。   Further, if the image processing unit 11 is not selected, the image processing unit 11 determines whether or not there is a frame image stored in the image storage unit 14 (s52). If there is no stored image, the frame image input this time is processed to estimate the user's attributes (s53). In this case, the attribute of the user may be estimated by processing frame images for several frames inputted thereafter.

また、画像記憶部14に記憶しているフレーム画像があれば、この記憶しているフレーム画像と、今回入力されたフレーム画像とを用いて、利用者の属性を推定する(s54)。すなわち、画像処理部15が、利用者が撮像されている複数フレームを用いて、この利用者の属性を推定する。   If there is a frame image stored in the image storage unit 14, the attribute of the user is estimated using the stored frame image and the frame image input this time (s54). That is, the image processing unit 15 estimates the attribute of the user using a plurality of frames in which the user is captured.

画像処理ユニット11は、利用者の属性を推定した推定結果を改札ユニット1A(または1B)に通知し(s55)、上述した進入検知状態に移行する(s56)。s56で進入検知状態に移行するのは、今回属性を推定した利用者につづいて、改札通路に進入する利用者に対応するためである。   The image processing unit 11 notifies the ticket gate unit 1A (or 1B) of the estimation result of estimating the user attributes (s55), and shifts to the above-described entry detection state (s56). The reason for shifting to the entry detection state in s56 is to respond to the user who enters the ticket gate passage following the user whose attribute has been estimated this time.

例えば、図12に示すように、時刻T21〜T23で改札ユニット1A側の撮像部10Aを選択していた場合に、時刻T24で、改札ユニット1Aから属性推定要求があると、時刻T21〜T23の間に入力されたフレーム画像を処理して、利用者の属性を事前に推定している。また、画像処理部15は、時刻T24で撮像部10Aから入力されたフレーム画像を処理して利用者の属性を推定する。画像処理ユニット11は、これらの複数のフレーム画像を処理して推定した利用者の属性を推定結果として改札ユニット1Aに送信する。また、時刻T25以降も、撮像部10Aから入力されているフレーム画像を画像処理部15で処理し、撮像部10Bから入力されているフレーム画像を画像記憶部14に記憶する。   For example, as shown in FIG. 12, if the imaging unit 10A on the ticket gate unit 1A side is selected at times T21 to T23, and there is an attribute estimation request from the ticket gate unit 1A at time T24, the times T21 to T23 are displayed. The user's attributes are estimated in advance by processing the frame image input in between. In addition, the image processing unit 15 processes the frame image input from the imaging unit 10A at time T24 and estimates the user's attributes. The image processing unit 11 processes the plurality of frame images and transmits the estimated user attributes to the ticket gate unit 1A as estimation results. Further, after time T25, the frame image input from the imaging unit 10A is processed by the image processing unit 15, and the frame image input from the imaging unit 10B is stored in the image storage unit 14.

また、図13に示すように、時刻T21〜T23で改札ユニット1A側の撮像部10Aを選択していた場合に、時刻T24で、改札ユニット1Bから属性推定要求があると、画像記憶部14に記憶している撮像部10Bが撮像したフレーム画像、および時刻T24で入力された撮像部10Bが撮像したフレーム画像(すなわち、複数のフレーム画像)毎に、画像処理部15で撮像されている利用者の属性を推定する。したがって、この場合も、利用者の属性の推定精度を低下させることがない。また、画像処理部15は、時刻T25以降に、撮像部10Bから入力されるフレーム画像を画像処理部15で処理する。また、画像記憶部は、時刻T24以降に、撮像部10Aから入力されるフレーム画像を画像記憶部14に記憶する。   As shown in FIG. 13, when the imaging unit 10A on the ticket gate unit 1A side is selected at times T21 to T23, if there is an attribute estimation request from the ticket gate unit 1B at time T24, the image storage unit 14 The user imaged by the image processing unit 15 for each frame image captured by the image capturing unit 10B and the frame image (that is, a plurality of frame images) captured by the image capturing unit 10B input at time T24. Estimate the attributes of Therefore, also in this case, the estimation accuracy of the user's attribute is not lowered. In addition, the image processing unit 15 causes the image processing unit 15 to process the frame image input from the imaging unit 10B after time T25. Further, the image storage unit stores the frame image input from the imaging unit 10A in the image storage unit 14 after time T24.

なお、画像処理ユニット11は、属性推定要求を受信した後に、属性推定モードに以降し、属性推定結果を改札ユニット1A(または1B)に送信した後、進入検知モードに移行する。   The image processing unit 11 enters the attribute estimation mode after receiving the attribute estimation request, transmits the attribute estimation result to the ticket gate unit 1A (or 1B), and then shifts to the entry detection mode.

このように、この画像処理ユニット11は、改札通路の両側の進入口を撮像しているフレーム画像を処理する画像処理部15を1つにしたので、十分なコストダウンが図れる。これにより、改札通路における利用者の通行方向を双方向とした自動改札機1のコストダウンが図れる。   As described above, the image processing unit 11 has a single image processing unit 15 that processes the frame images capturing the entrances on both sides of the ticket gate, so that the cost can be reduced sufficiently. Thereby, the cost reduction of the automatic ticket gate 1 which made the direction of a user's passage in a ticket gate a bidirectional | two-way can be aimed at.

また、改札通路に進入した利用者の属性を、複数枚のフレーム画像を用いて推定するので、利用者の属性の推定精度の低下も抑えられる。   Moreover, since the attribute of the user who entered the ticket gate is estimated using a plurality of frame images, it is possible to suppress a decrease in the estimation accuracy of the user attribute.

また、上記説明では、本願発明を駅の改札口に設置される自動改札機1に適用した場合を例にしたが、本願発明は、遊園地やテーマパーク等の施設の出入口に設置されるゲート装置等にも適用できる。   In the above description, the present invention is applied to the automatic ticket gate 1 installed at the ticket gate of the station. However, the present invention is a gate installed at the entrance of a facility such as an amusement park or a theme park. It can also be applied to devices.

1…自動改札機
1A、1B…改札ユニット
2…制御部
3(3A、3B)…乗車券処理部
4(4A、4B)…利用者検知部
5(5A、5B)…表示部
6(6A、6B)…扉開閉部
7(7A、7B)…報知部
8…通信部
10…撮像部
11…画像処理ユニット
12…制御部
13…画像入力部
14…画像記憶部
15…画像処理部
16…通信部
DESCRIPTION OF SYMBOLS 1 ... Automatic ticket gate 1A, 1B ... Ticket gate unit 2 ... Control part 3 (3A, 3B) ... Passage ticket processing part 4 (4A, 4B) ... User detection part 5 (5A, 5B) ... Display part 6 (6A, 6B) ... Door opening / closing part 7 (7A, 7B) ... notification part 8 ... communication part 10 ... imaging part 11 ... image processing unit 12 ... control part 13 ... image input part 14 ... image storage part 15 ... image processing part 16 ... communication Part

Claims (6)

利用者の通行方向を双方向としたゲート装置の通路に進入した利用者の撮像画像を処理する画像処理ユニットであって、
利用者が前記通路に進入する一方の進入口周辺を撮像エリアとする第1の撮像部、および他方の進入口周辺を撮像エリアとする第2の撮像部が撮像しているフレーム画像が入力される画像入力部と、
前記第1の撮像部、または前記第2の撮像部の一方を選択する選択部と、
前記画像入力部に入力された、前記選択部が選択している一方の撮像部が撮像したフレーム画像を処理する画像処理部と、
前記画像入力部に入力された、前記選択部が選択していない他方の撮像部が撮像したフレーム画像を記憶する画像記憶部と、を備え、
前記画像処理部は、前記ゲート装置からの指示にしたがって、前記選択部が前記撮像部の選択を切り換えたとき、前記画像記憶部に記憶しているフレーム画像を処理する、画像処理ユニット。
An image processing unit for processing a captured image of a user who has entered a passage of a gate device in which a user's passage direction is bidirectional,
A frame image captured by the first imaging unit having the imaging area around one entrance where the user enters the passage and the second imaging unit having the imaging area around the other entrance is input. An image input unit,
A selection unit for selecting one of the first imaging unit or the second imaging unit;
An image processing unit that processes a frame image captured by one imaging unit selected by the selection unit, which is input to the image input unit;
An image storage unit that stores a frame image that is input to the image input unit and captured by the other imaging unit that is not selected by the selection unit;
The image processing unit is an image processing unit that processes a frame image stored in the image storage unit when the selection unit switches selection of the imaging unit in accordance with an instruction from the gate device.
前記画像記憶部は、前記選択部が選択していない他方の撮像部が最近撮像した所定数のフレーム画像を記憶する、請求項1に記載の画像処理ユニット。   The image processing unit according to claim 1, wherein the image storage unit stores a predetermined number of frame images recently captured by the other imaging unit not selected by the selection unit. 前記ゲート装置は、前記選択部に対して、前記通路への利用者の進入を検知したとき、この利用者が前記通路に進入した側の前記進入口周辺を撮像エリアとする前記撮像部の選択を指示する、請求項1、または2に記載の画像処理ユニット。   When the gate device detects the entry of the user into the passage with respect to the selection unit, the selection of the imaging unit with the vicinity of the entrance on the side where the user enters the passage as an imaging area. The image processing unit according to claim 1, wherein 前記ゲート装置は、前記選択部に対して、前記進入口周辺に配置している媒体受付部で媒体を受け付けたとき、この媒体を受け付けた前記媒体受付部を配置している側の進入口周辺を撮像エリアとする前記撮像部の選択を指示する、請求項1〜3のいずかに記載の画像処理ユニット。   When the gate device receives a medium at the medium receiving unit arranged around the entrance with respect to the selection unit, the gate device is located around the entrance on the side where the medium accepting unit that accepts the medium is placed. The image processing unit according to claim 1, wherein the image processing unit is instructed to select the imaging unit having the imaging area as an imaging area. 前記選択部は、前記ゲート装置から選択する前記撮像部が指示されていないとき、前記画像処理部がフレーム画像を処理する毎に、前記第1の撮像部、または前記第2の撮像部の選択を交互に切り換える、請求項1〜4のいずれかに記載の画像処理ユニット。   The selection unit selects the first imaging unit or the second imaging unit every time the image processing unit processes a frame image when the imaging unit to be selected is not instructed from the gate device. The image processing unit according to claim 1, wherein the image processing unit is switched alternately. 前記選択部は、前記ゲート装置から選択する前記撮像部が指示されていないとき、前記画像処理部が処理したフレーム画像に利用者が撮像されていることを検知した場合、このフレーム画像を撮像した側の前記撮像部を選択する、請求項5に記載の画像処理ユニット。   When the selection unit detects that a user is captured in a frame image processed by the image processing unit when the imaging unit to be selected is not instructed from the gate device, the selection unit captures the frame image. The image processing unit according to claim 5, wherein the imaging unit on the side is selected.
JP2011058108A 2011-03-16 2011-03-16 Image processing unit Active JP5348160B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011058108A JP5348160B2 (en) 2011-03-16 2011-03-16 Image processing unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011058108A JP5348160B2 (en) 2011-03-16 2011-03-16 Image processing unit

Publications (2)

Publication Number Publication Date
JP2012194768A true JP2012194768A (en) 2012-10-11
JP5348160B2 JP5348160B2 (en) 2013-11-20

Family

ID=47086600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011058108A Active JP5348160B2 (en) 2011-03-16 2011-03-16 Image processing unit

Country Status (1)

Country Link
JP (1) JP5348160B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114958A (en) * 2013-12-13 2015-06-22 東芝テック株式会社 Face recognition gate system and face recognition gate system program
JP2017084412A (en) * 2017-01-26 2017-05-18 東芝テック株式会社 Face recognition gate system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05238655A (en) * 1992-02-28 1993-09-17 Hitachi Ltd Elevator hall waiting passenger detecting device
JP2007036510A (en) * 2005-07-26 2007-02-08 Auto Network Gijutsu Kenkyusho:Kk On-vehicle camera system
JP2009009171A (en) * 2007-06-26 2009-01-15 Omron Corp Passage control device and automatic ticket gate
JP2009294826A (en) * 2008-06-04 2009-12-17 Omron Corp Passage controller
JP2010210265A (en) * 2009-03-06 2010-09-24 Toshiba Corp Passage detection device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05238655A (en) * 1992-02-28 1993-09-17 Hitachi Ltd Elevator hall waiting passenger detecting device
JP2007036510A (en) * 2005-07-26 2007-02-08 Auto Network Gijutsu Kenkyusho:Kk On-vehicle camera system
JP2009009171A (en) * 2007-06-26 2009-01-15 Omron Corp Passage control device and automatic ticket gate
JP2009294826A (en) * 2008-06-04 2009-12-17 Omron Corp Passage controller
JP2010210265A (en) * 2009-03-06 2010-09-24 Toshiba Corp Passage detection device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114958A (en) * 2013-12-13 2015-06-22 東芝テック株式会社 Face recognition gate system and face recognition gate system program
JP2017084412A (en) * 2017-01-26 2017-05-18 東芝テック株式会社 Face recognition gate system

Also Published As

Publication number Publication date
JP5348160B2 (en) 2013-11-20

Similar Documents

Publication Publication Date Title
US20040239776A1 (en) Automatic photographing system
US9394740B2 (en) Failsafe operation for unmanned gatelines
US12106622B2 (en) Visitor management system and visitor management method
JP5260233B2 (en) TRACKING DEVICE, TRACKING METHOD, AND TRACKING PROGRAM
JP5348160B2 (en) Image processing unit
JP5560786B2 (en) Gate device
JP4591089B2 (en) Unprocessed recording medium detection device
JP2009294907A (en) Passage controller
CN105608921B (en) The method and apparatus for prompting public transport line in an electronic
JP5652273B2 (en) Gate device
US20140074521A1 (en) Admission system
US20230342570A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
JP2012194719A (en) Gate system
JP2007058762A (en) Ticket gate and ticket examination method
JP2006107362A (en) Human detection sensor, radio device, monitoring device, monitoring system, monitoring method, computer program, and storage medium for it
JP2005196621A (en) Automatic ticket gate
JP5407954B2 (en) Gate device
JP5211561B2 (en) Traffic control device and automatic ticket gate
JP2008134895A (en) Access control gate
JP5187004B2 (en) Traffic control device
JP2007140790A (en) Noncontact medium processor and noncontact medium processing system
JP2010102506A (en) Automatic ticket gate device
JP2007241389A (en) Ticket gate machine and ticket gate method
JP5752541B2 (en) Automatic ticket gate system and ticket gate system
JP5752543B2 (en) Automatic ticket gate

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R150 Certificate of patent or registration of utility model

Ref document number: 5348160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150