JP6992425B2

JP6992425B2 - Image processing device, seat usage detection system, image processing method, and image processing program

Info

Publication number: JP6992425B2
Application number: JP2017218214A
Authority: JP
Inventors: 雄一矢野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-11-13
Filing date: 2017-11-13
Publication date: 2022-01-13
Anticipated expiration: 2037-11-13
Also published as: JP2019091145A

Description

本発明は、画像処理、特に、車両などの座席の使用状況を検出する為の画像処理に関する。 The present invention relates to image processing, particularly image processing for detecting the usage status of a seat such as a vehicle.

特許文献１は、車両などの施設内の各利用場所に、その利用が許可されている正規な利用者が居るか否かを、撮影画像を利用して確認するシステムを開示する。このシステムにおいて、カメラが各座席に対応して設置されている。このカメラは、対応する座席に向かって撮影を行い、着席している利用者をその正面方向からカラー撮影する。 Patent Document 1 discloses a system for confirming whether or not there is a legitimate user who is permitted to use the vehicle at each place of use in a facility such as a vehicle by using a photographed image. In this system, cameras are installed for each seat. This camera shoots toward the corresponding seat and shoots the seated user in color from the front.

このシステムにおいて、着席管理データベースは、車両内の座席毎に、その利用者に関する情報を記憶管理するものであり、「座席番号」、「着席画像データ」の各項目を有している。「座席番号」は当該座席固有の番号であり、「着席画像データ」は、その座席に向かって撮影した撮影画像であり、利用者が着席している場合にはその利用者の撮影画像である。 In this system, the seating management database stores and manages information about the user for each seat in the vehicle, and has each item of "seat number" and "seat image data". The "seat number" is a number unique to the seat, and the "seated image data" is a photographed image taken toward the seat, and when the user is seated, the photographed image of the user. ..

このシステムは、この着席管理データベースを用いて、各座席に、正規な利用者が居るか否かを確認する。 This system uses this seating management database to check whether or not there is a legitimate user in each seat.

特開２００４－２８０４７７号公報Japanese Unexamined Patent Publication No. 2004-280477

車両などの指定席の使用状況を検出する方法として、各座席対応にセンサ類、例えば、カメラ（上記の特許文献１）、遠赤外線センサ、または、荷重センサを設け、着座したことを検出する方法がある。この方法は、多数のセンサ類が必要であり、設備が複雑で高価になるという課題が有る。さらに、車両などの完成後に、改めて座席にセンサ類を追加する必要が有るため、工事にかかる期間、及び、費用が発生するという課題も発生する。 As a method of detecting the usage status of reserved seats such as vehicles, a method of providing sensors, for example, a camera (Patent Document 1 above), a far-infrared sensor, or a load sensor for each seat to detect sitting. There is. This method requires a large number of sensors, and has a problem that the equipment is complicated and expensive. Further, since it is necessary to add sensors to the seat again after the vehicle is completed, there is a problem that the construction period and the cost are incurred.

各座席にセンサ類を付けない方法として、複数列の座席の使用状況を検出するために奥行き位置を検出するＴＯＦ（Time Of Flight）センサ、または、ステレオカメラを用いる方法がある。しかし、この方法も設備が高価になるという課題がある。 As a method of not attaching sensors to each seat, there is a method of using a TOF (Time Of Flight) sensor that detects the depth position in order to detect the usage status of a plurality of rows of seats, or a method using a stereo camera. However, this method also has a problem that the equipment becomes expensive.

本発明は、上記課題を解決する、画像処理装置、座席使用状況検出システム、画像処理方法、及び、画像処理プログラムを提供することを目的とする。 An object of the present invention is to provide an image processing device, a seat usage status detection system, an image processing method, and an image processing program that solve the above problems.

本発明の一つの実施の形態の画像処理装置は、カメラから入力された施設内の画像から、前記施設の座席の一部と重なっている人物とを検出する人物検出手段と、前記人物が検出された前記座席の識別情報を、前記画像に映されている前記座席の、前記人物と重なっていない部分から検出して出力する着座位置検出手段と、を備える。 The image processing apparatus according to one embodiment of the present invention includes a person detecting means for detecting a person overlapping a part of a seat of the facility from an image in the facility input from a camera, and the person detecting the person. It is provided with a seating position detecting means for detecting and outputting the identified seat identification information from the portion of the seat shown in the image that does not overlap with the person.

本発明の一つの実施の形態の画像処理方法は、カメラから入力された施設内の画像から、前記施設の座席の一部と重なっている人物とを検出し、前記人物が検出された前記座席の識別情報を、前記画像に映されている前記座席の、前記人物と重なっていない部分から検出して出力する。 The image processing method of one embodiment of the present invention detects a person who overlaps a part of the seat of the facility from the image in the facility input from the camera, and the seat in which the person is detected is detected. Identification information is detected and output from the portion of the seat shown in the image that does not overlap with the person.

本発明の一つの実施の形態の画像処理プログラムは、カメラから入力された施設内の画像から、前記施設の座席の一部と重なっている人物とを検出する人物検出処理と、前記人物が検出された前記座席の識別情報を、前記画像に映されている前記座席の、前記人物と重なっていない部分から検出して出力する着座位置検出処理と、をコンピュータに実行させる。 The image processing program of one embodiment of the present invention includes a person detection process for detecting a person who overlaps a part of a seat of the facility from an image in the facility input from a camera, and a person detection process for the person. The computer is made to execute the seating position detection process of detecting and outputting the identified seat identification information from the portion of the seat shown in the image that does not overlap with the person.

本発明にかかる画像処理装置は、車両などの施設に設けられた座席の使用状況を検出するシステムの構築費用を低減できる。 The image processing device according to the present invention can reduce the cost of constructing a system for detecting the usage status of seats provided in facilities such as vehicles.

図１は、本実施形態にかかる座席使用状況検出システム３０の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a seat usage status detection system 30 according to the present embodiment. 図２は、列車の車両４０内の構成を側面から見た図である。FIG. 2 is a side view of the configuration inside the train car 40. 図３は、車両４０にカメラ３１が持つ視野（撮影範囲）の例を示す。FIG. 3 shows an example of the field of view (shooting range) of the camera 31 in the vehicle 40. 図４は、コンピュータ装置６０の構成図である。FIG. 4 is a block diagram of the computer device 60. 図５は、第２の実施の形態の画像処理装置１０の構成を示すブロック図である。FIG. 5 is a block diagram showing the configuration of the image processing device 10 according to the second embodiment.

＜第一の実施の形態＞
＜概要＞
本実施形態の座席使用状況検出システム３０においては、施設、例えば列車の車両４０に設けられた各座席４１に識別情報４２を付す。施設利用の時間帯になると、施設内のカメラ３１が、当該識別情報４２と座席に着席している乗客４３等の人物とを一緒に撮影する。そして、画像処理装置１０と指定席状況管理装置２０が、カメラ３１が撮影した画像から座席４１の使用状況を検出する。これにより、座席使用状況検出システム３０の構築費用を低減する。 <First embodiment>
<Overview>
In the seat usage detection system 30 of the present embodiment, identification information 42 is attached to each seat 41 provided in a facility, for example, a train car 40. At the time of using the facility, the camera 31 in the facility takes a picture of the identification information 42 and a person such as a passenger 43 seated in the seat together. Then, the image processing device 10 and the reserved seat status management device 20 detect the usage status of the seat 41 from the image taken by the camera 31. As a result, the construction cost of the seat usage status detection system 30 is reduced.

＜構成＞
図１は、本実施形態にかかる座席使用状況検出システム３０の構成を示すブロック図である。座席使用状況検出システム３０は、画像処理装置１０、指定席状況管理装置２０、カメラ３１、及び、携帯端末装置３２を包含する。画像処理装置１０と、指定席状況管理装置２０は接続されている。カメラ３１は、施設、例えば、映画館、コンサートホール、列車の車両４０に設けられて、画像処理装置１０と無線または有線の通信網を介して接続されている。携帯端末装置３２は、指定席状況管理装置２０と無線の通信網を介して接続されている。携帯端末装置３２は、検札係、例えば、映画館の案内係、車両４０の車掌が携帯している。 <Structure>
FIG. 1 is a block diagram showing a configuration of a seat usage status detection system 30 according to the present embodiment. The seat usage status detection system 30 includes an image processing device 10, a reserved seat status management device 20, a camera 31, and a mobile terminal device 32. The image processing device 10 and the reserved seat status management device 20 are connected to each other. The camera 31 is provided in a facility such as a movie theater, a concert hall, or a train car 40, and is connected to the image processing device 10 via a wireless or wired communication network. The mobile terminal device 32 is connected to the reserved seat status management device 20 via a wireless communication network. The mobile terminal device 32 is carried by a ticket checker, for example, a movie theater usher or a conductor of a vehicle 40.

以降の説明において、施設は列車の車両４０、施設を利用する人物は乗客４３、検札係は車掌であるとする。 In the following description, it is assumed that the facility is the train car 40, the person using the facility is the passenger 43, and the ticket checker is the conductor.

画像処理装置１０は、人物検出部１１、着座位置検出部１２、及び、座席位置情報格納部１３を備えている。人物検出部１１は、カメラ３１から入力された画像から、座席４１の一部と重なっている乗客４３を検出する。ここで、「座席４１の一部と重なっている」は、人物（この場合乗客４３）によって視野が遮られて、カメラ３１から座席４１の一部は撮影できなないが、他の部分は撮影できることを意味する。 The image processing device 10 includes a person detection unit 11, a seating position detection unit 12, and a seat position information storage unit 13. The person detection unit 11 detects the passenger 43 that overlaps a part of the seat 41 from the image input from the camera 31. Here, in the case of "overlapping a part of the seat 41", the field of view is obstructed by a person (passenger 43 in this case), and the camera 31 cannot shoot a part of the seat 41, but the other part is shot. It means that you can do it.

着座位置検出部１２は、乗客４３が検出された座席４１の識別情報４２を画像から検出して出力する。座席位置情報格納部１３は、識別情報４２に関連付けて座席４１の位置情報を格納する。座席位置情報格納部１３は、例えば、各座席４１に対応する行、識別情報４２に対応する列、及び、位置情報に対応する列からなる２次元の表を格納する。ここで、座席位置は、各座席４１固有の位置情報であり、例えば、座席４１の列と列内横並びのシート位置を示す、例えば１６－Ｄというような２次元データである。識別情報４２については、後述する。 The seating position detection unit 12 detects and outputs the identification information 42 of the seat 41 in which the passenger 43 is detected from the image. The seat position information storage unit 13 stores the position information of the seat 41 in association with the identification information 42. The seat position information storage unit 13 stores, for example, a two-dimensional table including a row corresponding to each seat 41, a column corresponding to the identification information 42, and a column corresponding to the position information. Here, the seat position is position information unique to each seat 41, and is, for example, two-dimensional data indicating a row of seats 41 and seat positions arranged side by side in the row, for example, 16-D. The identification information 42 will be described later.

指定席状況管理装置２０は、指定席使用検出部２１、及び、指定席予約情報格納部２２を備える。指定席使用検出部２１は、画像処理装置１０から入力された座席４１の位置情報に関連付けられた予約の有無情報を、指定席予約情報格納部２２から取得して、予約の無い座席４１の位置情報を出力する。指定席予約情報格納部２２は、座席４１の位置情報に関連付けて座席４１の予約の有無情報を格納する。指定席予約情報格納部２２は、例えば、座席位置をインデックス値とする、予約の有無を示すフラグ変数の配列である。座席位置が２次元データであれば、この配列は２次元配列とすれば良い。 The reserved seat status management device 20 includes a reserved seat use detection unit 21 and a reserved seat reservation information storage unit 22. The reserved seat use detection unit 21 acquires reservation presence / absence information associated with the position information of the seat 41 input from the image processing device 10 from the reserved seat reservation information storage unit 22, and the position of the seat 41 without reservation. Output information. The reserved seat reservation information storage unit 22 stores the reservation presence / absence information of the seat 41 in association with the position information of the seat 41. The reserved seat reservation information storage unit 22 is, for example, an array of flag variables indicating the presence or absence of reservation, with the seat position as an index value. If the seat position is two-dimensional data, this array may be a two-dimensional array.

携帯端末装置３２は、文字などの表示部を備えた端末装置であり、例えばスマートフォンである。 The mobile terminal device 32 is a terminal device provided with a display unit such as characters, and is, for example, a smartphone.

図２は、列車の車両４０内の構成を側面から見た図である。車両４０内には、複数の座席４１が設けられている。車両４０内の座席４１は、例えば、横並びの複数のシートからなる列が、前後に複数並べられて配置されている。図２の車両４０内の座席４１は、横並びの２つのシートからなる列（図３を参照）が、前後に５列並んでいる。 FIG. 2 is a side view of the configuration inside the train car 40. A plurality of seats 41 are provided in the vehicle 40. In the seat 41 in the vehicle 40, for example, a plurality of rows of a plurality of side-by-side seats are arranged side by side in the front-rear direction. The seat 41 in the vehicle 40 of FIG. 2 has two rows of two seats arranged side by side (see FIG. 3) arranged in five rows in the front-rear direction.

各座席４１の背もたれ部分上部には、識別情報４２が付されている。識別情報４２は、各座席４１固有の情報であり、カメラ３１が撮影した画像から判別可能な情報である。識別情報４２は、例えば、図２が示す様な背もたれ部分の模様のパターン、または、色彩である。識別情報４２は、背もたれ部分に記された記号を含む文字列、または、数字であっても良い。識別情報４２は、着席等した乗客４３がカメラ３１の視界を遮らない位置、例えば背もたれ部分上部の左右の両端には付されている。 Identification information 42 is attached to the upper part of the backrest portion of each seat 41. The identification information 42 is information unique to each seat 41 and can be discriminated from the image taken by the camera 31. The identification information 42 is, for example, a pattern or a color of the pattern of the backrest portion as shown in FIG. The identification information 42 may be a character string including a symbol written on the backrest portion or a number. The identification information 42 is attached to a position where the seated passenger 43 does not block the view of the camera 31, for example, at the left and right ends of the upper part of the backrest portion.

カメラ３１は、車両４０内の全ての座席４１の識別情報４２と、座席４１に着席等している乗客４３の少なくとも一部を撮影可能な位置に設置される。カメラ３１は、例えば、車両４０の、座席４１の前面上部または座席４１の前方天井に固定して設置される。なお、ここで、「座席４１の前面」は、着席した乗客４３が向く方向の壁面であり、車両４０の進行方向とは一致しない場合が有る。なお、カメラ３１は、鏡などを用いることで、他の場所に設置することも可能である。 The camera 31 is installed at a position where the identification information 42 of all the seats 41 in the vehicle 40 and at least a part of the passengers 43 seated in the seats 41 can be photographed. The camera 31 is fixedly installed, for example, on the upper front surface of the seat 41 or the front ceiling of the seat 41 of the vehicle 40. Here, the "front surface of the seat 41" is a wall surface in the direction in which the seated passenger 43 faces, and may not match the traveling direction of the vehicle 40. The camera 31 can be installed in another place by using a mirror or the like.

図３は、車両４０にカメラ３１が持つ視野（撮影範囲）の例を示す。図３が示すように、カメラ３１は、車両４０内の全ての座席について、識別情報４２と座席４１に着席している乗客４３の頭部を撮影可能になっている。なお、カメラ３１は、固定された状態で図３のような視野の全体を持っていても良い。または、カメラ３１は、固定された状態では、図３の一部、例えば、１列目から３列目を視野に入れるだけであり、モータなどでカメラ３１を回転させてレンズの方向を変えることで、残りの、例えば４列目と５列目の視野を得ても良い。 FIG. 3 shows an example of the field of view (shooting range) of the camera 31 in the vehicle 40. As shown in FIG. 3, the camera 31 can photograph the identification information 42 and the head of the passenger 43 seated in the seat 41 for all the seats in the vehicle 40. The camera 31 may have the entire field of view as shown in FIG. 3 in a fixed state. Alternatively, when the camera 31 is fixed, only a part of FIG. 3, for example, the first to third rows are in the field of view, and the camera 31 is rotated by a motor or the like to change the direction of the lens. Then, the remaining fields of view, for example, the fourth and fifth rows may be obtained.

カメラ３１は、例えば定期的に、車両４０の全座席４１の静止画を撮影して画像処理装置１０に送信する。または、カメラ３１と携帯端末装置３２を無線通信網で接続し、カメラ３１は、携帯端末装置３２から指示を受信した時に、車両４０の全座席４１の静止画を撮影して画像処理装置１０に送信しても良い。 For example, the camera 31 periodically captures still images of all seats 41 of the vehicle 40 and transmits them to the image processing device 10. Alternatively, the camera 31 and the mobile terminal device 32 are connected by a wireless communication network, and when the camera 31 receives an instruction from the mobile terminal device 32, the camera 31 captures a still image of all the seats 41 of the vehicle 40 and causes the image processing device 10 to take a still image. You may send it.

ここで、画像処理装置１０の人物検出部１１、及び、着座位置検出部１２は、論理回路、または、専用プロセッサとファームウェアで構成される。座席位置情報格納部１３は、半導体記憶装置、ＨＤＤ（Hard Disk Drive）、または、ＳＤＤ(Solid State Drive)等の記憶装置である。 Here, the person detection unit 11 and the seating position detection unit 12 of the image processing device 10 are composed of a logic circuit or a dedicated processor and firmware. The seat position information storage unit 13 is a storage device such as a semiconductor storage device, an HDD (Hard Disk Drive), or an SDD (Solid State Drive).

画像処理装置１０は、コンピュータ装置６０で構成されても良い。図４は、コンピュータ装置６０の構成図である。コンピュータ装置６０は、バス６４で相互に接続された、プロセッサ６１、主記憶手段６３、及び、外部記憶手段６２を備える。 The image processing device 10 may be composed of a computer device 60. FIG. 4 is a block diagram of the computer device 60. The computer device 60 includes a processor 61, a main storage means 63, and an external storage means 62, which are interconnected by a bus 64.

プロセッサ６１は、バス６４を経由して、主記憶手段６３、及び、外部記憶手段６２に対してデータの読み書きを行う。 The processor 61 reads / writes data to / from the main storage means 63 and the external storage means 62 via the bus 64.

また、プロセッサ６１は、主記憶手段６３に格納されている画像処理プログラム６５を実行する。なお、画像処理プログラム６５は、当初外部記憶手段６２に格納されており、コンピュータ装置６０の初期設定時に、プロセッサ６１が外部記憶手段６２から主記憶手段６３にロードしても良い。 Further, the processor 61 executes the image processing program 65 stored in the main storage means 63. The image processing program 65 is initially stored in the external storage means 62, and the processor 61 may load the image processing program 65 from the external storage means 62 into the main storage means 63 at the time of initial setting of the computer device 60.

ここで、主記憶手段６３は半導体メモリ手段である。外部記憶手段６２は、ＨＤＤ、または、ＳＤＤ等の記憶手段である。 Here, the main storage means 63 is a semiconductor memory means. The external storage means 62 is a storage means such as an HDD or an SDD.

コンピュータ装置６０のプロセッサ６１は、画像処理プログラム６５を実行することにより、人物検出部１１、及び、着座位置検出部１２として機能する。すなわち、プロセッサ６１は、画像処理プログラム６５を実行することにより、人物検出部１１、及び、着座位置検出部１２が行う処理を実行する。 The processor 61 of the computer device 60 functions as the person detection unit 11 and the seating position detection unit 12 by executing the image processing program 65. That is, the processor 61 executes the processing performed by the person detection unit 11 and the seating position detection unit 12 by executing the image processing program 65.

主記憶手段６３、または、外部記憶手段６２は、座席位置情報格納部１３として使用される。 The main storage means 63 or the external storage means 62 is used as the seat position information storage unit 13.

指定席状況管理装置２０の指定席使用検出部２１は、論理回路、または、専用プロセッサとファームウェアで構成される。指定席予約情報格納部２２は、半導体記憶装置、ＨＤＤ、または、ＳＤＤ等の記憶装置である。 The reserved seat use detection unit 21 of the reserved seat status management device 20 is composed of a logic circuit or a dedicated processor and firmware. The reserved seat reservation information storage unit 22 is a storage device such as a semiconductor storage device, an HDD, or an SDD.

指定席状況管理装置２０は、画像処理装置１０と同様に、コンピュータ装置６０で構成されても良い。この場合、画像処理プログラム６５は別のプログラムに置換され、コンピュータ装置６０のプロセッサ６１は、当該別のプログラムを実行することにより指定席使用検出部２１として機能する。 The reserved seat status management device 20 may be configured by the computer device 60, similarly to the image processing device 10. In this case, the image processing program 65 is replaced with another program, and the processor 61 of the computer device 60 functions as the reserved seat use detection unit 21 by executing the other program.

＜動作＞
列車の運行が始まるなどすると、カメラ３１は、例えば、定期的または携帯端末装置３２の指示に従って、車両４０の座席４１の静止画を撮影して、画像処理装置１０に入力する。 <Operation>
When the train operation starts, the camera 31 takes a still image of the seat 41 of the vehicle 40 and inputs it to the image processing device 10, for example, periodically or in accordance with the instruction of the mobile terminal device 32.

画像処理装置１０内では、人物検出部１１が当該画像を受信して、座席４１の一部と重なっている乗客４３を検出する。人物検出部１１は、例えば、背景差分を用いてこの抽出を行う。 In the image processing device 10, the person detection unit 11 receives the image and detects the passenger 43 overlapping a part of the seat 41. The person detection unit 11 performs this extraction using, for example, background subtraction.

具体的には、例えば、人物検出部１１は、列車の運行前にカメラ３１で車両４０の全ての座席４１の画像を取得して、背景画像として記憶しておく。その後、人物検出部１１は、運行中に同じアングルで取得した画像と背景画像を比較し、座席４１部分における差分を、当該座席４１の一部と重なっている乗客４３として検出すれば良い。人物検出部１１は、さらに、当該差分が人物としての特徴、例えば頭部の形状を備えていることを確認したうえで、乗客４３の検出をしても良い。 Specifically, for example, the person detection unit 11 acquires images of all the seats 41 of the vehicle 40 with the camera 31 before the train operates and stores them as background images. After that, the person detection unit 11 may compare the image acquired at the same angle during operation with the background image, and detect the difference in the seat 41 portion as the passenger 43 overlapping the part of the seat 41. The person detection unit 11 may further detect the passenger 43 after confirming that the difference has a characteristic as a person, for example, the shape of a head.

人物検出部１１は、座席４１の一部と重なっている乗客４３を検出すると、画像内における乗客４３の位置を、着座位置検出部１２に出力する。 When the person detection unit 11 detects the passenger 43 that overlaps a part of the seat 41, the person detection unit 11 outputs the position of the passenger 43 in the image to the seating position detection unit 12.

着座位置検出部１２は、画像内における乗客４３の位置の周辺を探索して、座席位置情報格納部１３に格納されている識別情報４２の何れかを検出する。識別情報４２が模様パターンである場合、着座位置検出部１２は、画像内における乗客４３の位置の周辺の模様パターンと一致する、座席位置情報格納部１３に格納されている識別情報４２を検出する。識別情報４２が色彩である場合、着座位置検出部１２は、画像内における乗客４３の位置の周辺の色彩と一致する、座席位置情報格納部１３に格納されている識別情報４２を検出する。識別情報４２が文字列や数字である場合、着座位置検出部１２は、画像内における乗客４３の位置の周辺から抽出される文字列や数字と一致する、座席位置情報格納部１３に格納されている識別情報４２を検出する。 The seating position detection unit 12 searches around the position of the passenger 43 in the image and detects any of the identification information 42 stored in the seat position information storage unit 13. When the identification information 42 is a pattern, the seating position detection unit 12 detects the identification information 42 stored in the seat position information storage unit 13 that matches the pattern pattern around the position of the passenger 43 in the image. .. When the identification information 42 is a color, the seating position detection unit 12 detects the identification information 42 stored in the seat position information storage unit 13 that matches the color around the position of the passenger 43 in the image. When the identification information 42 is a character string or a number, the seating position detection unit 12 is stored in the seat position information storage unit 13 that matches the character string or the number extracted from the periphery of the position of the passenger 43 in the image. The identification information 42 is detected.

さらに、着座位置検出部１２は、検出した識別情報４２に関連付けられて座席位置情報格納部１３に格納されている座席４１の位置情報を取得して、指定席状況管理装置２０に出力する。 Further, the seating position detection unit 12 acquires the position information of the seat 41 associated with the detected identification information 42 and stored in the seat position information storage unit 13, and outputs the position information to the reserved seat status management device 20.

指定席状況管理装置２０の指定席使用検出部２１は、画像処理装置１０から入力された座席４１の位置情報に関連付けられた予約の有無情報を、指定席予約情報格納部２２から取得して、座席４１が予約されていないことを検出すると警報を通知する。指定席使用検出部２１は、例えば、予約が無かった座席４１の位置情報、及び、当該座席４１の一部と重なっている乗客４３の画像を、警報として携帯端末装置３２に送信する。警報は、予約が無かった座席４１の位置情報だけであっても良い。 The reserved seat use detection unit 21 of the reserved seat status management device 20 acquires reservation presence / absence information associated with the position information of the seat 41 input from the image processing device 10 from the reserved seat reservation information storage unit 22. When it is detected that the seat 41 is not reserved, an alarm is notified. The reserved seat use detection unit 21 transmits, for example, the position information of the seat 41 for which no reservation has been made and the image of the passenger 43 overlapping a part of the seat 41 to the mobile terminal device 32 as an alarm. The alarm may be only the position information of the seat 41 for which no reservation has been made.

＜効果＞
本実施の形態にかかる画像処理装置１０は、車両４０などの施設における指定席である座席４１の使用状況を検出する為の座席使用状況検出システム３０の構築費用を低減できる。その理由は、乗客４３などの人物との重なりが検出された座席４１の識別情報４２を、着座位置検出部１２が、カメラ３１が撮影した画像から検出するからである。この為、一枚の映像から複数の座席４１の使用状況を検出可能となり、座席４１毎にカメラ３１を設置する必要が無くなるからである。カメラ３１は、既存の監視カメラを流用することも可能である。 <Effect>
The image processing device 10 according to the present embodiment can reduce the construction cost of the seat usage status detection system 30 for detecting the usage status of the reserved seat 41 in the facility such as the vehicle 40. The reason is that the seating position detection unit 12 detects the identification information 42 of the seat 41 in which the overlap with a person such as the passenger 43 is detected from the image taken by the camera 31. Therefore, it is possible to detect the usage status of a plurality of seats 41 from one image, and it is not necessary to install a camera 31 for each seat 41. As the camera 31, it is possible to use an existing surveillance camera.

さらに、本実施の形態にかかる画像処理装置１０は、正確な座席４１の使用状況の検出が可能である。その理由は、座席４１の識別を画像内の位置に依存せずに行うからである。この為、カメラ３１の向きの揺れ、ずれなどで、座席４１の映像内の位置がずれても座席４１の識別誤りが発生しないからである。この特性は、カメラ３１が振動する列車に設置されている場合は、特に有益である。 Further, the image processing device 10 according to the present embodiment can accurately detect the usage status of the seat 41. The reason is that the seat 41 is identified independently of its position in the image. Therefore, even if the position of the seat 41 in the image is displaced due to the shaking or displacement of the direction of the camera 31, the identification error of the seat 41 does not occur. This characteristic is particularly useful when the camera 31 is installed on a vibrating train.

さらに、本実施の形態にかかる画像処理装置１０は、一台のカメラ３１で広範囲に広がって配置されている座席４１の使用状況の検出が可能である。その理由は、座席４１の識別を画像内の位置に依存せずに行う為、カメラ３１の向きをモータなどで変えることが可能であり、広範囲な画像を取ることが出来るからである。この特性は、既存の監視カメラを流用するとき、特に有益となる。 Further, the image processing device 10 according to the present embodiment can detect the usage status of the seats 41 that are widely arranged in a wide range with one camera 31. The reason is that since the seat 41 is identified without depending on the position in the image, the direction of the camera 31 can be changed by a motor or the like, and a wide range of images can be taken. This characteristic is especially useful when diverting existing surveillance cameras.

＜変形例＞
画像処理装置１０、及び、指定席状況管理装置２０は、統合されて、一台の装置として実装されても良い。この場合、例えば、画像処理装置１０が、人物検出部１１、着座位置検出部１２、及び、座席位置情報格納部１３に加えて、指定席使用検出部２１、及び、指定席予約情報格納部２２を備える。 <Modification example>
The image processing device 10 and the reserved seat status management device 20 may be integrated and mounted as one device. In this case, for example, the image processing device 10 has a reserved seat use detection unit 21 and a reserved seat reservation information storage unit 22 in addition to the person detection unit 11, the seating position detection unit 12, and the seat position information storage unit 13. To prepare for.

この統合された画像処理装置１０も、コンピュータ装置６０で構成されても良い。この場合、コンピュータ装置６０のプロセッサ６１は、画像処理プログラム６５を実行することにより、人物検出部１１、着座位置検出部１２、及び、指定席使用検出部２１として機能する。そして、主記憶手段６３、または、外部記憶手段６２は、座席位置情報格納部１３、及び、指定席予約情報格納部２２として使用される。 The integrated image processing device 10 may also be composed of a computer device 60. In this case, the processor 61 of the computer device 60 functions as the person detection unit 11, the seating position detection unit 12, and the reserved seat use detection unit 21 by executing the image processing program 65. The main storage means 63 or the external storage means 62 is used as the seat position information storage unit 13 and the reserved seat reservation information storage unit 22.

カメラ３１は、静止画でなく、動画を撮影し、人物検出部１１、及び、着座位置検出部１２は、当該動画のフレームから、座席４１等の情報を抽出しても良い。 The camera 31 may shoot a moving image instead of a still image, and the person detection unit 11 and the seating position detection unit 12 may extract information such as a seat 41 from the frame of the moving image.

＜第二の実施形態＞
図５は、第２の実施の形態の画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、人物検出部１１、及び、着座位置検出部１２を備える。人物検出部１１は、カメラ３１から入力された画像から、施設に設けられた座席４１の一部と重なっている乗客４３等の人物とを検出する。着座位置検出部１２は、人物が検出された座席４１の識別情報４２を、画像に映されている座席４１の、人物と重なっていない部分から検出して出力する。 <Second embodiment>
FIG. 5 is a block diagram showing the configuration of the image processing device 10 according to the second embodiment. The image processing device 10 includes a person detection unit 11 and a seating position detection unit 12. The person detection unit 11 detects a person such as a passenger 43 that overlaps a part of the seat 41 provided in the facility from the image input from the camera 31. The seating position detection unit 12 detects and outputs the identification information 42 of the seat 41 in which the person is detected from the portion of the seat 41 shown in the image that does not overlap with the person.

本実施の形態にかかる画像処理装置１０は、車両４０などの施設における座席４１の使用状況を検出する為の座席使用状況検出システム３０の構築費用を低減できる。その理由は、乗客４３などの人物との重なりが検出された座席４１の識別情報４２を、着座位置検出部１２が、カメラ３１が撮影した画像から検出するからである。この為、一枚の映像から複数の座席４１の使用状況を検出可能となり、座席４１毎にカメラ３１を設置する必要が無くなるからである。カメラ３１は、既存の監視カメラを流用することも可能である。 The image processing device 10 according to the present embodiment can reduce the construction cost of the seat usage status detection system 30 for detecting the usage status of the seat 41 in a facility such as a vehicle 40. The reason is that the seating position detection unit 12 detects the identification information 42 of the seat 41 in which the overlap with a person such as the passenger 43 is detected from the image taken by the camera 31. Therefore, it is possible to detect the usage status of a plurality of seats 41 from one image, and it is not necessary to install a camera 31 for each seat 41. As the camera 31, it is possible to use an existing surveillance camera.

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described above with reference to the embodiments, the present invention is not limited to the above embodiments. Various modifications that can be understood by those skilled in the art can be made to the structure and details of the present invention within the scope of the present invention.

１０画像処理装置
１１人物検出部
１２着座位置検出部
１３座席位置情報格納部
２０指定席状況管理装置
２１指定席使用検出部
２２指定席予約情報格納部
３０座席使用状況検出システム
３１カメラ
３２携帯端末装置
４０車両
４１座席
４２識別情報
４３乗客
６０コンピュータ装置
６１プロセッサ
６２外部記憶手段
６３主記憶手段
６４バス
６５画像処理プログラム 10 Image processor 11 Person detection unit 12 Seating position detection unit 13 Seat position information storage unit 20 Reserved seat status management device 21 Reserved seat usage detection unit 22 Reserved seat reservation information storage unit 30 Seat usage status detection system 31 Camera 32 Mobile terminal device 40 Vehicle 41 Seat 42 Identification information 43 Passenger 60 Computer equipment 61 Processor 62 External storage means 63 Main storage means 64 Bus 65 Image processing program

Claims

A person detection means for detecting a person who overlaps a part of the seat of the facility from the image in the facility input from the camera, and
An image processing device including a seating position detecting means for detecting and outputting the identification information of the seat in which the person is detected from a portion of the seat shown in the image that does not overlap with the person.

The identification information is a pattern of a different color or pattern for each seat on the upper part of the backrest portion of the seat.
The image processing device according to claim 1, wherein the seating position detecting means detects the color or the pattern of the pattern from the image.

The identification information is a character string or a number written on the upper part of the backrest portion of the seat, which is different for each seat.
The image processing device according to claim 1, wherein the seating position detecting means detects the character string or the number from the image.

Further, a seat position information storage means for storing the seat position information in association with the identification information is provided.
Any of claims 1 to 3, wherein the seating position detecting means acquires and outputs the position information associated with the identification information of the seat in which the person is detected from the seat position information storage means. The image processing device of one item.

The image processing apparatus according to claim 4, and
The reserved seat reservation information storage means for storing the reservation presence / absence information of the seat in association with the position information, and the reserved seat reservation information of the reservation associated with the position information input from the image processing device are reserved for the reserved seat. A seat usage status detection system including a reserved seat usage detection means that acquires the position information of the seat without reservation and outputs the position information of the seat without reservation, and a reserved seat status management device including the reserved seat usage detection means.

Further, the camera mounted fixedly on the upper front surface of the seat or the front ceiling of the seat of the train car,
The seat usage status detection system according to claim 5, further comprising a mobile terminal device that receives and displays the position information of the seat output by the reserved seat usage detecting means.

The seat usage detection system according to claim 6, wherein the camera changes the seat to be photographed by changing the direction of the lens.

From the image in the facility input from the camera, a person who overlaps a part of the seat of the facility is detected.
An image processing method for detecting and outputting the identification information of the seat in which the person is detected from a portion of the seat shown in the image that does not overlap with the person.

The identification information is a pattern of a different color or pattern for each seat on the upper part of the backrest portion of the seat.
The image processing method according to claim 8, wherein the color or the pattern of the pattern is detected from the image.

A person detection process that detects a person who overlaps a part of the seat of the facility from the image in the facility input from the camera, and
Image processing that causes a computer to execute seating position detection processing that detects and outputs the identification information of the seat in which the person is detected from the portion of the seat that does not overlap with the person in the image. program.