JP2023144233A - 車室内監視システム - Google Patents

Abstract

【課題】車室外の人たちについてのプライバシーポリシーに対応して乗客の挙動監視を行う、車室内監視システムを提供する。【解決手段】車室内監視システム１０は、カメラ１２によって撮影された車室内の画像に基づき乗客の挙動を監視する。処理部３０のマスキング部３０－５は、カメラ１２によって撮影した画像の内、車室外に相当する部分にマスキング処理をする。【選択図】図１

Description

本発明は、カメラによって撮影された車室内の画像に基づき乗客の挙動を監視する車室内監視システムに関する。

自動運転の乗り合いバスなどでは、乗客の安全を図る観点から、車室内をカメラで撮影し、監視することが提案されている。例えば、特許文献１では、転倒リスクの高い乗客を判定し、その乗客の転倒を回避しつつ、円滑な運行を実現する制御方法が提案されている。

特開２０２０－００３９３６号公報

ここで、カメラで人を撮影する場合、被写体となる人たちのプライバシーを守る必要がある。乗り合いバスの車室内の画像を取得する場合には、カメラ画像等を取得することや、取得した画像等を運行の安全維持に利用することなどを説明し、乗客の承諾を予め得ておくことが考えられる。

しかし、乗り合いバスなどの車両には窓があり、乗客は窓から外の風景を眺めることができる。車室内を撮影した場合には、その画像に窓の外にいる人なども映ることになるが、これらの人たちに撮影の承諾を得ることは困難である。そこで、乗客ではなく、車両の外で撮影されてしまう人たちへの対処が必要となる。

本発明に係る車室内監視システムは、カメラによって撮影された車室内の画像に基づき乗客の挙動を監視する車室内監視システムであって、前記カメラによって撮影した画像の内、車室外に相当する部分にマスキング処理をする。

前記車室外に相当する部分か否かの判定は、画像の深度推定によって行うことができる。

前記車室外に相当する部分か否かの判定は、窓の部分に限定して行うことができる。

前記車室外に相当する部分についての画像は自動的に破棄することができる。

窓の外でカメラ画像に映る人や物にマスキング処理を施すことで、車室外の人たちについてのプライバシーポリシーに対応することができる。

車室内監視システム１０の全体構成を示すブロック図である。 処理部３０における、カメラ１２で取得した画像の画像処理の一例を示すフローチャートである。 マスキング前の画像と、マスキング後の画像を示す図である。

以下、本発明の実施形態について、図面に基づいて説明する。なお、本発明は、ここに記載される実施形態に限定されるものではない。

「全体構成」
まず、実施形態に係る車室内監視システムが搭載される車両は、利用者を乗客として乗せて、予め定められた経路を走行する乗り合いバスであって、加減速、操舵などを自動的に行う自動運転車両を想定しているが、半自動運転車両や乗員が運転する通常の車両にも適用することができる。また、走行経路には、始点、終点の他に停留所を設け、停留所における停車、発進なども自動的に行うとよい。

このような車両では、車室内の状況を運行管理センターなどで監視する必要がある。例えば、ドアの開閉においては、ドア付近の乗客を把握し、乗客がドアから所定距離離れていることを確認してドアを開閉する。また、乗客が、乗り込んだ場合には、乗客の移動が終わり、落ち着いてから発車する。この際「発車します。」などのアナウンスを自動で行う。また、走行中に乗客が席から立ったりした場合には、注意を促したり、減速したりする。

本実施形態に係る車室内監視システム１０は、自動運転車両に搭載され、車室内のカメラ画像を運行管理センターに送信する。運行管理センターでは、送信されてくる車室内の画像（通常は動画）を監視し、自動運転車両の走行を制御する。

図１は、車室内監視システム１０の全体構成を示すブロック図である。カメラ１２は、車室内を撮影し、画像を得る機器であって、複数設けてもよい。ここで、カメラ１２で得る画像データは動画像データであるが、解像度の良い静止画像データも合わせて取得してもよい。通信部１４は、無線通信（近距離の直接の無線通信を含む）、インターネットなどの通信回線での通信を利用して、車両の運行を管理する運行管理センター２０や、利用者の携帯端末などと通信することができる。上述したように、車両の自動走行については、運行管理センター２０が管理するとよい。

カメラ１２、通信部１４は、処理部３０に接続されている。処理部３０は、カメラ１２で撮影した画像の処理や、運行管理センター２０との必要な情報のやり取りなどを制御する。

処理部３０は、コンピュータで形成され各種データ処理を行うが、その機能として、画像認識部３０－１、窓認識部３０－２、動体認識部３０－３、車室内外分離部３０－４、マスキング部３０－５を含む。

画像認識部３０－１は、カメラ１２によって得られた画像からエッジ認識などの処理を行い、各種物体の輪郭の認識などを行う。

窓認識部３０－２は、カメラ１２を車両に設置した際や、運行前などに、車室内画像をデフォルト画像として記憶しておくとともに、車室内画像のうちの窓領域の位置について記憶しておく。このため、窓認識部３０－２からのデータによって、運行時に得た画像における窓領域を認識することができる。また、デフォルト画像から窓枠部分なども、予め認識することができる。なお、窓にはカーテンが引かれる場合もあり、この場合についても画像を予め記憶しておき、カーテンの認識に利用するとよい。

動体認識部３０－３は、連続した画像などから、動体を認識し、これを追跡する。この場合、もともと得られている車室内画像も利用することができる。例えば、時間的に異なる画像の差分画像から動体を認識することができ、このような動体認識により乗客などが認識できる。

車室内外分離部３０－４は、窓領域について得られる画像について、車室内か、車室外かを判定する。なお、車両走行中は、車室外の静止物体も、相対的に移動するため、動体として認識される。

画像の車室内外の判定は、基本的に、深度推定によって行う。カメラ１２で得た画像から深度推定を行うことができるが、必ずしもカメラ１２で得た画像に限定されず、他の手段で深度推定を行うこともできる。

なお、窓により反射された車室内画像は、その距離から反射画像と判定できる。この反射画像については、そのまま表示してもよいが、削除してもよい。窓の内側面に、反射防止の処理を施すこともできる。

マスキング部３０－５は、窓領域において車室内の物体以外の領域についてマスキングを施し、その領域の画像を排除する。モザイクや、白塗り、黒塗りなどの処理を採用することができ、各種のマスキングソフトウェアを利用することができる。

ここで、カメラ１２からの画像については、車室内物体画像と、車室外画像を画素毎に認識でき、車室外部分にマスキングをする。窓領域を一旦マスキングして、車室内物体を上書きしてもよいし、車室内部分以外の車室外部分をマスキングしてもよい。

なお、マスキングする前の車室外画像を含む画像については、マスキング処理が完了した場合には、破棄して記憶しないようにするとよい。

また、上記説明では、車両に搭載された処理部３０において、カメラ１２からの画像を処理してマスキング処理した画像を得たが、カメラ１２において得られた画像を外部のサーバコンピュータ、例えば運行管理センター２０のサーバコンピュータに送り、外部のサーバコンピュータにおいて画像処理を実施してマスキングした画像を得てもよい。

＜深度推定（カメラ１２、その他のセンサからの距離推定）＞
この深度推定には、以下のような手段が採用可能である。
・モーションキャプチャーを使用して室内の人のみにフォーカス
乗客には、何らかのセンサを装着してもらい、このセンサからの信号によって乗客の動作などを判断し、車室内の乗客を認識する。確実な認識が可能であるが、乗客にセンサを装着してもらう必要がある。チケットや、スマートフォンにセンサを搭載しておき、車両に乗り込む際に、車室内監視システム１０が乗客およびそのセンサを認識することもできる。
・ＴＯＦカメラ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ Ｃａｍｅｒａ）
レーザを用いて、物体までの距離を測定する。これによって、車室外の物体を認識することができる。ＴＯＦカメラで得られるデータは、距離についての信号であり、人による遠隔監視のためには、別途カメラが必要になる。
・ステレオカメラで深度推定
２以上のカメラからの画像が得られれば、被写体までの距離を検出するのは容易であり、最も確実な深度推定が行える。しかし、複数のカメラが必要になりシステムが高額になる。
・単眼カメラで深度推定
単眼カメラでは、機械学習をすることによって、深度推定を行うことについて各種の提案がある。ステレオカメラよりは精度が劣るが、コスト面のメリットがある。

機械学習には、例えば、ボードキャリブレーションという手法を利用することができる。ボードキャリブレーションでは、チェッカーボードのような外見のものを用いて、カメラ画像の各種パラメータを決定し、大きさなどを検出できるようにする。また、セマンティックセグメンテーションという手法で、画像のピクセル（画素）一つ一つに対して、何が写っているかといった、ラベルやカテゴリを関連付け、画像中の物体について、乗員、乗客を認識することができる。

このような手法を利用して、単眼カメラの画像から、乗員、乗客、窓の外の風景などを学習し、乗員、乗客、を個別に認識することができる。

なお、基本的に窓内の画像から車室外物体と、車室内物体を認識することが目的なので、１つの物体が窓外までつながっていた場合には、車室内物体と判定することができる。このような判定も合わせて利用するとよい。

また、乗降口は、決まっており、乗客はここから出入りする。このため、乗車したときから、動体を認識して、これを追跡することで窓内物体が車室内物体（乗客、乗員）であることを認識することもできる。

「マスキングについての手順」
図２は、処理部３０における、カメラ１２取得画像についての処理の一例を示すフローチャートである。

まず、カメラ１２からカメラ画像を取得する（Ｓ１１）。窓認識部３０－２が予め記憶されている窓位置を読み出し、画像中の窓位置を認識する（Ｓ１２）。そして、車室内外分離部３０－４が窓内の画像について深度推定を実施する（Ｓ１３）。このように、深度推定を窓内領域に限定することでデータ処理量を限定できる。窓内の画像を処理することによって、画像内に位置する物体について、それぞれ深度を推定する。すなわち、上述の各種手法によって、窓内の画像についてその被写体までの距離を検出する。基本的に窓内画像の各ピクセルの距離が推定される。また、動体認識部３０－３において得られた動体か否かの判定結果を利用することで、乗客の挙動の認識も可能となる。

なお、車室外の画像の内、空の部分は、物体が存在しない部分であり、また歩行者などは車室外の物体であり、距離が大きく異なる。ここでは、窓より外にある物体と、窓より内にある物体を認識すればよいため、各物体の距離を正確に認識する必要はなく、室内物体でない深度となる領域について車室外と判定すればよい。すなわち、窓領域全体の深度を判定し、深度が所定以下の部分のみを抽出して、車室内物体と認識することができる。

また、単眼カメラの画像を、機械学習モデルを使用して判定する場合、よい学習をしたモデルができれば、車室内外の正しい判定を瞬時に行うことができる。

距離検出の場合でも、窓の位置がわかっており、深度推定により、車室外物体、車室内物体を判別できる。

そして、車室内外の判定ができた場合に、マスキング部３０－５が車室内物体を除き、画像中の窓領域をマスキングする（Ｓ１４）。

マスキングは、上述したように、車室内物体の領域を除いた領域をマスキング処理することで行ってもよいし、車室内物体を抽出しておき、窓領域をマスキングした上に車室内物体を上書きしてもよい。

そして、得られた車室外物体についてのマスキングがなされた画像を外部の運行管理センター２０に送信する（Ｓ１５）。また、オペレータが乗車している場合には、車室内のディスプレイ４０に表示するとよい。なお、オペレータが乗車していない場合も、表示を行うことができる。

送信した画像データについては、運行管理センターにおいて記憶されるが、車室内監視システム１０においても、記憶しておくとよい。一方、カメラ１２から得られた、マスキング前の画像データについては、この段階で自動的に破棄する（Ｓ１６）。このように、プライバシーポリシー上問題になる可能性がある車室外に相当する部分の画像データを自動的に破棄することで、プライバシーポリシーに適切に対応することができる。

「マスキングの状態」
図３には、マスキング前の画像と、マスキング後の画像が示してある。マスキング前の画像では、窓Ｗの手前の車室内Ｉの乗客Ｐと、窓Ｗから見える車室外の景色Ｏが存在する。このような画像に対し、窓Ｗの領域について車室内の乗客Ｐの部分を除いてマスキングがなされる。図においては、マスキングエリアを砂地で示してある。なお、この例では、車室内物体である、乗客の部分より少し広めの領域については、マスキングのやり方を変更してある。これは、マスキングの処理を簡易に行うためであるが、これによって乗客Ｐの部分がよりわかりやすくなる。また、このエリアについては、マスキングを省略して車室外の画像を残してもよい。小さいエリアであれば、プライバシー上の問題は生じないからである。もちろん、このような車室内物体を取り囲むエリアを設ける必要はなく、マスキングエリアの上に車室内物体の画像をそのまま表示してもよい。

１０ 車室内監視システム、１２ カメラ、１４ 通信部、２０ 運行管理センター、３０ 処理部、３０－１ 画像認識部、３０－２ 窓認識部、３０－３ 動体認識部、３０－４ 車室内外分離部、３０－５ マスキング部、４０ ディスプレイ。

Claims (4)

1. カメラによって撮影された車室内の画像に基づき乗客の挙動を監視する車室内監視システムであって、
   前記カメラによって撮影した画像の内、車室外に相当する部分にマスキング処理をする、
   車室内監視システム。
2. 請求項１に記載の車室内監視システムであって、
   前記車室外に相当する部分か否かの判定は、画像の深度推定によって行う、
   車室内監視システム。
3. 請求項１に記載の車室内監視システムであって、
   前記車室外に相当する部分か否かの判定は、窓の部分に限定して行う、
   車室内監視システム。
4. 請求項１～３のいずれか１つに記載の車室内監視システムであって、
   前記車室外に相当する部分についての画像は自動的に破棄する、
   車室内監視システム。
   

Images