JP2003256813A - 操作者監視装置 - Google Patents

Abstract

(57)【要約】 【課題】顔画像照合方式の自然さや利便性という長所を
最大限活かし、全体としてのセキュリティレベルを従来
よりも大幅に向上させ、操作者の交代管理、正当性確
認、不正者の検知などを行なうことができる操作者監視
装置を提供する。 【解決手段】被操作物を操作する操作者の顔画像をカメ
ラで撮像して入力し、被操作物の操作が開始される時点
で、そのとき上記カメラで入力された操作者の顔画像を
取込み、この取込んだ顔画像を初期の登録顔画像として
登録する。そして、所定のタイミングで、上記カメラで
入力された操作者の顔画像を取込み、この取込んだ顔画
像と上記登録された顔画像とを照合することにより、操
作者が交代したか否かを判定し、この判定により操作者
が交代したと判定された場合、あらかじめ定められた所
定の動作を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえば、航空
機、走行車両、船舶などの操作者（運転者）を、操作者
の顔画像といった生体情報（バイオメトリクス）に基づ
いた本人認証技術を応用して監視する操作者監視装置に
関する。

【０００２】

【従来の技術】従来、バイオメトリクスとしては、指
紋、手形、声紋、サイン、網膜、虹彩などが実用化され
ている。これらは、方式的には、装置に直に触れる「接
触形」と触れる必要のない「非接触形」とに分類するこ
とができる。すなわち、上記バイオメトリクスの例のう
ち、指紋、手形、サインは「接触形」に属するものであ
る。ただし、サインは本人が署名するという行動を起こ
さなければならないという点で、指紋などとは多少性質
が異なっている。

【０００３】これに対して、本人が意識する必要がある
という点では、同様なバイオメトリクスが声紋（音声）
照合であるが、これは「非接触形」に属する。また、カ
メラから対象部位の画像を取込んで処理するという点
で、網膜や虹彩は「非接触形」に属すると言えるが、網
膜は眼球の奥に位置し、眼をレンズにほとんど接触させ
る必要があるため、接触形に近いものである。なお、虹
彩は、眼球の表面に現れているため、離れた位置からの
カメラで入力可能であるが、微細パターンであるため、
離せる距離にはおのずと限界がある。これに対して最
近、注目を集めている非接触形のバイオメトリクスが、
顔画像から得られる顔パターンによる個人識別である。
顔パターンは虹彩パターンよりもスケールが大きいた
め、比較的離れた位置からでも入力が可能あること、人
間どうしの個人識別においても使われており、人間系と
の親和性がよい点が大きな特徴である。

【０００４】

【発明が解決しようとする課題】従来、たとえば、航空
機、走行車両、船舶などの特に、公共の交通機関の不正
な操作者（運転者）の交代に関しては、管理・防止する
有効な一般的手段は存在しなかった。可能な手段として
は、ＩＣカードなどを用いた身分証明手段を携帯して、
運転・操作席付近に設置されたＩＣカードリーダに読取
らせて自動的に本人確認することが考えられるが、操作
性が必ずしも良いとは言えず、また、盗難、故意の貸出
しの可能性があるなど、セキュリティレベルが必ずしも
高いとは言えない。

【０００５】一方、従来からの顔画像を用いた個人認証
システムは、通常のビデオカメラを適当な位置に１台設
置し、正面または正面に近い顔画像を取込んで、あらか
じめ同様な条件で登録した顔画像とパターン照合を行な
うものであった。たとえば、文献１（「動画像を用いた
顔認識システム」信学技報 PRMU97-50,１９９７年6
月；山口、福井、前田著）や、文献２（「形状抽出とパ
ターン照合の組合せによる顔特徴点抽出」信学論Ｄ−I
I．Vol.j-80-D-II No.8 1997年８月 ；福井、山口
著）に示されるような、カメラをやや下方に設置して、
下から見上げた顔画像を取り込んで登録・照合を行なう
システムが提案されている。顔画像による本人確認は、
非接触により対象者の顔画像を取込めるという利点を持
つが、操作者の確認に効果的に応用された例は従来、見
当たらない。

【０００６】そこで、本発明は、顔画像照合方式の自然
さや利便性という長所を最大限活かし、全体としてのセ
キュリティレベルを従来よりも大幅に向上させ、操作者
の交代管理、正当性確認、不正者の検知などを行なうこ
とができる操作者監視装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】本発明の操作者監視装置
は、被操作物を操作する操作者の顔画像を撮像して入力
する画像入力手段と、被操作物の操作が開始される時点
で、そのとき前記画像入力手段により入力された操作者
の顔画像を取込み、この取込んだ顔画像を初期の顔画像
として登録する顔画像登録手段と、所定のタイミングで
前記画像入力手段により入力された操作者の顔画像を取
込み、この取込んだ顔画像と前記顔画像登録手段により
登録された顔画像とを照合することにより、操作者が交
代したか否かを判定する判定手段と、この判定手段によ
り操作者が交代したと判定された場合、あらかじめ定め
られた所定の動作を行なう制御手段とを具備している。

【０００８】また、本発明の操作者監視装置は、被操作
物を操作する操作者の顔画像を撮像して入力する画像入
力手段と、被操作物の操作が開始される時点で、そのと
き前記画像入力手段により入力された操作者の顔画像を
取込み、この取込んだ顔画像を初期の顔画像として登録
する顔画像登録手段と、この顔画像登録手段による顔画
像の登録時に取込まれた操作者の顔画像を、あらかじめ
正当な操作者の顔画像が登録されている正当者リストの
顔画像と照合することにより、当該操作者は正当な操作
者であるか否かを確認する第１の確認手段と、この第１
の確認手段により正当な操作者であると認められた場
合、所定のタイミングで前記画像入力手段により入力さ
れた操作者の顔画像を取込み、この取込んだ顔画像と前
記顔画像登録手段により登録された顔画像とを照合する
ことにより、操作者が交代したか否かを判定する判定手
段と、この判定手段により操作者が交代したと判定され
た場合、前記判定手段の判定時に取込まれた操作者の顔
画像を前記正当者リストの顔画像と照合することによ
り、当該操作者は正当な操作者であるか否かを確認する
第２の確認手段と、前記第１、第２の確認手段により正
当な操作者でないと認められた場合、あらかじめ定めら
れた所定の動作を行なう制御手段とを具備している。

【０００９】また、本発明の操作者監視装置は、被操作
物を操作する操作者の顔画像を撮像して入力する画像入
力手段と、被操作物の操作が開始される時点で、そのと
き前記画像入力手段により入力された操作者の顔画像を
取込み、この取込んだ顔画像を初期の顔画像として登録
する顔画像登録手段と、この顔画像登録手段による顔画
像の登録時に取込まれた操作者の顔画像を、あらかじめ
特定の不正な操作者の顔画像が登録されている不正者リ
ストの顔画像と照合することにより、当該操作者は特定
の不正な操作者であるか否かを確認する第１の確認手段
と、この第１の確認手段により特定の不正な操作者でな
いと認められた場合、所定のタイミングで前記画像入力
手段により入力された操作者の顔画像を取込み、この取
込んだ顔画像と前記顔画像登録手段により登録された顔
画像とを照合することにより、操作者が交代したか否か
を判定する判定手段と、この判定手段により操作者が交
代したと判定された場合、前記判定手段の判定時に取込
まれた操作者の顔画像を前記不正者リストの顔画像と照
合することにより、当該操作者は特定の不正な操作者で
あるか否かを確認する第２の確認手段と、前記第１、第
２の確認手段により特定の不正な操作者であると認めら
れた場合、あらかじめ定められた所定の動作を行なう制
御手段とを具備している。

【００１０】さらに、本発明の操作者監視装置は、被操
作物を操作する操作者の顔画像を撮像して入力する画像
入力手段と、被操作物の操作が開始される時点で、その
とき前記画像入力手段により入力された操作者の顔画像
を取込み、この取込んだ顔画像を、あらかじめ正当な操
作者の顔画像が登録されている正当者リストの顔画像と
照合することにより、当該操作者は正当な操作者である
か否かを確認する第１の確認手段と、この第１の確認手
段により正当な操作者であると認められた場合、所定の
タイミングで前記画像入力手段により入力された操作者
の顔画像を取込み、この取込んだ顔画像を前記正当者リ
ストの顔画像と照合することにより、当該操作者は正当
な操作者であるか否かを確認する第２の確認手段と、前
記第１、第２の確認手段により正当な操作者でないと認
められた場合、あらかじめ定められた所定の動作を行な
う制御手段とを具備している。

【００１１】

【発明の実施の形態】まず、本発明の実施の形態を説明
する前に本発明の概要について説明しておく。本発明
は、大きく分けて以下に示す（１）〜（５）の５つの発
明から構成される。 （１）顔照合により操作者の交代の検知、管理を行な
う。 ・操作者が被操作物（航空機、走行車両、船舶など）を
操作しているときの顔画像を取込み可能な位置および向
きに少なくとも１個のカメラ（画像入力手段）を設置す
る（複数個設置も可能）。この場合、カメラは、たとえ
ば、被操作物を操作するハンドルの中心位置、あるい
は、操作者の前面に位置する操作卓や操作パネルに設け
て、操作者に対し下斜め方向から見た顔画像を撮像す
る。

【００１２】・操作が開始される時点で、その時点の操
作者の顔画像を取込み、所定の処理を施した顔画像を初
期の顔画像として登録する。この場合、操作が開始され
る時点は、たとえば、被操作物のハンドルに所定値以上
の圧力がかかったとき、あるいは、操作者が着座する座
席の荷重が所定値以上かかったとき、あるいは、常時、
一定周期でカメラより画像を取込み、画像解析により変
化を検知したときである。

【００１３】・所定のタイミングで操作者の顔画像を取
込み、登録された顔画像との照合を行なうことにより、
操作者が交代したかどうかの判定を行なう。この場合、
所定のタイミングは、たとえば、操作者が着座する座席
の荷重が一旦ゼロになってから再度荷重が加わった時
点、あるいは、常時、一定の周期とする。

【００１４】・操作者の交代を検知したならば、所定の
動作を行なう。この場合、所定の動作としては、たとえ
ば、その時点で取込まれた顔画像を新たな顔画像として
登録する。あるいは、その時点で取込まれた顔画像と時
間などの属性情報を記録装置で記録するか、あらかじめ
決められた所へ伝送する。 （２）顔照合により操作者の交代検知および正当性確認
を行なう。 ・操作者が被操作物を操作しているときの顔画像を取込
み可能な位置および向きに少なくとも１個のカメラ（画
像入力手段）を設置する（複数個設置も可能）。

【００１５】・操作が開始される時点で、その時点の操
作者の顔画像を取込み、所定の処理を施した顔画像を初
期の顔画像として登録する。同時に、あらかじめ正当な
操作者の顔画像が登録された正当者リスト内の顔画像と
の照合確認を行なう。確認の結果、もし正当な操作者と
して認められなかった場合は、所定の動作を実行する。

【００１６】・所定のタイミングで操作者の顔画像を取
込み、登録された顔画像との照合を行なうことにより、
操作者が交代したかどうかの判定を行なう。操作者の交
代を検知したならば、あらかじめ正当な操作者の顔画像
が登録された正当者リスト内の顔画像との照合確認を行
なう。確認の結果、もし正当な操作者として認められな
かった場合は、所定の動作を実行する。 ・正当な操作者として認められなかった場合の動作とし
て、当該被操作物の操作を不能とする。あるいは、あら
かじめ定められた所（たとえば、本装置を運営する企業
の監視センタなど）へ通報する。 （３）上記（２）の変形タイプ１ ・操作の開始、操作者の交代時点において、顔画像の照
合と他の本人確認手段を組合わせる。この場合、他の本
人確認手段としては、被操作物のハンドルに対する左右
への操作者の手の握る圧力の付加順序（たとえば、右か
ら左へ、などの順序）を暗証コード代わりとする。すな
わち、ハンドルに対する左右への手の握る圧力の付加順
序があらかじめ定められた順序であるか否かにより本人
確認を行なう。あるいは、操作者の音声照合による本人
確認手段であってもよい。 （４）上記（２）の変形タイプ２ ・正当者リストとの照合の代わりに、あるいは、正当者
リストとの照合により正当な操作者でないと認められた
場合に、あらかじめ特定の不正な操作者の顔画像が登録
されている不正者リスト（いわゆる、ブラックリスト）
内の顔画像との照合確認を行なう。確認の結果、もし不
正な操作者として認められる場合は、所定の動作を実行
する。 （５）上記（２）の変形タイプ３ ・操作者の交代を検知した後に、正当者リストや不正者
リスト（ブラックリスト）との照合を行なうのでなく、
直ちに、正当者リストや不正者リストとの照合を行な
う。

【００１７】なお、上記（１）〜（５）の発明は、単独
であっても、互いに組合せても実施可能であることは説
明するまでもないことである。

【００１８】以下、本発明の実施の形態について図面を
参照して説明する。まず、第１の実施の形態について説
明する。第１の実施の形態は、前述した（１）の発明に
対応している。図１は、第１の実施の形態に係る操作者
監視装置の構成を概略的に示すものである。図１におい
て、画像入力手段としての複数のビデオカメラ（以後、
単にカメラと称す。複数でなく１個でもよい）１−１，
１−２，…，１−Ｎは、被操作物（たとえば、航空機、
走行車両、船舶など）を操作する操作者の顔画像を撮像
して入力するもので、本実施の形態では、モノクロの撮
影が可能なビデオカメラを採用している。

【００１９】カメラ１−１，１−２，…，１−Ｎの各出
力は、それぞれキャプチャボード２−１，２−２，…，
２−Ｎの入力にそれぞれ接続されている。すなわち、カ
メラ１−１からのビデオ信号（アナログデータ）１は、
Ａ／Ｄ変換回路２−１ａによりデジタルデータに変換さ
れた後、画像メモリ２−１ｂに一旦格納される。ここで
は、説明の簡略化のために、図示を省略しているが、キ
ャプチャボード２−２，…，２−Ｎ内にも、同様にＡ／
Ｄ変換回路、画像メモリが配置されており、ビデオ信号
２〜Ｎについても、キャプチャボード２−２，…，２−
Ｎ内において同様の処理がなされる。なお、カメラ１−
１，１−２，…，１−ＮがＵＳＢ（ユニバーサル・シリ
アル・バス）インタフェイスを備えている場合には、Ａ
／Ｄ変換回路２−１ａは不要となり、ＵＳＢインタフェ
イスを別途設けることになる。

【００２０】キャプチャボード２−１，２−２，…，２
−Ｎと、記録インタフェイス３、処理プロセッサ４、ワ
ークメモリ５、表示ボード６、登録手段としての辞書７
は、システムバス８を介して通信自在に接続されてい
る。表示ボード６には、ディスプレイ９が接続されてい
る。辞書７は、複数の辞書データ（基準の顔特徴デー
タ）が登録（記憶）される。

【００２１】処理プロセッサ４は、各カメラ１−１，１
−２，…，１−Ｎに対して、同期を取るための制御信号
を送信し、各カメラ１−１，１−２，…，１−Ｎから送
られる顔画像に係るデジタルデータを取込み、当該デー
タに対して、ワークメモリ５や辞書７を用いながら、後
述するような顔画像の登録、照合処理を行なう。

【００２２】記録インタフェイス３には、記録手段とし
てのハードディスク装置などの記録装置１０が接続され
ている。記録装置１０は、操作者の顔画像や顔特徴デー
タなどをハードディスクなどの記録媒体に記録するもの
である。また、システムバス８には、座席荷重検出手段
としての座席荷重検出装置１１が接続されている。座席
荷重検出装置１１は、操作者が着座する被操作物の座席
の荷重を検出するものである。さらに、システムバス８
には、通信制御部１２が接続されている。通信制御部１
２は、外部装置、たとえば、本装置を運営する企業の監
視センタなどと通信を行なうためのものである。

【００２３】図２、図３は、カメラの配置例を示してい
る。図２（ａ）は、カメラが１個の場合で、たとえば、
被操作物を操作するハンドル２１の中心部にカメラ１−
１が設置されていて、操作者の頭部に対し下斜め方向か
ら見た顔画像を撮像するように、位置および向きが設定
されている。なお、図２（ｂ）は操作者の頭部２２に対
し真上から見た図、図２（ｃ）は操作者の頭部２２に対
し真横から見た図を示している。図３は、カメラが複数
個の場合で、たとえば、操作者の前面に位置する操作パ
ネル２３にカメラ１−１，１−２が設置されていて、操
作者の頭部に対し下斜め方向から見た顔画像を撮像する
ようになっている。図４は、たとえば、図２のカメラ１
−１で撮像された操作者の顔画像の一例を示しており、
操作者の顔を下斜め方向から見た顔画像を捕らえている
ことがわかる。

【００２４】以下、図５に示すフローチャートを参照し
て、第１の実施の形態に係る操作者監視装置の処理プロ
セッサ４による顔画像の登録処理を説明する。なお、以
下の説明は、たとえば、図２のようにカメラが１つ設置
された場合である。まず、処理プロセッサ４は、管理番
号の発行を行なう（ステップＳ１）。次に、カメラ１−
１からの入力画像を取込む（ステップＳ２）。次に、入
力画像の全体から顔領域を検出する（ステップＳ３）。
次に、検出された顔領域内において、ほぼ円形領域とみ
なせる瞳領域と鼻孔領域を検出し、その領域の中心位置
を顔画像の特徴点とする（ステップＳ４）。なお、この
ステップＳ３，Ｓ４の処理では、たとえば、前記した文
献２で述べられている従来方法を採用することができ
る。

【００２５】次に、検出した特徴点の位置を基準とした
照合領域の切出しを行ない（ステップＳ５）、幾何補正
による大きさの正規化を行ない（ステップＳ６）、濃度
補正による濃度分布の正規化を行なう（ステップＳ
７）。次に、特徴抽出によるベクトルパターン表現を行
ない、顔特徴データ（以降、辞書データとも言う）とし
て辞書７に登録する（ステップ８）。この場合、先に発
行された管理番号などの属性情報とともに顔特徴データ
が登録される。

【００２６】次に、図６に示すフローチャートを参照し
て、第１の実施の形態に係る操作者監視装置の処理プロ
セッサ４による顔画像の照合処理を説明する。なお、以
下の説明は、たとえば、図２のようにカメラが１つ設置
された場合である。まず、処理プロセッサ４は、カメラ
１−１からの入力画像を取込む（ステップＳ１１）。次
に、入力画像の全体から顔領域を検出する（ステップＳ
１２）。次に、顔領域の検出が成功したか否かを判定し
（ステップＳ１３）、成功すれば、検出された顔領域内
において、ほぼ円形領域とみなせる瞳領域と鼻孔領域を
検出し、その領域の中心位置を顔画像の特徴点とする
（ステップＳ１４）。

【００２７】次に、検出した特徴点の位置を基準とした
照合領域の切出しを行ない（ステップＳ１５）、幾何補
正による大きさの正規化を行ない（ステップＳ１６）、
濃度補正による濃度分布の正規化を行なう（ステップＳ
１７）。次に、特徴抽出によるベクトルパターン表現を
行ない、入力された顔特徴データとして辞書７の辞書デ
ータと照合する（ステップ１８）。すなわち、入力され
た顔特徴データと辞書７に登録された複数の顔特徴デー
タとをそれぞれ照合することにより類似度が計算され、
この求められた類似度があらかじめ設定される所定の閾
値よりも大きい場合に照合成功（正当な操作者）とな
り、それ以外は照合失敗（正当でない操作者）となる。

【００２８】次に、上記した登録および照合処理を用い
た操作者の交代検知処理の流れについて、図７に示すフ
ローチャートを参照して説明する。なお、以下の説明
は、たとえば、図２のようにハンドル２１の中央部に１
つのカメラ１−１が設置された場合である。また、以下
に説明する処理は、主として処理プロセッサ４の処理プ
ログラムに基づく動作によって行なわれる。

【００２９】まず、座席荷重検出装置１１の出力を参照
することにより、操作者が着座する被操作物の座席の荷
重があらかじめ定められた所定値以上かかったか否か
（すなわち、被操作物の操作開始か否か）を判定する
（ステップＳ２１）。この判定の結果、座席の荷重が所
定値以上かかった場合、操作者が着座して被操作物の操
作を開始したものとみなし、ハンドル２１の中央部に設
置されたカメラ１−１からの入力画像を取込み、この取
込んだ入力画像から前記同様な動作により顔特徴データ
を抽出し、この抽出した顔特徴データを初期の登録顔画
像として辞書７に登録する（ステップＳ２２）。

【００３０】次に、このときの入力画像（顔画像）およ
びそれから抽出した顔特徴データを、当該日時データな
どの属性情報とともに記録装置１０で記録するか、ある
いは、通信制御部１２により、あらかじめ定められた所
（たとえば、本装置を運営する企業の監視センタなど）
へ送信する（ステップＳ２３）。

【００３１】次に、座席荷重検出装置１１の出力を参照
することにより、座席の荷重があらかじめ定められた所
定値以下になったか否か（すなわち、被操作物の操作終
了か否か）を判定する（ステップＳ２４）。この判定の
結果、座席の荷重が所定値以下になった場合、操作者が
操作を終了して座席から離れたものとみなし、ここで処
理を終了する。

【００３２】ステップＳ２４の判定の結果、座席の荷重
が所定値以下になっていない場合、まだ操作者が着座し
ていて操作を終了していないものとみなし、座席荷重検
出装置１１の出力を参照することにより、座席の荷重が
一旦ゼロになってから再度加わったか否か（すなわち、
操作者が交代したか否か）を判定する（ステップＳ２
５）。この判定の結果、座席の荷重が一旦ゼロになって
から再度加わった状態ではない場合、操作者は交代して
いないものとみなして、ステップＳ２４に戻り、上記同
様な動作を繰り返す。

【００３３】ステップＳ２５の判定の結果、座席の荷重
が一旦ゼロになってから再度加わった状態である場合、
操作者は交代しているものとみなして、カメラ１−１か
らの入力画像を再度取込み、この取込んだ入力画像から
前記同様な動作により顔特徴データを抽出し、この抽出
した顔特徴データと辞書７に登録されている複数の辞書
データ（顔特徴データ）とを照合し、両者の類似度を計
算する（ステップＳ２６）。

【００３４】次に、ステップＳ２６で計算した類似度
が、あらかじめ設定される所定の閾値よりも大きいか否
かを判定し（ステップＳ２７）、大きい場合、操作者が
一度交代したが前回と同じ正当な操作者であるとみなし
て、ステップＳ２４に戻り、上記同様な動作を繰り返
す。

【００３５】ステップＳ２７の判定の結果、計算した類
似度が設定された閾値よりも小さい場合、最終的に操作
者は交代したものとみなし、たとえば、ステップＳ２６
の照合時に取込んだ顔画像から得た顔特徴データを新た
な辞書データとして辞書７に登録するとともに、当該入
力画像（顔画像）および顔特徴データを当該日時データ
などの属性情報とともに記録装置１０で記録するか、あ
るいは、通信制御部１２により、あらかじめ定められた
所（たとえば、本装置を運営する企業の監視センタな
ど）へ送信して（ステップＳ２８）、ステップＳ２４に
戻り、上記同様な動作を繰り返す。このように、第１の
実施の形態によれば、操作者の顔照合により操作者の交
代の検知、管理を行なうことが可能となる。

【００３６】次に、第２の実施の形態について説明す
る。第２の実施の形態は、前述した（２）の発明に対応
している。第２の実施の形態は、第１の実施の形態と同
様な顔照合により操作者の交代検知および正当性確認を
行なうもので、装置構成は第１の実施の形態と同様でよ
いが、処理の流れが異なっており、以下、それについて
図８および図９に示すフローチャートを参照して説明す
る。

【００３７】なお、以下の説明は、たとえば、図２のよ
うにハンドル２１の中央部に１つのカメラ１−１が設置
された場合である。また、本実施の形態では、正当な操
作者は全て正当者リストの形式で、たとえば、ワークメ
モリ５内に登録（記憶）されているものとする。さら
に、以下に説明する処理は、主として処理プロセッサ４
の処理プログラムに基づく動作によって行なわれる。

【００３８】まず、座席荷重検出装置１１の出力を参照
することにより、操作者が着座する被操作物の座席の荷
重があらかじめ定められた所定値以上かかったか否か
（すなわち、被操作物の操作開始か否か）を判定する
（ステップＳ３１）。この判定の結果、座席の荷重が所
定値以上かかった場合、操作者が着座して被操作物の操
作を開始したものとみなし、ハンドル２１の中央部に設
置されたカメラ１−１からの入力画像を取込み、この取
込んだ入力画像から前記同様な動作により顔特徴データ
を抽出し、この抽出した顔特徴データを初期の登録顔画
像として辞書７に登録する（ステップＳ３２）。

【００３９】次に、このときの入力画像（顔画像）およ
びそれから抽出した顔特徴データを、当該日時データな
どの属性情報とともに記録装置１０で記録するか、ある
いは、通信制御部１２により、あらかじめ定められた所
（たとえば、本装置を運営する企業の監視センタなど）
へ送信する（ステップＳ３３）。

【００４０】次に、ステップＳ３２で得た顔特徴データ
を、全ての正当な操作者の顔特徴データが登録されてい
る正当者リスト内の各顔特徴データとそれぞれ照合し、
両者の類似度を計算する（ステップＳ３４）。次に、計
算した類似度が、あらかじめ設定される所定の閾値より
も大きい顔特徴データが正当者リスト内に存在するか否
か（すなわち、当該操作者は正当な操作者か否か）を判
定する（ステップＳ３５）。

【００４１】この判定の結果、存在しない場合、当該操
作者は正当な操作者でないとみなし、当該被操作物の操
作（運転）が不能となるように制御するとともに、あら
かじめ定められた所、たとえば、本装置を運営する企業
の監視センタへ正当でない操作者を検知した旨を通知し
（ステップＳ３６）、ここで処理を終了する。

【００４２】ステップＳ３５の判定の結果、計算した類
似度が所定の閾値よりも大きい顔特徴データが正当者リ
スト内に存在する場合、当該操作者は正当な操作者であ
るとみなし、再度、座席荷重検出装置１１の出力を参照
することにより、座席の荷重があらかじめ定められた所
定値以下になったか否か（すなわち、被操作物の操作終
了か否か）を判定する（ステップＳ３７）。この判定の
結果、座席の荷重が所定値以下になった場合、操作者が
操作を終了して座席から離れたものとみなし、ここで処
理を終了する。

【００４３】ステップＳ３７の判定の結果、座席の荷重
が所定値以下になっていない場合、まだ操作者が着座し
ていて操作を終了していないものとみなし、座席荷重検
出装置１１の出力を参照することにより、座席の荷重が
一旦ゼロになってから再度加わったか否か（すなわち、
操作者が交代したか否か）を判定する（ステップＳ３
８）。この判定の結果、座席の荷重が一旦ゼロになって
から再度加わった状態ではない場合、操作者は交代して
いないものとみなして、ステップＳ３７に戻り、上記同
様な動作を繰り返す。

【００４４】ステップＳ３８の判定の結果、座席の荷重
が一旦ゼロになってから再度加わった状態である場合、
操作者は交代しているものとみなして、カメラ１−１か
らの入力画像を再度取込み、この取込んだ入力画像から
前記同様な動作により顔特徴データを抽出し、この抽出
した顔特徴データと辞書７に登録されている複数の辞書
データ（顔特徴データ）とを照合し、両者の類似度を計
算する（ステップＳ３９）。

【００４５】次に、ステップＳ３９で計算した類似度
が、あらかじめ設定される所定の閾値よりも大きいか否
かを判定し（ステップＳ４０）、大きい場合、操作者が
交代したが前回と同じ正当な操作者であるとみなして、
ステップＳ３７に戻り、上記同様な動作を繰り返す。

【００４６】ステップＳ４０の判定の結果、計算した類
似度が設定された閾値よりも小さい場合、最終的に操作
者は交代したものとみなし、たとえば、ステップＳ３９
の照合時に取込んだ顔画像から得た顔特徴データを新た
な辞書データとして辞書７に登録するとともに、当該入
力画像（顔画像）および顔特徴データを当該日時データ
などの属性情報とともに記録装置１０で記録するか、あ
るいは、通信制御部１２により、あらかじめ定められた
所（たとえば、本装置を運営する企業の監視センタな
ど）へ送信する（ステップＳ４１）。

【００４７】次に、ステップＳ３９で得た顔特徴データ
を前記正当者リスト内の各顔特徴データとそれぞれ照合
し、両者の類似度を計算する（ステップＳ４２）。次
に、計算した類似度が、あらかじめ設定される所定の閾
値よりも大きい顔特徴データが正当者リスト内に存在す
るか否か（すなわち、当該操作者は正当な操作者か否
か）を判定する（ステップＳ４３）。

【００４８】この判定の結果、存在しない場合、当該操
作者は正当な操作者でないとみなし、当該被操作物の操
作（運転）が不能となるように制御するとともに、本装
置を運営する企業の監視センタへ正当でない操作者を検
知した旨を通知し（ステップＳ４４）、ここで処理を終
了する。

【００４９】ステップＳ４３の判定の結果、計算した類
似度が所定の閾値よりも大きい顔特徴データが正当者リ
スト内に存在する場合、当該操作者は正当な操作者であ
るとみなして、ステップＳ３７に戻り、上記同様な動作
を繰り返す。このように、第２の実施の形態によれば、
操作者の顔照合により操作者の交代検知および正当性確
認を行なうことが可能となる。

【００５０】次に、第３の実施の形態について説明す
る。第３の実施の形態は、前述した（３）の発明に対応
している。第３の実施の形態は、第２の実施の形態に対
してさらに本人確認機能を強化したもので、装置構成は
基本的には第１の実施の形態と同様でよいが、被操作物
のハンドルに圧力検知器を設ける点、および、処理の流
れが異なっており、以下、それについて説明する。

【００５１】第３の実施の形態では、たとえば、図１０
に示すように、被操作物のハンドル２１の操作者が両手
で握る左右の部分にそれぞれ圧力検知器２４ａ，２４ｂ
が埋設されていて、操作者が両手でハンドル２１を握っ
たときの左右の圧力を検知するようになっている。

【００５２】以下、処理の流れについて図１１および図
１２に示すフローチャートを参照して説明する。まず、
座席荷重検出装置１１の出力を参照することにより、操
作者が着座する被操作物の座席の荷重があらかじめ定め
られた所定値以上かかったか否か（すなわち、被操作物
の操作開始か否か）を判定する（ステップＳ５１）。こ
の判定の結果、座席の荷重が所定値以上かかった場合、
操作者が着座して被操作物の操作を開始したものとみな
し、ハンドル２１の中央部に設置されたカメラ１−１か
らの入力画像を取込み、この取込んだ入力画像から前記
同様な動作により顔特徴データを抽出し、この抽出した
顔特徴データを初期の登録顔画像として辞書７に登録す
る（ステップＳ５２）。

【００５３】次に、このときの入力画像（顔画像）およ
びそれから抽出した顔特徴データを、当該日時データな
どの属性情報とともに記録装置１０で記録するか、ある
いは、通信制御部１２により、あらかじめ定められた所
（たとえば、本装置を運営する企業の監視センタなど）
へ送信する（ステップＳ５３）。

【００５４】次に、ステップＳ３２で得た顔特徴データ
を、全ての正当な操作者の顔特徴データが登録されてい
る正当者リスト内の各顔特徴データとそれぞれ照合し、
両者の類似度を計算する（ステップＳ５４）。次に、計
算した類似度が、あらかじめ設定される所定の閾値より
も大きい顔特徴データが正当者リスト内に存在するか否
か（すなわち、当該操作者は正当な操作者か否か）を判
定する（ステップＳ５５）。

【００５５】この判定の結果、存在しない場合、当該操
作者は正当な操作者でないとみなし、当該被操作物の操
作（運転）が不能となるように制御するとともに、あら
かじめ定められた所、たとえば、本装置を運営する企業
の監視センタへ正当でない操作者を検知した旨を通知し
（ステップＳ５６）、ここで処理を終了する。

【００５６】ステップＳ５５の判定の結果、計算した類
似度が所定の閾値よりも大きい顔特徴データが正当者リ
スト内に存在する場合、たとえば、音声案内あるいは案
内メッセージの表示により、ハンドル２１に対して所定
の操作を行なうよう案内する（ステップＳ５７）。この
案内により、正当な操作者であれば、あらかじめ教えら
れた所定の操作、たとえば、最初に右手で圧力検知器２
４ａの部分を強く握り、次に左手で圧力検知器２４ｂの
部分を強く握るなどの操作を行なう。

【００５７】次に、圧力検知器２４ａ，２４ｂの出力を
参照することにより、ハンドル２１に対する左右への操
作者の手の握る圧力の付加順序があらかじめ定められた
正しい順序であるか否かを判定する（ステップＳ５
８）。この判定の結果、握る圧力の付加順序が正しい順
序でなかった場合、当該操作者は正当な操作者でないと
みなし、当該被操作物の操作（運転）が不能となるよう
に制御するとともに、本装置を運営する企業の監視セン
タへ正当でない操作者を検知した旨を通知し（ステップ
Ｓ５６）、ここで処理を終了する。

【００５８】ステップＳ５８の判定の結果、握る圧力の
付加順序が正しい順序であった場合、当該操作者は正当
な操作者であるとみなし、再度、座席荷重検出装置１１
の出力を参照することにより、座席の荷重があらかじめ
定められた所定値以下になったか否か（すなわち、被操
作物の操作終了か否か）を判定する（ステップＳ５
９）。この判定の結果、座席の荷重が所定値以下になっ
た場合、操作者が操作を終了して座席から離れたものと
みなし、ここで処理を終了する。

【００５９】ステップＳ５９の判定の結果、座席の荷重
が所定値以下になっていない場合、まだ操作者が着座し
ていて操作を終了していないものとみなし、座席荷重検
出装置１１の出力を参照することにより、座席の荷重が
一旦ゼロになってから再度加わったか否か（すなわち、
操作者が交代したか否か）を判定する（ステップＳ６
０）。この判定の結果、座席の荷重が一旦ゼロになって
から再度加わった状態ではない場合、操作者は交代して
いないものとみなして、ステップＳ５９に戻り、上記同
様な動作を繰り返す。

【００６０】ステップＳ６０の判定の結果、座席の荷重
が一旦ゼロになってから再度加わった状態である場合、
操作者は交代しているものとみなして、カメラ１−１か
らの入力画像を再度取込み、この取込んだ入力画像から
前記同様な動作により顔特徴データを抽出し、この抽出
した顔特徴データと辞書７に登録されている複数の辞書
データ（顔特徴データ）とを照合し、両者の類似度を計
算する（ステップＳ６１）。

【００６１】次に、ステップＳ６１で計算した類似度
が、あらかじめ設定される所定の閾値よりも大きいか否
かを判定し（ステップＳ６２）、大きい場合、操作者が
交代したが前回と同じ正当な操作者であるとみなして、
ステップＳ５９に戻り、上記同様な動作を繰り返す。

【００６２】ステップＳ６２の判定の結果、計算した類
似度が設定された閾値よりも小さい場合、最終的に操作
者は交代したものとみなし、たとえば、ステップＳ６１
の照合時に取込んだ顔画像から得た顔特徴データを新た
な辞書データとして辞書７に登録するとともに、当該入
力画像（顔画像）および顔特徴データを当該日時データ
などの属性情報とともに記録装置１０で記録するか、あ
るいは、通信制御部１２により、あらかじめ定められた
所（たとえば、本装置を運営する企業の監視センタな
ど）へ送信する（ステップＳ６３）。

【００６３】次に、ステップＳ６１で得た顔特徴データ
を前記正当者リスト内の各顔特徴データとそれぞれ照合
し、両者の類似度を計算する（ステップＳ６４）。次
に、計算した類似度が、あらかじめ設定される所定の閾
値よりも大きい顔特徴データが正当者リスト内に存在す
るか否か（すなわち、当該操作者は正当な操作者か否
か）を判定する（ステップＳ６５）。

【００６４】この判定の結果、存在しない場合、当該操
作者は正当な操作者でないとみなし、当該被操作物の操
作（運転）が不能となるように制御するとともに、本装
置を運営する企業の監視センタへ正当でない操作者を検
知した旨を通知し（ステップＳ６６）、ここで処理を終
了する。

【００６５】ステップＳ６５の判定の結果、計算した類
似度が所定の閾値よりも大きい顔特徴データが正当者リ
スト内に存在する場合、音声案内あるいは案内メッセー
ジの表示により、ハンドル２１に対して所定の操作を行
なうよう案内する（ステップＳ６７）。

【００６６】次に、圧力検知器２４ａ，２４ｂの出力を
参照することにより、ハンドル２１に対する左右への操
作者の手の握る圧力の付加順序があらかじめ定められた
正しい順序であるか否かを判定する（ステップＳ６
８）。この判定の結果、握る圧力の付加順序が正しい順
序でなかった場合、当該操作者は正当な操作者でないと
みなし、当該被操作物の操作（運転）が不能となるよう
に制御するとともに、本装置を運営する企業の監視セン
タへ正当でない操作者を検知した旨を通知し（ステップ
Ｓ６６）、ここで処理を終了する。

【００６７】ステップＳ６８の判定の結果、握る圧力の
付加順序が正しい順序であった場合、当該操作者は正当
な操作者であるとみなして、ステップＳ５９に戻り、上
記同様な動作を繰り返す。このように、第３の実施の形
態によれば、操作の開始、操作者の交代時点において、
顔画像の照合と他の本人確認手段を組合わせることによ
り、さらに本人確認機能を強化することが可能となる。

【００６８】なお、他の本人確認手段としては、上記し
たような被操作物のハンドルに対する左右への操作者の
手の握る圧力の付加順序によるものに限らず、たとえ
ば、図１０に示すように、ハンドル２１の中央部に音声
入力手段としてのマイクロフォン２５を埋設しておき、
音声案内あるいは案内メッセージの表示により、あらか
じめ定められた所定の暗証コードを音声で入力するよう
案内することにより、操作者の音声（声紋）照合による
本人確認手段であってもよい。

【００６９】次に、第４の実施の形態について説明す
る。第４の実施の形態は、前述した（４）の発明に対応
している。第４の実施の形態は、第２の実施の形態にお
ける正当者リストとの照合の代わりに、不正者リスト
（いわゆる、ブラックリスト）との照合確認を行なうよ
うにしたもので、装置構成は第１の実施の形態と同様で
よいが、処理の流れが異なっており、以下、それについ
て図１３および図１４に示すフローチャートを参照して
説明する。なお、本実施の形態では、不正な操作者は全
て不正者リストの形式で、たとえば、ワークメモリ５内
に登録（記憶）されているものとする。

【００７０】まず、座席荷重検出装置１１の出力を参照
することにより、操作者が着座する被操作物の座席の荷
重があらかじめ定められた所定値以上かかったか否か
（すなわち、被操作物の操作開始か否か）を判定する
（ステップＳ７１）。この判定の結果、座席の荷重が所
定値以上かかった場合、操作者が着座して被操作物の操
作を開始したものとみなし、ハンドル２１の中央部に設
置されたカメラ１−１からの入力画像を取込み、この取
込んだ入力画像から前記同様な動作により顔特徴データ
を抽出し、この抽出した顔特徴データを初期の登録顔画
像として辞書７に登録する（ステップＳ７２）。

【００７１】次に、このときの入力画像（顔画像）およ
びそれから抽出した顔特徴データを、当該日時データな
どの属性情報とともに記録装置１０で記録するか、ある
いは、通信制御部１２により、あらかじめ定められた所
（たとえば、本装置を運営する企業の監視センタなど）
へ送信する（ステップＳ７３）。

【００７２】次に、ステップＳ７２で得た顔特徴データ
を、特定の不正な操作者の顔特徴データが登録されてい
る不正者リスト内の各顔特徴データとそれぞれ照合し、
両者の類似度を計算する（ステップＳ７４）。次に、計
算した類似度が、あらかじめ設定される所定の閾値より
も大きい顔特徴データが不正者リスト内に存在するか否
か（すなわち、当該操作者は不正な操作者か否か）を判
定する（ステップＳ７５）。

【００７３】この判定の結果、存在する場合、当該操作
者は不正な操作者であるとみなし、当該被操作物の操作
（運転）が不能となるように制御するとともに、あらか
じめ定められた所、たとえば、本装置を運営する企業の
監視センタへ正当でない操作者を検知した旨を通知し
（ステップＳ７６）、ここで処理を終了する。

【００７４】ステップＳ７５の判定の結果、計算した類
似度が所定の閾値よりも大きい顔特徴データが正当者リ
スト内に存在しない場合、当該操作者は正当な操作者で
あるとみなし、再度、座席荷重検出装置１１の出力を参
照することにより、座席の荷重があらかじめ定められた
所定値以下になったか否か（すなわち、被操作物の操作
終了か否か）を判定する（ステップＳ７７）。この判定
の結果、座席の荷重が所定値以下になった場合、操作者
が操作を終了して座席から離れたものとみなし、ここで
処理を終了する。

【００７５】ステップＳ７７の判定の結果、座席の荷重
が所定値以下になっていない場合、まだ操作者が着座し
ていて操作を終了していないものとみなし、座席荷重検
出装置１１の出力を参照することにより、座席の荷重が
一旦ゼロになってから再度加わったか否か（すなわち、
操作者が交代したか否か）を判定する（ステップＳ７
８）。この判定の結果、座席の荷重が一旦ゼロになって
から再度加わった状態ではない場合、操作者は交代して
いないものとみなして、ステップＳ７７に戻り、上記同
様な動作を繰り返す。

【００７６】ステップＳ７８の判定の結果、座席の荷重
が一旦ゼロになってから再度加わった状態である場合、
操作者は交代しているものとみなして、カメラ１−１か
らの入力画像を再度取込み、この取込んだ入力画像から
前記同様な動作により顔特徴データを抽出し、この抽出
した顔特徴データと辞書７に登録されている複数の辞書
データ（顔特徴データ）とを照合し、両者の類似度を計
算する（ステップＳ７９）。

【００７７】次に、ステップＳ７９で計算した類似度
が、あらかじめ設定される所定の閾値よりも大きいか否
かを判定し（ステップＳ８０）、大きい場合、操作者が
交代したが前回と同じ正当な操作者であるとみなして、
ステップＳ７７に戻り、上記同様な動作を繰り返す。

【００７８】ステップＳ８０の判定の結果、計算した類
似度が設定された閾値よりも小さい場合、最終的に操作
者は交代したものとみなし、たとえば、ステップＳ７９
の照合時に取込んだ顔画像から得た顔特徴データを新た
な辞書データとして辞書７に登録するとともに、当該入
力画像（顔画像）および顔特徴データを当該日時データ
などの属性情報とともに記録装置１０で記録するか、あ
るいは、通信制御部１２により、あらかじめ定められた
所（たとえば、本装置を運営する企業の監視センタな
ど）へ送信する（ステップＳ８１）。

【００７９】次に、ステップＳ７９で得た顔特徴データ
を前記不正者リスト内の各顔特徴データとそれぞれ照合
し、両者の類似度を計算する（ステップＳ８２）。次
に、計算した類似度が、あらかじめ設定される所定の閾
値よりも大きい顔特徴データが不正者リスト内に存在す
るか否か（すなわち、当該操作者は不正な操作者か否
か）を判定する（ステップＳ８３）。

【００８０】この判定の結果、存在する場合、当該操作
者は不正な操作者であるとみなし、当該被操作物の操作
（運転）が不能となるように制御するとともに、本装置
を運営する企業の監視センタへ正当でない操作者を検知
した旨を通知し（ステップＳ８４）、ここで処理を終了
する。

【００８１】ステップＳ８３の判定の結果、計算した類
似度が所定の閾値よりも大きい顔特徴データが不正者リ
スト内に存在しない場合、当該操作者は正当な操作者で
あるとみなして、ステップＳ７７に戻り、上記同様な動
作を繰り返す。このように、第４の実施の形態によれ
ば、ブラックリストとの照合を行なうことにより、不正
な操作者を検知して排除することが可能となる。

【００８２】次に、第５の実施の形態について説明す
る。第５の実施の形態は、前述した（５）の発明に対応
している。第５の実施の形態は、第２の実施の形態のよ
うに、操作者の交代を検知した後に正当者リストとの照
合を行なうのでなく、直ちに正当者リストとの照合を行
なうもので、装置構成は第１の実施の形態と同様でよい
が、処理の流れが異なっており、以下、それについて図
１５に示すフローチャートを参照して説明する。

【００８３】まず、座席荷重検出装置１１の出力を参照
することにより、操作者が着座する被操作物の座席の荷
重があらかじめ定められた所定値以上かかったか否か
（すなわち、被操作物の操作開始か否か）を判定する
（ステップＳ９１）。この判定の結果、座席の荷重が所
定値以上かかった場合、操作者が着座して被操作物の操
作を開始したものとみなし、ハンドル２１の中央部に設
置されたカメラ１−１からの入力画像を取込み、この取
込んだ入力画像から前記同様な動作により顔特徴データ
を抽出し、この抽出した顔特徴データを、全ての正当な
操作者の顔特徴データが登録されている正当者リスト内
の各顔特徴データとそれぞれ照合し、両者の類似度を計
算する（ステップＳ９２）。

【００８４】次に、計算した類似度が、あらかじめ設定
される所定の閾値よりも大きい顔特徴データが正当者リ
スト内に存在するか否か（すなわち、当該操作者は正当
な操作者か否か）を判定する（ステップＳ９３）。この
判定の結果、存在しない場合、当該操作者は正当な操作
者でないとみなし、当該被操作物の操作（運転）が不能
となるように制御するとともに、あらかじめ定められた
所、たとえば、本装置を運営する企業の監視センタへ正
当でない操作者を検知した旨を通知し（ステップＳ９
４）、ここで処理を終了する。

【００８５】ステップＳ９３の判定の結果、計算した類
似度が所定の閾値よりも大きい顔特徴データが正当者リ
スト内に存在する場合、当該操作者は正当な操作者であ
るとみなし、再度、座席荷重検出装置１１の出力を参照
することにより、座席の荷重があらかじめ定められた所
定値以下になったか否か（すなわち、被操作物の操作終
了か否か）を判定する（ステップＳ９５）。この判定の
結果、座席の荷重が所定値以下になった場合、操作者が
操作を終了して座席から離れたものとみなし、ここで処
理を終了する。

【００８６】ステップＳ９５の判定の結果、座席の荷重
が所定値以下になっていない場合、まだ操作者が着座し
ていて操作を終了していないものとみなし、座席荷重検
出装置１１の出力を参照することにより、座席の荷重が
一旦ゼロになってから再度加わったか否か（すなわち、
操作者が交代したか否か）を判定する（ステップＳ９
６）。この判定の結果、座席の荷重が一旦ゼロになって
から再度加わった状態ではない場合、操作者は交代して
いないものとみなして、ステップＳ９５に戻り、上記同
様な動作を繰り返す。

【００８７】ステップＳ９６の判定の結果、座席の荷重
が一旦ゼロになってから再度加わった状態である場合、
操作者は交代しているものとみなして、カメラ１−１か
らの入力画像を再度取込み、この取込んだ入力画像から
前記同様な動作により顔特徴データを抽出し、この抽出
した顔特徴データと辞書７に登録されている複数の辞書
データ（顔特徴データ）とを照合し、両者の類似度を計
算する（ステップＳ９７）。

【００８８】次に、ステップＳ９７で計算した類似度
が、あらかじめ設定される所定の閾値よりも大きいか否
かを判定し（ステップＳ９８）、大きい場合、操作者が
交代したが前回と同じ正当な操作者であるとみなして、
ステップＳ９５に戻り、上記同様な動作を繰り返す。

【００８９】ステップＳ９８の判定の結果、計算した類
似度が設定された閾値よりも小さい場合、不正な操作者
に交代したものとみなしてステップＳ９４に進み、前述
同様な処理を行なった後、処理を終了する。このよう
に、第５の実施の形態によれば、操作者の交代を検知し
た後に正当者リストとの照合を行なうのでなく、直ちに
正当者リストとの照合を行なうことが可能となる。

【００９０】次に、第６の実施の形態について説明す
る。第６の実施の形態は、前述した（４）の発明に対応
している。第６の実施の形態は、第４の実施の形態にお
いて、正当者リストとの照合により正当な操作者でない
と判定された場合に、不正者リストとの照合確認を行な
うようにしたもので、装置構成は第１の実施の形態と同
様でよいが、正当者リストとの照合処理が追加されてお
り、以下、それについて図１６および図１７に示すフロ
ーチャートを参照して説明する。なお、図１６および図
１７は、図１３および図１４に対して正当者リストとの
照合処理を追加したもので、その他は図１３および図１
４と同様であり、よって異なる部分（正当者リストとの
照合処理）についてだけ説明する。

【００９１】ステップＳ７３の処理が終了すると、ステ
ップＳ７２で得た顔特徴データを、全ての正当な操作者
の顔特徴データが登録されている正当者リスト内の各顔
特徴データとそれぞれ照合し、両者の類似度を計算する
（ステップＳ８５）。次に、計算した類似度が、あらか
じめ設定される所定の閾値よりも大きい顔特徴データが
正当者リスト内に存在するか否か（すなわち、当該操作
者は正当な操作者か否か）を判定する（ステップＳ８
６）。

【００９２】この判定の結果、計算した類似度が所定の
閾値よりも大きい顔特徴データが正当者リスト内に存在
する場合、当該操作者は正当な操作者であるとみなし
て、ステップＳ７７に戻り、上記同様な動作を繰り返
す。ステップＳ８６の判定の結果、計算した類似度が所
定の閾値よりも大きい顔特徴データが正当者リスト内に
存在しない場合、当該操作者は正当な操作者でないとみ
なして、ステップＳ７４に進み、正当者リストとの照合
を行なう。

【００９３】また、ステップＳ８１の処理が終了する
と、ステップＳ７９で得た顔特徴データを、全ての正当
な操作者の顔特徴データが登録されている正当者リスト
内の各顔特徴データとそれぞれ照合し、両者の類似度を
計算する（ステップＳ８７）。次に、計算した類似度
が、あらかじめ設定される所定の閾値よりも大きい顔特
徴データが正当者リスト内に存在するか否か（すなわ
ち、当該操作者は正当な操作者か否か）を判定する（ス
テップＳ８８）。

【００９４】この判定の結果、計算した類似度が所定の
閾値よりも大きい顔特徴データが正当者リスト内に存在
する場合、当該操作者は正当な操作者であるとみなし
て、ステップＳ７７に戻り、上記同様な動作を繰り返
す。ステップＳ８８の判定の結果、計算した類似度が所
定の閾値よりも大きい顔特徴データが正当者リスト内に
存在しない場合、当該操作者は正当な操作者でないとみ
なして、ステップＳ８２に進み、正当者リストとの照合
を行なう。

【００９５】このように、第６の実施の形態によれば、
正当者リストとの照合により正当な操作者でないと判定
された場合に、ブラックリストとの照合を行なうことに
より、より一層、本人確認機能が強化される。

【００９６】次に、第７の実施の形態について説明す
る。第７の実施の形態は、前述した（５）の発明に対応
している。第７の実施の形態は、第５の実施の形態にお
ける正当者リストとの照合の代わりに、不正者リストと
の照合確認を行なうようにしたもので、装置構成は第１
の実施の形態と同様でよいが、処理の流れは図１８に示
すようになり、図１５の正当者リストとの照合処理を行
なうステップＳ９２が、不正者リストとの照合処理を行
なうステップＳ９９に変わった点が異なり、それ以外は
図１５と同様であるので、説明は省略する。このよう
に、第７の実施の形態によれば、操作者の交代を検知し
た後に不正者リストとの照合を行なうのでなく、直ちに
不正者リストとの照合を行なうことが可能となる。

【００９７】以上説明したように、上記実施の形態によ
れば、顔画像のパターン照合方式の自然さ（ユーザ負担
が非常に小さい）や利便性という長所を最大限生かし、
全体としてのセキュリティレベルを従来よりも大幅に向
上させることが可能となる。そして、顔画像認識方式の
非接触性の利点を活かし、操作者の交代管理、正当性確
認、不正者の検知などを行なうことができる。

【００９８】なお、前記実施の形態では、顔画像を入力
する画像入力手段としてモノクロカメラを用いたが、カ
ラーカメラを用いてもよく、その場合は、顔画像の取込
み後にモノクロ画像に変換する処理を追加すればよい。
また、１枚の顔画像（静止画）を処理対象としたが、入
力条件の変動を考慮して、一定時間間隔で複数の連続し
た顔画像（動画像）を取込んで、図１のキャプチャボー
ドの画像メモリにバッファリングしてもよい。

【００９９】動画像を用いる際にも、登録のときのみ用
いる場合と、登録と照合の両方において用いる場合の２
通りが可能である。動画像を処理対象とする場合の処理
の流れとしては、辞書登録や辞書照合においてのみ変更
を加えればよく、複数の特徴ベクトルから主成分分析な
どの統計的処理を行なってパターンの登録、照合処理を
行なう。この処理は従来方法でよく、たとえば、前記文
献２に示されている処理方法が適用可能である。

【０１００】

【発明の効果】以上詳述したように本発明によれば、顔
画像照合方式の自然さや利便性という長所を最大限活か
し、全体としてのセキュリティレベルを従来よりも大幅
に向上させ、操作者の交代管理、正当性確認、不正者の
検知などを行なうことができる操作者監視装置を提供を
提供できる。

【図面の簡単な説明】

【図１】第１の実施の形態に係る操作者監視装置の構成
を概略的に示すブロック図。

【図２】カメラが１つの場合の配置例を示す模式図。

【図３】カメラが複数の場合の配置例を示す模式図。

【図４】カメラにより取込まれた操作者の顔画像の一例
を示す図。

【図５】処理プロセッサによる顔画像の登録処理を説明
するフローチャート。

【図６】処理プロセッサによる顔画像の照合処理を説明
するフローチャート。

【図７】第１の実施の形態に係る操作者の交代検知処理
の流れについて説明するフローチャート。

【図８】第２の実施の形態に係る操作者の交代検知およ
び正当性確認を行なう処理の流れについて説明するフロ
ーチャート。

【図９】第２の実施の形態に係る操作者の交代検知およ
び正当性確認を行なう処理の流れについて説明するフロ
ーチャート。

【図１０】第３の実施の形態における圧力検知器の配置
例を示す模式図。

【図１１】第３の実施の形態に係る操作者の交代検知お
よび正当性確認を行なう処理の流れについて説明するフ
ローチャート。

【図１２】第３の実施の形態に係る操作者の交代検知お
よび正当性確認を行なう処理の流れについて説明するフ
ローチャート。

【図１３】第４の実施の形態に係る操作者の交代検知お
よび正当性確認を行なう処理の流れについて説明するフ
ローチャート。

【図１４】第４の実施の形態に係る操作者の交代検知お
よび正当性確認を行なう処理の流れについて説明するフ
ローチャート。

【図１５】第５の実施の形態に係る操作者の交代検知お
よび正当性確認を行なう処理の流れについて説明するフ
ローチャート。

【図１６】第６の実施の形態に係る操作者の交代検知お
よび正当性確認を行なう処理の流れについて説明するフ
ローチャート。

【図１７】第６の実施の形態に係る操作者の交代検知お
よび正当性確認を行なう処理の流れについて説明するフ
ローチャート。

【図１８】第７の実施の形態に係る操作者の交代検知お
よび正当性確認を行なう処理の流れについて説明するフ
ローチャート。

【符号の説明】

１，１−１〜１−Ｎ…カメラ（画像入力手段）、２，２
−１〜２−Ｎ…キャプチャボード、４…処理プロセッ
サ、５…ワークメモリ、７…辞書（登録手段）、９…デ
ィスプレイ、１０…記録装置（記録手段）、１１…座席
荷重検出装置（座席荷重検出手段）、１２…通信制御
部、２１…ハンドル、２２…操作者の頭部、２３…操作
パネル、２４ａ，２４ｂ…圧力検知器（圧力検知手
段）、２５…マイクロフォン（音声入力手段）。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 平松 憲一 神奈川県川崎市幸区柳町70番地 株式会社 東芝柳町事業所内 (72)発明者 三上 宏治 東京都港区芝浦一丁目１番１号 株式会社 東芝本社事務所内 (72)発明者 和田 素直 東京都港区芝浦一丁目１番１号 株式会社 東芝本社事務所内 (72)発明者 菅 正雄 東京都港区芝浦一丁目１番１号 株式会社 東芝本社事務所内 (72)発明者 笠原 章裕 東京都港区芝浦一丁目１番１号 株式会社 東芝本社事務所内 (72)発明者 野口 幸一 東京都港区芝浦一丁目１番１号 株式会社 東芝本社事務所内 (72)発明者 遠藤 直樹 東京都府中市東芝町１番地 株式会社東芝 府中事業所内 (72)発明者 鈴木 康彦 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 清水 秀夫 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 上林 達 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5B047 AA23 AB02 BB04 BC14 BC23 CA23 CB22 DC06 5B057 AA19 BA02 DA11 DA15 DB02 DB05 DB09 DC01 DC05 DC09 DC33 DC36 DC39 5C054 AA05 CA04 CE12 CH03 CH04 DA07 EA05 EA07 FC00 FC12 FF06 FF07 GA01 GB02 GC01 GC03 GD06 HA19 5L096 AA03 AA06 BA02 CA02 DA02 DA03 EA12 EA13 EA14 EA35 FA04 FA09 FA62 FA69 GA51 HA07 JA03 JA11 KA03

Claims (14)

【特許請求の範囲】
1. 【請求項１】 被操作物を操作する操作者の顔画像を撮
   像して入力する画像入力手段と、 被操作物の操作が開始される時点で、そのとき前記画像
   入力手段により入力された操作者の顔画像を取込み、こ
   の取込んだ顔画像を初期の顔画像として登録する顔画像
   登録手段と、 所定のタイミングで前記画像入力手段により入力された
   操作者の顔画像を取込み、この取込んだ顔画像と前記顔
   画像登録手段により登録された顔画像とを照合すること
   により、操作者が交代したか否かを判定する判定手段
   と、 この判定手段により操作者が交代したと判定された場
   合、あらかじめ定められた所定の動作を行なう制御手段
   と、 を具備したことを特徴とする操作者監視装置。
2. 【請求項２】 被操作物を操作する操作者の顔画像を撮
   像して入力する画像入力手段と、 被操作物の操作が開始される時点で、そのとき前記画像
   入力手段により入力された操作者の顔画像を取込み、こ
   の取込んだ顔画像を初期の顔画像として登録する顔画像
   登録手段と、 この顔画像登録手段による顔画像の登録時に取込まれた
   操作者の顔画像を、あらかじめ正当な操作者の顔画像が
   登録されている正当者リストの顔画像と照合することに
   より、当該操作者は正当な操作者であるか否かを確認す
   る第１の確認手段と、 この第１の確認手段により正当な操作者であると認めら
   れた場合、所定のタイミングで前記画像入力手段により
   入力された操作者の顔画像を取込み、この取込んだ顔画
   像と前記顔画像登録手段により登録された顔画像とを照
   合することにより、操作者が交代したか否かを判定する
   判定手段と、 この判定手段により操作者が交代したと判定された場
   合、前記判定手段の判定時に取込まれた操作者の顔画像
   を前記正当者リストの顔画像と照合することにより、当
   該操作者は正当な操作者であるか否かを確認する第２の
   確認手段と、 前記第１、第２の確認手段により正当な操作者でないと
   認められた場合、あらかじめ定められた所定の動作を行
   なう制御手段と、 を具備したことを特徴とする操作者監視装置。
3. 【請求項３】 被操作物を操作する操作者の顔画像を撮
   像して入力する画像入力手段と、 被操作物の操作が開始される時点で、そのとき前記画像
   入力手段により入力された操作者の顔画像を取込み、こ
   の取込んだ顔画像を初期の顔画像として登録する顔画像
   登録手段と、 この顔画像登録手段による顔画像の登録時に取込まれた
   操作者の顔画像を、あらかじめ特定の不正な操作者の顔
   画像が登録されている不正者リストの顔画像と照合する
   ことにより、当該操作者は特定の不正な操作者であるか
   否かを確認する第１の確認手段と、 この第１の確認手段により特定の不正な操作者でないと
   認められた場合、所定のタイミングで前記画像入力手段
   により入力された操作者の顔画像を取込み、この取込ん
   だ顔画像と前記顔画像登録手段により登録された顔画像
   とを照合することにより、操作者が交代したか否かを判
   定する判定手段と、 この判定手段により操作者が交代したと判定された場
   合、前記判定手段の判定時に取込まれた操作者の顔画像
   を前記不正者リストの顔画像と照合することにより、当
   該操作者は特定の不正な操作者であるか否かを確認する
   第２の確認手段と、 前記第１、第２の確認手段により特定の不正な操作者で
   あると認められた場合、あらかじめ定められた所定の動
   作を行なう制御手段と、 を具備したことを特徴とする操作者監視装置。
4. 【請求項４】 被操作物を操作する操作者の顔画像を撮
   像して入力する画像入力手段と、 被操作物の操作が開始される時点で、そのとき前記画像
   入力手段により入力された操作者の顔画像を取込み、こ
   の取込んだ顔画像を、あらかじめ正当な操作者の顔画像
   が登録されている正当者リストの顔画像と照合すること
   により、当該操作者は正当な操作者であるか否かを確認
   する第１の確認手段と、 この第１の確認手段により正当な操作者であると認めら
   れた場合、所定のタイミングで前記画像入力手段により
   入力された操作者の顔画像を取込み、この取込んだ顔画
   像を前記正当者リストの顔画像と照合することにより、
   当該操作者は正当な操作者であるか否かを確認する第２
   の確認手段と、 前記第１、第２の確認手段により正当な操作者でないと
   認められた場合、あらかじめ定められた所定の動作を行
   なう制御手段と、 を具備したことを特徴とする操作者監視装置。
5. 【請求項５】 前記第１、第２の確認手段のうち少なく
   ともいずれか一方の確認手段は、正当者リストの顔画像
   との照合の結果、正当な操作者であると認められた場
   合、さらに、顔画像による照合とは異なる別方式の本人
   確認手段を用いて再度、当該操作者は正当な操作者であ
   るか否かを確認することを特徴とする請求項２または請
   求項４記載の操作者監視装置。
6. 【請求項６】 前記顔画像による照合とは異なる別方式
   の本人確認手段は、被操作物のハンドルに対する左右へ
   の操作者の手の握る圧力の付加順序があらかじめ定めら
   れた順序であるか否かにより、当該操作者は正当な操作
   者であるか否かを確認することを特徴とする請求項５記
   載の操作者監視装置。
7. 【請求項７】 前記第１、第２の確認手段のうち少なく
   ともいずれか一方の確認手段は、正当者リストの顔画像
   との照合の結果、正当な操作者でないと認められた場
   合、さらに、当該取込まれた顔画像を、あらかじめ特定
   の不正な操作者の顔画像が登録されている不正者リスト
   の顔画像と照合することにより、当該操作者は特定の不
   正な操作者であるか否かを確認することを特徴とする請
   求項２または請求項４記載の操作者監視装置。
8. 【請求項８】 被操作物を操作する操作者の顔画像を撮
   像して入力する画像入力手段と、 被操作物の操作が開始される時点で、そのとき前記画像
   入力手段により入力された操作者の顔画像を取込み、こ
   の取込んだ顔画像を、あらかじめ特定の不正な操作者の
   顔画像が登録されている不正者リストの顔画像と照合す
   ることにより、当該操作者は特定の不正な操作者である
   か否かを確認する第１の確認手段と、 この第１の確認手段により特定の不正な操作者でないと
   認められた場合、所定のタイミングで前記画像入力手段
   により入力された操作者の顔画像を取込み、この取込ん
   だ顔画像を前記不正者リストの顔画像と照合することに
   より、当該操作者は特定の不正な操作者であるか否かを
   確認する第２の確認手段と、 前記第１、第２の確認手段により特定の不正な操作者で
   あると認められた場合、あらかじめ定められた所定の動
   作を行なう制御手段と、 を具備したことを特徴とする操作者監視装置。
9. 【請求項９】 前記画像入力手段は、被操作物を操作す
   るハンドルの中心位置、あるいは、操作者の前面に位置
   する操作卓や操作パネルに設けられ、操作者に対し下斜
   め方向から見た顔画像を撮像する少なくとも１つ以上の
   カメラから構成されていることを特徴とする請求項１〜
   ４、８のうちいずれか１つに記載の操作者監視装置。
10. 【請求項１０】 前記被操作物の操作が開始される時点
    とは、操作者が着座する座席の荷重が所定値以上かかっ
    たときであることを特徴とする請求項１〜４、８のうち
    いずれか１つに記載の操作者監視装置。
11. 【請求項１１】 前記被操作物の操作が開始される時点
    とは、被操作物のハンドルに所定値以上の圧力がかかっ
    たときであることを特徴とする請求項１〜４、８のうち
    いずれか１つに記載の操作者監視装置。
12. 【請求項１２】 前記所定のタイミングとは、操作者が
    着座する座席の荷重が一旦所定値以下になってから再度
    荷重が加わった時点であることを特徴とする請求項１〜
    ４、８のうちいずれか１つに記載の操作者監視装置。
13. 【請求項１３】 前記制御手段が行なう所定の動作と
    は、前記判定手段の判定時に取込んだ操作者の顔画像を
    新たな登録顔画像として前記顔画像登録手段に登録する
    とともに、少なくとも当該取込まれた操作者の顔画像を
    記録媒体に記録するか、あるいは、あらかじめ定められ
    た所へ伝送することであることを特徴とする請求項１記
    載の操作者監視装置。
14. 【請求項１４】 前記制御手段が行なう所定の動作と
    は、当該被操作物の操作を不能にするとともに、不正な
    操作者を検知した旨をあらかじめ定められた所へ報知す
    ることであることを特徴とする請求項２〜４、８のうち
    いずれか１つに記載の操作者監視装置。