JP2021124972A - 情報処理システム、および情報処理プログラム - Google Patents

Abstract

【課題】人の目を含む部位に存在する反射物を撮像部により撮像することで得られる撮像画像をより有効に利用する。
【解決手段】本開示の一例としての情報処理システムは、人の目を含む部位に存在する反射物を撮像することで得られる撮像画像を取得する画像取得部と、画像取得部により取得された撮像画像から反射物に映り込んだ情報を読み取って出力する情報出力部と、を備える。
【選択図】図３

Description

本開示は、情報処理システム、および情報処理プログラムに関する。

従来、人の目を撮像することで得られる撮像画像から、瞳孔および虹彩の位置などを検出し、検出した特徴を各種の制御に利用する技術が知られている。

特許第４１５１６２４号公報

上記のような従来の技術は、瞳孔および虹彩の位置などといった、人の目の生体的または構造的な特徴を検出する技術である。しかしながら、人の目（および人の目に対応した部位に装着される眼鏡またはコンタクトレンズのような装着物）は、人が視認している情報を映す反射物であると言える。このような観点から、人の目を含む部位に存在する反射物を撮像することで得られる撮像画像をより有効に利用することができれば、有益である。

そこで、本開示の目的は、人の目を含む部位に存在する反射物を撮像部により撮像することで得られる撮像画像をより有効に利用することが可能な情報処理システムおよび情報処理プログラムを提供することである。

本開示の一例としての情報処理システムは、人の目を含む部位に存在する反射物を撮像することで得られる撮像画像を取得する画像取得部と、画像取得部により取得された撮像画像から反射物に映り込んだ情報を読み取って出力する情報出力部と、を備える。

上述した情報処理システムによれば、人の目を含む部位に存在する反射物に映り込んだ情報を様々に利用することができる。したがって、人の目を含む部位に存在する反射物を撮像することで得られる撮像画像をより有効に利用することができる。

上述した情報処理システムにおいて、画像取得部は、車両の乗員の目を含む部位に存在する反射物の撮像画像を取得し、情報出力部により出力された情報に基づいて、乗員に対するサービスを実行するサービス実行部をさらに備える。このような構成によれば、車両の乗員の目を含む部位に存在する反射物を撮像することで得られる撮像画像を利用して、乗員に有益なサービスを提供することができる。

この場合において、情報出力部は、撮像画像から、車両の進行の妨げとなる可能性があるオブジェクトに関するオブジェクト情報を読み取って出力し、サービス実行部は、オブジェクト情報に基づいて、オブジェクトを回避するように車両の運動制御を実行する。このような構成によれば、オブジェクト情報に基づいて実行される車両の運動制御により、車両とオブジェクトとの接触を適切に回避することができる。

また、オブジェクト情報に基づいて車両の運動制御を実行する上述した情報処理システムにおいて、サービス実行部は、オブジェクト情報の経時変化に基づいて、反射物においてオブジェクトが徐々に大きくなるように映り込んでいると判定される場合に、オブジェクトを回避するように車両の運動制御を実行する。このような構成によれば、オブジェクト情報の経時変化に基づいて、車両とオブジェクトとの接触の可能性を容易に判定し、判定結果に応じて、車両の運動制御を適切に実行することができる。

また、オブジェクト情報に基づいて車両の運動制御を実行する上述した情報処理システムにおいて、サービス実行部は、反射物が乗員の目の白目部分と黒目部分とを区別可能な態様で撮像画像内に写っている場合、オブジェクト情報に基づいて、白目部分にオブジェクトが映り込んでいると判定される場合に、オブジェクトを回避するように車両の運動制御を実行する。このような構成によれば、白目部分にオブジェクトが映り込んでいるか否かに基づいて、オブジェクトを乗員が意図的に視認しているか否かを容易に判定し、判定結果に応じて、車両の運動制御を適切に実行することができる。

また、オブジェクト情報に基づいて車両の運動制御を実行する上述した情報処理システムにおいて、サービス実行部は、オブジェクトを回避するように車両の運動制御を実行するのに先立って、乗員に対して注意喚起の通知を実行する。このような構成によれば、乗員に何らの通知も実行しないまま車両の運動制御を実行することで乗員に違和感を与えるのを回避することができる。

乗員に対するサービスを実行する上述した情報処理システムにおいて、情報出力部は、撮像画像から、反射物に映り込んでいる施設に関する施設情報を読み取って出力し、サービス実行部は、施設情報に基づいて、乗員に対して施設の利用に関する情報の通知を実行する。このような構成によれば、施設情報に基づいて、たとえば乗員が利用することを望んでいると考えられる施設を判定し、判定結果に応じて、乗員に対して有益な情報を提供することができる。

また、乗員に対するサービスを実行する上述した情報処理システムにおいて、情報出力部は、撮像画像から、反射物に映り込んでいる文字を示す文字情報を読み取って出力し、サービス実行部は、文字情報に基づいて、乗員に対して文字の知覚支援を実行する。このような構成によれば、文字情報に基づいて、たとえば乗員が知覚すべきと考えられる文字を判定し、判定結果に応じて、該当する文字を乗員に容易に知覚させることができる。

また、乗員に対するサービスを実行する上述した情報処理システムにおいて、情報出力部は、撮像画像から、反射物に映り込んでいる対象の色を示す色情報を読み取って出力し、サービス処理部は、色情報に基づいて、乗員に対して色の知覚支援を実行する。このような構成によれば、色情報に基づいて、たとえば乗員が判別すべきと考えられる色を判定し、判定結果に応じて、該当する色を乗員に容易に知覚させることができる。

上述した情報処理システムにおいて、画像取得部は、端末装置のディスプレイを視認中のユーザの目を含む部位に存在する反射物の撮像画像を取得し、情報出力部により出力された情報に基づいて、ユーザに対するサービスを実行するサービス実行部をさらに備える。このような構成によれば、端末装置のユーザの目を含む部位に存在する反射物を撮像することで得られる撮像画像を利用して、端末装置のユーザに有益なサービスを提供することができる。

この場合において、情報出力部は、撮像画像から、反射物に映り込んでいるディスプレイに表示されたコンテンツに関するコンテンツ情報を取得し、サービス実行部は、コンテンツ情報に基づいて、ユーザが見るべきコンテンツを見ていないと判定される場合に、ユーザに対して注意喚起の通知を実行する。このような構成によれば、コンテンツ情報に基づいて実行される注意喚起の通知により、見るべきコンテンツを見るようユーザに適切に促すことができる。

ユーザに対するサービスを実行する上述した情報処理システムにおいて、情報出力部は、撮像画像から、反射物に映り込んでいるディスプレイに表示された文字を示す文字情報を読み取って出力し、サービス実行部は、文字情報に基づいて、ユーザに対して文字の知覚支援または入力支援を実行する。このような構成によれば、文字情報に基づいて実行される知覚支援または入力支援により、該当する文字を確実にユーザに知覚させること、または該当する文字をユーザが端末装置のアプリケーションなどに入力する際の作業負担を軽減することを実現することができる。

本開示の他の一例としての情報処理プログラムは、人の目を含む部位に存在する反射物を撮像することで得られる撮像画像を取得する画像取得ステップと、画像取得ステップにより取得された撮像画像から反射物に映り込んだ情報を読み取り、読み取った情報を出力する情報出力ステップと、をコンピュータに実行させるためのプログラムである。

上述した情報処理プログラムによれば、人の目を含む部位に存在する反射物に映り込んだ情報を様々に利用することができる。したがって、人の目を含む部位に存在する反射物を撮像することで得られる撮像画像をより有効に利用することができる。

図１は、第１の実施形態にかかる情報処理システムが搭載される車両の構成を示した例示的かつ模式的な図である。 図２は、第１の実施形態にかかる車載カメラの配置の一例を示した例示的かつ模式的な図である。 図３は、第１の実施形態にかかる情報処理システムの機能を示した例示的かつ模式的なブロック図である。 図４は、第１の実施形態にかかる画像認識モデルの概要を示した例示的かつ模式的な図である。 図５は、第１の実施形態にかかる情報処理システムにより実行される一連の処理を示した例示的なフローチャートである。 図６は、第２の実施形態にかかる情報処理システムとしての端末装置の外観を示した例示的かつ模式的な図である。 図７は、第２の実施形態にかかる端末装置の機能を示した例示的かつ模式的な図である。 図８は、第１および第２の実施形態を実現するためのコンピュータのハードウェア構成を示した例示的かつ模式的なブロック図である。

以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果は、あくまで一例であって、以下の記載内容に限られるものではない。

＜第１の実施形態＞
まず、本開示の第１の実施形態にかかる情報処理システム１００について説明する。以下に説明するように、第１の実施形態にかかる情報処理システム１００は、車両１に搭載される。

図１は、第１の実施形態にかかる情報処理システム１００が搭載される車両１の構成を示した例示的かつ模式的な図である。

図１に示されるように、実施形態にかかる車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車である。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを総称して車輪３と記載することがある。実施形態では、４つの車輪３の一部または全部の横滑り角が、操舵部５を用いたドライバの操舵などに応じて変化（転舵）する。

また、図１に示されるように、実施形態にかかる車両１は、乗員（図１には不図示）が乗車する車室２ａを有している。車室２ａ内には、乗員としての運転者Ｘ（図２参照）が運転席２ｂから操作可能な状態で、操舵部５が設けられている。操舵部５は、たとえば、ダッシュボード（インストルメントパネル）１２から突出するように設けられたステアリングホイールとして構成される。なお、実施形態において、車室２ａ内に運転席２ｂ以外の座席が存在しうることは、言うまでもない。

また、車室２ａ内には、カーナビゲーションシステムなどに利用されるモニタ装置１１が設けられている。モニタ装置１１は、車室２ａ内のダッシュボードの車幅方向（左右方向）の中央部に設けられており、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有している。なお、図１に示される例において、表示部８は、指またはスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能な操作入力部１０によって覆われている。これにより、乗員は、表示部８に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いた入力操作（たとえばタッチ操作）を行うことで、各種の操作を入力することができる。

ここで、実施形態では、次の図２に示されるように、操舵部５を支持する支持部５ａに、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラなどとして構成された車載カメラ２００が設けられている。

図２は、第１の実施形態にかかる車載カメラ２００の配置の一例を示した例示的かつ模式的な図である。

図２に示されるように、車載カメラ２００は、運転席２ｂに着座した乗員としての運転者Ｘの顔が存在する可能性のある領域を撮像するように構成されている。より具体的に、車載カメラ２００は、運転席２ｂに着座した運転者Ｘの顔が視野の中心に位置するように、視野角および姿勢が調整されている。これにより、車載カメラ２００は、運転者Ｘの目を含む部位に存在する反射物（目そのもの、眼鏡、またはコンタクトレンズなど）を撮像することで撮像画像を取得する撮像部として機能する。

なお、車載カメラ２００の配置は、運転者Ｘの目を含む部位に存在する反射物を撮像可能な配置であれば、図２に示される例とは異なる配置であってもよい。たとえば、車載カメラ２００は、車室２ａのオーバーヘッドコンソールと呼ばれる天井部などに設けられていてもよい。

車載カメラ２００は、車両１の運転が行われている間、運転者Ｘの顔の撮像を所定の時間間隔で周期的に実行する。そして、車載カメラ２００は、撮像により得た撮像画像に対して画像認識を順次行い、結果を順次出力する。なお、画像認識の詳細については後で説明するため、ここでは説明を省略する。

なお、以下では、車載カメラ２００によって得られる撮像画像、すなわち運転席２ｂに着座した運転者Ｘの目を含む部位に存在する反射物を撮像することで得られる撮像画像を対象として本開示の技術を適用する例について主として説明するが、本開示の技術は、運転者Ｘ以外の乗員を撮像することで得られる撮像画像を対象として適用することも可能である。すなわち、本開示の技術は、車載カメラ２００とは異なる位置に設けられる、運転席２ｂ以外の他の座席に着座した乗員の目を含む部位に存在する反射物を撮像する撮像部によって得られる撮像画像を対象としても、同様に実行可能である。

ところで、従来、人の目を撮像することで得られる撮像画像から、瞳孔および虹彩の位置などを検出し、検出した特徴を各種の制御に利用する技術が知られている。

上記のような従来の技術は、瞳孔および虹彩の位置などといった、人の目の生体的または構造的な特徴を検出する技術である。しかしながら、人の目（および人の目に対応した部位に装着される眼鏡またはコンタクトレンズのような装着物）は、人が視認している情報を映す反射物であると言える。このような観点から、人の目を含む部位に存在する反射物を撮像することで得られる撮像画像をより有効に利用することができれば、有益である。

そこで、第１の実施形態にかかる情報処理システム１００は、以下に説明するような構成および処理に基づいて、人の目を含む部位に存在する反射物を撮像部により撮像することで得られる撮像画像をより有効に利用することを実現する。

次に、図３を参照して、第１の実施形態にかかる情報処理システム１００の機能について説明する。

図３は、第１の実施形態にかかる情報処理システム１００の機能を示した例示的かつ模式的なブロック図である。

図３に示されるように、情報処理システム１００は、車載カメラ２００と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３００と、制御対象４００と、を備えている。これらの装置は、いずれも、車両１に搭載される。また、これらの装置は、たとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの車載ネットワークを介して互いに通信可能に接続されている。

車載カメラ２００は、画像取得部２１０と、情報出力部２２０と、を備えている。また、ＥＣＵ３００は、認識結果取得部３１０と、サービス実行部３２０と、を備えている。なお、車載カメラ２００とＥＣＵ３００との間における図２に示されるような機能分担は、あくまで一例である。実施形態では、たとえば情報出力部２２０が車載カメラ２００ではなくＥＣＵ３００に搭載されていてもよい。

画像取得部２１０は、車載カメラ２００による撮像結果、すなわち人の目を含む部位に存在する反射物を撮像することで得られる撮像画像を取得する。そして、情報出力部２２０は、画像取得部２１０により取得された撮像画像に対して、次の図４に示されるような画像認識モデル２２１に基づく画像認識を実行する。

図４は、第１の実施形態にかかる画像認識モデル２２１の概要を示した例示的かつ模式的な図である。

図４に示されるように、画像認識モデル２２１は、撮像画像の入力に応じて、撮像画像内の反射物に映り込んでいる人および物などのオブジェクトに関するオブジェクト情報と、撮像画像内の反射物に映り込んでいる施設に関する施設情報と、撮像画像内の反射物に映り込んでいる文字を示す文字情報と、撮像画像内の反射物に映り込んでいる色の判別が必要な対象の色を示す色情報と、を出力するように構成されている。画像認識モデル２２１は、たとえば機械学習により予めトレーニングされたニューラルネットワークとして構成される。

なお、第１の実施形態において、画像認識モデル２２１は、反射物に映り込んでいる対象に関する情報であれば、オブジェクト情報、施設情報、文字情報、および色情報以外の他の情報も出力しうる。

図３に戻り、情報出力部２２０は、画像取得部２１０により取得された撮像画像を画像認識モデル２２１に入力することで画像認識モデル２２１から出力される情報を、車両１において提供される各種のサービス（具体例は後述する）を司る制御装置としてのＥＣＵ３００に受け渡す。これにより、ＥＣＵ３００は、車両１の乗員が視認している情報を、車両１において提供される各種のサービスに利用することができる。

より具体的に、ＥＣＵ３００の認識結果取得部３１０は、車載カメラ２００の情報出力部２２０から出力される情報を受け取る。そして、ＥＣＵ３００のサービス実行部３２０は、認識結果取得部３１０により取得される情報に基づいて、車両１の乗員に対して各種のサービスを提供する。

たとえば、認識結果取得部３１０により取得される情報の一つであるオブジェクト情報によれば、以下のようなサービスの提供を実現することが可能である。

より具体的に、サービス実行部３２０は、車両１の進行の妨げとなる可能性があるオブジェクトに関するオブジェクト情報に基づいて、オブジェクトを回避するように車両１の運動制御を実行しうる。この場合、車両１の加速を制御する加速システムのアクチュエータ、車両１の減速を制御する減速システムのアクチュエータ、車両１の操舵を制御する操舵システムのアクチュエータ、および車両１の変速を制御する変速システムのアクチュエータなどが、車両１の運動制御のためにサービス実行部３２０の制御のもとで動作する制御対象４００となる。

たとえば、車両１の進行の妨げとなる可能性があるオブジェクトが撮像画像内の反射物において時間経過とともに徐々に大きくなる場合、車両１とオブジェクトとが徐々に接近し、接触の可能性があると言える。したがって、これを踏まえて、サービス実行部３２０は、オブジェクト情報の経時変化に基づいて、撮像画像内の反射物においてオブジェクトが徐々に大きくなるように映り込んでいると判定される場合に、オブジェクトを回避するように車両１の運動制御を実行しうる。オブジェクトは、撮像画像内の反射物に直接的に映り込むだけでなく、バックミラーまたはサイドミラーを介して反射物に間接的に映り込むこともある。

なお、車両１の運動制御は、オブジェクトの回避の要否を判定した上で実行することもできる。オブジェクトの回避の要否は、たとえばオブジェクトの次の行動の予測結果に基づいて判定されうる。オブジェクトの次の行動は、たとえばオブジェクトが歩行者である場合、歩行者の顔または体が車両１の進行方向と同じ方向を向いているか、車両１の進行方向と交差する横方向を向いているか、手元のスマートフォンまたは路面などの確認のために下方向を向いているか、および、車両１の進行方向に対向する方向、つまり車両１の乗員に面した方向を向いているのか、などに応じて予測することができる。

また、反射物が乗員の目の白目部分と黒目部分とを区別可能な態様で撮像画像内に写っている場合、白目部分と黒目部分とのいずれにオブジェクトが映り込んでいるかに応じて、乗員がオブジェクトを意図的に視認しているか否かを判定することができる。たとえば、白目部分にオブジェクトが映り込んでいる場合、乗員がオブジェクトを意図的に視認している可能性は低いと言える。したがって、これを踏まえて、サービス実行部３２０は、オブジェクト情報に基づいて、白目部分にオブジェクトが映り込んでいると判定される場合に、オブジェクトを回避するように車両１の運動制御を実行しうる。

ただし、乗員に何らの通知も実行しないまま上記のような運動制御を実行すると、乗員に違和感を与える可能性がある。したがって、サービス実行部３２０は、オブジェクトを回避するように車両１の運動制御を実行するのに先立って、乗員に対して注意喚起の通知を実行しうる。この場合、車室２ａ内に設けられるモニタ装置１１などが、注意喚起の通知のためにサービス実行部３２０の制御のもとで動作する制御対象４００となる。

また、認識結果取得部３１０により取得される情報の他の一つである施設情報によれば、次のようなサービスの提供を実現することが可能である。

より具体的に、サービス実行部３２０は、施設情報に基づいて、乗員に対して施設の利用に関する情報の通知を実行しうる。この場合、車室２ａ内に設けられるモニタ装置１１などが、施設の利用に関する情報の通知のためにサービス実行部３２０の制御のもとで動作する制御対象４００となる。

たとえば、撮像画像内の反射物に同じ飲食店が継続的に映り込んでいる場合、乗員がその飲食店で飲食をしたいと考えていると判定することができる。したがって、この場合、サービス実行部３２０は、所定時間以上同じ飲食店に関する施設情報が取得されることに基づいて、飲食店の営業時間およびメニューなどの情報、飲食店で利用可能なクーポン、および飲食店の駐車場へのルートなどのような、飲食店の利用に有益な情報をたとえばインターネットなどを介して取得し、取得した情報を乗員に通知しうる。飲食店以外の様々な施設に関しても同様である。

また、認識結果取得部３１０により取得される情報の他の一つである文字情報によれば、次のようなサービスの提供を実現することが可能である。

より具体的に、サービス実行部３２０は、文字情報に基づいて、乗員に対して文字の知覚支援を実行しうる。この場合、車室２ａ内に設けられるモニタ装置１１などが、知覚支援のためにサービス実行部３２０の制御のもとで動作する制御対象４００となる。

たとえば、車両１から離れた位置にある標識などに記載された文字は、撮像画像内の反射物に小さく映り込むものと考えられる。このような文字は、乗員の視力によっては、乗員にとって知覚しにくくなっている可能性がある。したがって、この場合、サービス実行部３２０は、該当の文字が乗員にとって知覚しやすくなるように、該当の文字を表示部８に（たとえば拡大して）表示したり音声出力部９から音声として出力したりしうる。なお、該当の文字を表示部８に表示する際には、乗員の色覚特性に合わせて色の調整などが実施されてもよい。

さらに、認識処理部３１０により取得される情報の他の一つである色情報によれば、次のようなサービスの提供を実現することが可能である。

より具体的に、サービス実行部３２０は、色情報に基づいて、乗員に対して色の知覚支援を実行しうる。この場合、車室２ａ内に設けられるモニタ装置１１などが、知覚支援のためにサービス実行部３２０の制御のもとで動作する制御対象４００となる。

たとえば、信号機などは、色の判別が必要な対象であるが、乗員が信号機を注視している場合、周囲の光の状況または一時的な視力低下などの影響により、乗員が信号機の色を知覚しにくくなっている可能性がある。したがって、この場合、サービス実行部３２０は、知覚支援として、該当の色を表す文字を表示部８に表示したり音声出力部９から音声として出力したりする処理を実行しうる。

なお、第１の実施形態の技術は、瞳孔および虹彩の位置などといった、乗員の目の生体的または構造的な特徴を撮像画像から検出し、検出結果に基づいて乗員の視線の向きを推定する技術と併用することも可能である。

以上の構成に基づき、第１の実施形態にかかる情報処理システム１００は、車両１に乗員が乗っている場合に、次の図５に示されるような一連の処理を実行する。

図５は、第１の実施形態にかかる情報処理システム１００により実行される一連の処理を示した例示的なフローチャートである。

図５に示されるように、第１の実施形態では、まず、Ｓ５０１において、車載カメラ２００の画像取得部２１０は、人の目を含む部位に存在する反射物（目そのもの、眼鏡、またはコンタクトレンズなど）を撮像することで得られる撮像画像を取得する。

そして、Ｓ５０２において、車載カメラ２００の情報出力部２２０は、Ｓ５０１で取得された撮像画像に対する画像認識モデル２２１を用いた画像認識を実行する。より具体的に、情報出力部２２０は、Ｓ５０１で取得された撮像画像を画像認識モデル２２１に入力し、画像認識モデル２２１から出力される上述したオブジェクト情報、施設情報、および文字情報などの情報を、認識結果として取得する。

そして、Ｓ５０３において、車載カメラ２００の情報出力部２２０は、Ｓ５０２での画像認識の結果を示す認識結果を、ＥＣＵ３００に出力する。

そして、Ｓ５０４において、ＥＣＵ３００の認識結果取得部３１０は、Ｓ５０３で情報出力部２２０から出力された認識結果を取得する。

そして、Ｓ５０５において、ＥＣＵ３００のサービス実行部３２０は、Ｓ５０４で取得された認識結果に基づいて、実行すべきサービスを決定する。たとえば、ＥＣＵ３００のサービス実行部３２０は、オブジェクト情報に応じて実行すべき車両１の運動制御および当該運動制御の前の注意喚起、施設情報に応じて実行すべき施設の利用に関する情報の通知、文字情報に応じて実行すべき知覚支援、および色情報に応じて実行すべき知覚支援、などといった各種のサービスの制御内容を決定する。

そして、Ｓ５０６において、ＥＣＵ３００のサービス実行部３２０は、Ｓ５０５で決定された制御内容に応じて制御対象４００を制御し、乗員に適切なサービスを提供する。そして、処理が終了する。

以上説明したように、第１の実施形態にかかる情報処理システム１００は、画像取得部２１０と、情報出力部２２０と、を備えている。画像取得部２１０は、車両１の乗員の目を含む部位に存在する反射物（目そのもの、眼鏡、またはコンタクトレンズなど）を撮像することで得られる撮像画像を取得する。そして、情報出力部２２０は、画像取得部２１０により取得された撮像画像から反射物に映り込んだ情報を読み取って出力する。そして、第１の実施形態において、情報処理システム１００は、情報出力部２２０により出力された情報に基づいて、乗員に対するサービスを実行するサービス実行部３２０を備えている。

上記のような構成によれば、乗員の目を含む部位に存在する反射物に映り込んだ情報を様々に利用することができる。したがって、乗員の目を含む部位に存在する反射物を撮像することで得られる撮像画像をより有効に利用することができる。より具体的に、上記のような構成によれば、乗員の目を含む部位に存在する反射物を撮像することで得られる撮像画像を利用して、乗員に有益なサービスを提供することができる。

たとえば、第１の実施形態において、情報出力部２２０は、撮像画像から、車両１の進行の妨げとなる可能性があるオブジェクトに関するオブジェクト情報を読み取って出力しうる。そして、サービス実行部３２０は、オブジェクト情報に基づいて、オブジェクトを回避するように車両１の運動制御を実行しうる。このような構成によれば、オブジェクト情報に基づいて実行される車両１の運動制御により、車両１とオブジェクトとの接触を適切に回避することができる。

この場合、第１の実施形態において、サービス実行部３２０は、オブジェクト情報の経時変化に基づいて、反射物においてオブジェクトが徐々に大きくなるように映り込んでいると判定される場合に、オブジェクトを回避するように車両１の運動制御を実行しうる。このような構成によれば、オブジェクト情報の経時変化に基づいて、車両１とオブジェクトとの接触の可能性を容易に判定し、判定結果に応じて、車両１の運動制御を適切に実行することができる。

また、第１の実施形態において、サービス実行部３２０は、反射物が乗員の目の白目部分と黒目部分とを区別可能な態様で撮像画像内に写っている場合、オブジェクト情報に基づいて、白目部分にオブジェクトが映り込んでいると判定される場合に、オブジェクトを回避するように車両１の運動制御を実行しうる。このような構成によれば、白目部分にオブジェクトが映り込んでいるか否かに基づいて、オブジェクトを乗員が意図的に視認しているか否かを容易に判定し、判定結果に応じて、車両１の運動制御を適切に実行することができる。

また、第１の実施形態において、サービス実行部３２０は、オブジェクトを回避するように車両１の運動制御を実行するのに先立って、乗員に対して注意喚起の通知を実行しうる。このような構成によれば、乗員に何らの通知も実行しないまま車両１の運動制御を実行することで乗員に違和感を与えるのを回避することができる。

また、第１の実施形態において、情報出力部２２０は、撮像画像から、反射物に映り込んでいる施設に関する施設情報を読み取って出力しうる。そして、サービス実行部３２０は、施設情報に基づいて、乗員に対して施設の利用に関する情報の通知を実行しうる。このような構成によれば、施設情報に基づいて、たとえば乗員が利用することを望んでいると考えられる施設を判定し、判定結果に応じて、乗員に対して有益な情報を提供することができる。

また、第１の実施形態において、情報出力部２２０は、撮像画像から、反射物に映り込んでいる文字を示す文字情報を読み取って出力しうる。そして、サービス実行部３２０は、文字情報に基づいて、乗員に対して文字の知覚支援を実行しうる。このような構成によれば、文字情報に基づいて、たとえば乗員が知覚すべきと考えられる文字を判定し、判定結果に応じて、該当する文字を乗員に容易に知覚させることができる。

また、第１の実施形態において、情報出力部２２０は、撮像画像から、反射物に映り込んでいる、色の判別が必要な対象の色を示す色情報を読み取って出力しうる。そして、サービス実行部３２０は、色情報に基づいて、乗員に対して色の知覚支援を実行しうる。このような構成によれば、色情報に基づいて、たとえば乗員が知覚すべきと考えられる色を判定し、判定結果に応じて、該当する色を乗員に容易に知覚させることができる。

＜第２の実施形態＞
なお、上述した第１の実施形態では、車両１の乗員を対象に本開示の技術が適用されている。しかしながら、本開示の技術は、車両１の乗員以外にも適用可能である。たとえば、第２の実施形態として、情報処理システムとしてのＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）のような端末装置６００のユーザを対象に本開示の技術を適用する例が考えられる。

図６は、第２の実施形態にかかる情報処理システムとしての端末装置６００の外観を示した例示的かつ模式的な図である。

図６に示されるように、端末装置６００は、ディスプレイ６１０と、カメラ６２０と、操作入力部６３０と、を備えている。第２の実施形態では、ディスプレイ６１０を視認しながら操作入力部６３０などを用いた作業を行っているユーザの目を含む部位に存在する反射物をカメラ６２０により撮像することで得られる撮像画像が有効に利用される。

なお、図６に示される例では、端末装置６００がラップトップＰＣとして構成されているが、第２の実施形態の技術は、カメラおよびディスプレイが設けられていれば、ラップトップＰＣとは異なる他の端末装置にも適用可能である。

図７は、第２の実施形態にかかる端末装置６００の機能を示した例示的かつ模式的な図である。

図７に示されるように、カメラ６２０による撮像結果は、画像取得部７１０と、情報出力部７２０と、サービス実行部７３０と、を備えた制御部７００に受け渡される。なお、制御部７００は、端末装置６００の各部の制御を司る機能ブロックである。

画像取得部７１０は、カメラ６２０による撮像結果、すなわちディスプレイ６１０を視認しながら操作入力部６３０などを用いた作業を行っているユーザの目を含む部位に存在する反射物を撮像することで得られる撮像画像を取得する。そして、情報出力部７２０は、画像取得部７１０により取得された撮像画像に対して、上述した第１の実施形態にかかる画像認識モデル２２１（図３参照）と同様の技術的思想に基づいて予め生成された画像認識モデル７２１に基づく画像認識を実行する。

すなわち、第２の実施形態にかかる画像認識モデル７２１は、撮像画像の入力に応じて、撮像画像内の反射物に映り込んでいるディスプレイ６１０に表示された画像などのコンテンツに関するコンテンツ情報と、撮像画像内の反射物に映り込んでいるディスプレイ６１０に表示された文字を示す文字情報と、を出力するように構成されている。画像認識モデル７２１は、上述した第１の実施形態にかかる画像認識モデル２２１（図３参照）と同様、たとえば機械学習により予めトレーニングされたニューラルネットワークとして構成される。

なお、第２の実施形態において、画像認識モデル７２１は、反射物に映り込んでいる対象に関する情報であれば、コンテンツ情報および文字情報以外の他の情報も出力しうる。

情報出力部７２０は、画像取得部７１０により取得された撮像画像を画像認識モデル７２１に入力することで画像認識モデル７２１から出力される情報を、サービス実行部７３０に受け渡す。そして、サービス実行部７３０は、情報出力部７２０により出力された情報に基づいて、端末装置６００のユーザに対して各種のサービスを提供する。

たとえば、情報出力部７２０により出力される情報の一つであるコンテンツ情報によれば、次のようなサービスの提供を実現することが可能である。

より具体的に、サービス実行部７３０は、コンテンツ情報に基づいて、ユーザが見るべきコンテンツを見ていないと判定される場合に、ユーザに対して注意喚起の通知を実行しうる。この場合、ディスプレイ６１０またはスピーカ（不図示）などが、注意喚起の通知のためにサービス実行部７３０の制御のもとで動作する制御対象７５０となる。

たとえば、業務中のユーザが業務とは関係無いコンテンツを見ている場合、撮像画像内の反射物には、予め決められたコンテンツと異なるコンテンツが映り込む。したがって、この場合、サービス実行部７３０は、コンテンツ情報に基づいて、たとえば予め決められたコンテンツと異なるコンテンツに関するコンテンツ情報が所定時間以上継続して取得されたと判定された場合に、業務に戻るようにユーザに対する注意喚起の通知を実行しうる。

また、情報出力部７２０により出力される情報の他の一つである文字情報によれば、次のようなサービスの提供を実現することが可能である。

より具体的に、サービス実行部７３０は、文字情報に基づいて、ユーザに対して文字の知覚支援または入力支援を実行しうる。この場合も、ディスプレイ６１０またはスピーカ（不図示）などが、知覚支援または入力支援のためにサービス実行部７３０の制御のもとで動作する制御対象７５０となる。

たとえば、撮像画像内の反射物に映り込んでいる文字は、ユーザが知覚または端末装置６００のアプリケーションなどへの入力を望んでいる文字であると考えられる。したがって、この場合、サービス実行部７３０は、該当の文字がユーザにとって知覚しやすくなるように、該当の文字をディスプレイ６１０に拡大表示したりスピーカ（不図示）から音声として出力したりする。また、この場合、サービス実行部７３０は、該当の文字を端末装置６００のアプリケーションなどへ入力する際のユーザの作業負担が軽減されるように、該当の文字を端末装置６００のアプリケーションなどへ自動で入力しうる。

なお、第２の実施形態の技術も、上述した第１の実施形態の技術と同様に、瞳孔および虹彩の位置などといった、ユーザの目の生体的または構造的な特徴を撮像画像から検出し、検出結果に基づいてユーザの視線の向きを推定する技術と併用することも可能である。

このように、第２の実施形態にかかる端末装置６００は、認識結果取得部３１０（図３参照）に対応する構成は無いものの、上述した第１の実施形態にかかる情報処理システム１００と実質的に同様の構成を有している。したがって、第２の実施形態にかかる端末装置６００が実行する処理の流れは、上述した第１の実施形態において実行される処理の流れ（図５参照）と実質的に同様である。

以上説明したように、第２実施形態にかかる端末装置６００は、画像取得部７１０と、情報出力部７２０と、を備えている。画像取得部７１０は、端末装置６００のディスプレイ６１０を視認中のユーザの目を含む部位に存在する反射物（目そのもの、眼鏡、またはコンタクトレンズなど）を撮像することで得られる撮像画像を取得する。そして、情報出力部７２０は、画像取得部７１０により取得された撮像画像から反射物に映り込んだ情報を読み取って出力する。そして、第２の実施形態において、端末装置６００は、情報出力部７２０により出力された情報に基づいて、ユーザに対するサービスを実行するサービス実行部７３０を備えている。

上記のような構成によれば、端末装置６００のユーザの目を含む部位に存在する反射物に映り込んだ情報を様々に利用することができる。したがって、ユーザの目を含む部位に存在する反射物を撮像することで得られる撮像画像をより有効に利用することができる。より具体的に、ユーザの目を含む部位に存在する反射物を撮像することで得られる撮像画像を利用して、ユーザに有益なサービスを提供することができる。

たとえば、第２の実施形態において、情報出力部７２０は、撮像画像から、反射物に映り込んでいるディスプレイ６１０に表示されたコンテンツに関するコンテンツ情報を取得しうる。そして、サービス実行部７３０は、コンテンツ情報に基づいて、ユーザが見るべきコンテンツを見ていないと判定される場合に、ユーザに対して注意喚起の通知を実行しうる。このような構成によれば、コンテンツ情報に基づいて実行される注意喚起の通知により、見るべきコンテンツを見るようユーザに適切に促すことができる。

また、第２の実施形態において、情報出力部７２０は、撮像画像から、反射物に映り込んでいるディスプレイ６１０に表示された文字を示す文字情報を読み取って出力しうる。そして、サービス実行部７３０は、文字情報に基づいて、ユーザに対して文字の知覚支援または入力支援を実行しうる。このような構成によれば、文字情報に基づいて実行される知覚支援または入力支援により、該当する文字を確実にユーザに知覚させること、または該当する文字をユーザが端末装置６００のアプリケーションなどに入力する際の作業負担を軽減することを実現することができる。

＜第１および第２の実施形態を実現するためのハードウェア構成＞
なお、第１の実施形態にかかる情報処理システム１００、および第２の実施形態にかかる情報処理システムとしての端末装置６００の各機能は、たとえば次の図８に示されるようなハードウェア構成を有するコンピュータ８００によって実現される。

図８は、第１および第２の実施形態を実現するためのコンピュータ８００のハードウェア構成を示した例示的かつ模式的なブロック図である。

図８に示されるように、第１および第２の実施形態を実現するためのコンピュータ８００は、プロセッサ８１０と、メモリ８２０と、ストレージ８３０と、入出力インターフェース（Ｉ／Ｆ）８４０と、通信インターフェース（Ｉ／Ｆ）８５０と、を備えている。これらのハードウェアは、バス８６０に接続されている。

プロセッサ８１０は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として構成され、コンピュータ８００の各部の動作を統括的に制御する。なお、プロセッサ８１０は、たとえばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような、画像処理に特化した演算装置を含みうる。この場合、たとえば、第１の実施形態にかかる情報出力部２２０（図３参照）および第２の実施形態にかかる情報出力部７２０は、ＧＰＵにより実現されうる。

メモリ８２０は、たとえばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、プロセッサ８１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ８１０がプログラムを実行するための作業領域の提供などを実現する。

ストレージ８３０は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含み、各種のデータを不揮発的に記憶する。

入出力インターフェース８４０は、コンピュータ８００へのデータの入力およびコンピュータ８００からのデータの出力を制御する。

通信インターフェース８５０は、コンピュータ８００が他の装置と通信を実行することを可能にする。

第１の実施形態にかかる車載カメラ２００が有する図３に示されるような機能モジュール群は、車載カメラ２００に搭載されるコンピュータ８００のプロセッサ８１０がメモリ８２０またはストレージ８３０などに記憶された所定の情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働により実現されうる。

同様に、第１の実施形態にかかるＥＣＵ３００が有する図３に示されるような機能モジュール群、および第２の実施形態にかかる端末装置６００が有する図７に示されるような機能モジュール群は、ＥＣＵ３００および端末装置６００を実現するコンピュータ８００のプロセッサ８１０がメモリ８２０またはストレージ８３０などに記憶された所定の情報処理プログラムを実行した結果として、ハードウェアとソフトウェアとの協働により実現されうる。

ただし、実施形態では、図３および図７に示される機能モジュール群のうち少なくとも一部が、専用のハードウェア（回路：ｃｉｒｃｕｉｔｒｙ）のみによって実現されてもよい。

なお、第１および第２の実施形態において実行される情報処理プログラムは、メモリ８２０またはストレージ８３０などの記憶装置に予め組み込まれた状態で提供されてもよいし、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

また、第１および第２の実施形態において実行される情報処理プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、第１および第２の実施形態において実行される情報処理プログラムは、インターネットなどのネットワークに接続されたサーバのようなコンピュータ上に格納された状態で、当該コンピュータからネットワーク経由でダウンロードする、といった形で提供されてもよい。

以上、本開示のいくつかの実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
１００ 情報処理システム
２１０ 画像取得部
２２０ 情報出力部
３２０ サービス実行部
６００ 端末装置
６１０ ディスプレイ
７１０ 画像取得部
７２０ 情報出力部
７３０ サービス実行部

Claims (13)

1. 人の目を含む部位に存在する反射物を撮像することで得られる撮像画像を取得する画像取得部と、
   前記画像取得部により取得された前記撮像画像から前記反射物に映り込んだ情報を読み取って出力する情報出力部と、
   を備える、情報処理システム。
2. 前記画像取得部は、車両の乗員の目を含む部位に存在する前記反射物の前記撮像画像を取得し、
   前記情報出力部により出力された前記情報に基づいて、前記乗員に対するサービスを実行するサービス実行部をさらに備える、
   請求項１に記載の情報処理システム。
3. 前記情報出力部は、前記撮像画像から、前記車両の進行の妨げとなる可能性があるオブジェクトに関するオブジェクト情報を読み取って出力し、
   前記サービス実行部は、前記オブジェクト情報に基づいて、前記オブジェクトを回避するように前記車両の運動制御を実行する、
   請求項２に記載の情報処理システム。
4. 前記サービス実行部は、前記オブジェクト情報の経時変化に基づいて、前記反射物において前記オブジェクトが徐々に大きくなるように映り込んでいると判定される場合に、前記オブジェクトを回避するように前記車両の前記運動制御を実行する、
   請求項３に記載の情報処理システム。
5. 前記サービス実行部は、前記反射物が前記乗員の目の白目部分と黒目部分とを区別可能な態様で前記撮像画像内に写っている場合、前記オブジェクト情報に基づいて、前記白目部分に前記オブジェクトが映り込んでいると判定される場合に、前記オブジェクトを回避するように前記車両の前記運動制御を実行する、
   請求項３または４に記載の情報処理システム。
6. 前記サービス実行部は、前記オブジェクトを回避するように前記車両の前記運動制御を実行するのに先立って、前記乗員に対して注意喚起の通知を実行する、
   請求項３〜５のうちいずれか１項に記載の情報処理システム。
7. 前記情報出力部は、前記撮像画像から、前記反射物に映り込んでいる施設に関する施設情報を読み取って出力し、
   前記サービス実行部は、前記施設情報に基づいて、前記乗員に対して前記施設の利用に関する情報の通知を実行する、
   請求項２〜６のうちいずれか１項に記載の情報処理システム。
8. 前記情報出力部は、前記撮像画像から、前記反射物に映り込んでいる文字を示す文字情報を読み取って出力し、
   前記サービス実行部は、前記文字情報に基づいて、前記乗員に対して前記文字の知覚支援を実行する、
   請求項２〜７のうちいずれか１項に記載の情報処理システム。
9. 前記情報出力部は、前記撮像画像から、前記反射物に映り込んでいる対象の色を示す色情報を読み取って出力し、
   前記サービス処理部は、前記色情報に基づいて、前記乗員に対して前記色の知覚支援を実行する、
   請求項２〜８のうちいずれか１項に記載の情報処理システム。
10. 前記画像取得部は、端末装置のディスプレイを視認中のユーザの目を含む部位に存在する前記反射物の前記撮像画像を取得し、
    前記情報出力部により出力された前記情報に基づいて、前記ユーザに対するサービスを実行するサービス実行部をさらに備える、
    請求項１に記載の情報処理システム。
11. 前記情報出力部は、前記撮像画像から、前記反射物に映り込んでいる前記ディスプレイに表示されたコンテンツに関するコンテンツ情報を取得し、
    前記サービス実行部は、前記コンテンツ情報に基づいて、前記ユーザが見るべき前記コンテンツを見ていないと判定される場合に、前記ユーザに対して注意喚起の通知を実行する、
    請求項１０に記載の情報処理システム。
12. 前記情報出力部は、前記撮像画像から、前記反射物に映り込んでいる前記ディスプレイに表示された文字を示す文字情報を読み取って出力し、
    前記サービス実行部は、前記文字情報に基づいて、前記ユーザに対して前記文字の知覚支援または入力支援を実行する、
    請求項１０または１１に記載の情報処理システム。
13. 人の目を含む部位に存在する反射物を撮像することで得られる撮像画像を取得する画像取得ステップと、
    前記画像取得ステップにより取得された前記撮像画像から前記反射物に映り込んだ情報を読み取り、読み取った情報を出力する情報出力ステップと、
    をコンピュータに実行させるための、情報処理プログラム。

Images