JP2023114500A - 状態判定装置、状態判定方法、および、プログラム - Google Patents

Abstract

【課題】容易な処理により車両内のユーザの状態を判定する。【解決手段】状態判定装置１は、車両の車室内に設置されるカメラ５であって、車両の外部の光景と、車室内にいるユーザとの両方が撮影された一の画像を生成するカメラ５と、カメラ５が生成した一の画像に対する処理によって一の画像に映っている光景とユーザとから取得した情報を用いて、ユーザの状態を判定し、判定結果を出力する判定部１０とを備える。【選択図】図２

Description

本発明は、状態判定装置、状態判定方法、および、プログラムに関する。

車両の運転者の視線に基づいて、運転者による車両の運転を支援する技術がある（特許文献１参照）。

特開２０２０－９４８６１号公報

しかしながら、上記技術では、車内カメラおよび車外カメラの制御の処理、ならびに、上記のカメラにより生成された画像の画像処理などの多くの処理が必要であり、処理が容易でないという問題がある。

そこで、本発明は、容易な処理により車両内のユーザの状態を判定する状態判定装置を提供する。

本発明の一態様に係る状態判定装置は、車両の車室内に設置されるカメラであって、前記車両の外部の光景と、前記車室内にいるユーザとの両方が撮影された一の画像を生成するカメラと、前記カメラが生成した前記一の画像に対する処理によって前記一の画像に映っている前記光景と前記ユーザとから取得した情報を用いて、前記ユーザの状態を判定し、判定結果を出力する判定部とを備える状態判定装置である。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の情報処理方法は、容易な処理により車両内のユーザの状態を判定することができる。

図１は、実施の形態における車両と状態判定装置との構成を模式的に示す説明図である。 図２は、実施の形態における状態判定装置の機能構成を示すブロック図である。 図３Ａは、実施の形態におけるカメラが設置される位置と撮影方向との例を示す第一の説明図である。 図３Ｂは、実施の形態におけるカメラが設置される位置と撮影方向との例を示す第二の説明図である。 図４は、実施の形態におけるカメラが設置される位置と撮影方向との例を示す第三の説明図である。 図５は、実施の形態におけるカメラにより生成される画像の第一例を示す説明図である。 図６は、実施の形態におけるカメラにより生成される画像の第二例を示す説明図である。 図７は、実施の形態におけるカメラにより生成される画像の第三例を示す説明図である。 図８は、実施の形態における状態判定装置の処理の例を示すフロー図である。 図９は、実施の形態の変形例における状態判定装置の機能構成の第一例を示すブロック図である。 図１０は、実施の形態の変形例における状態判定装置の機能構成の第二例を示すブロック図である。 図１１は、実施の形態の変形例における状態判定装置の機能構成の第三例を示すブロック図である。 図１２は、実施の形態の変形例における状態判定装置の機能構成の第四例を示すブロック図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、運転支援技術について、以下の問題が生じることを見出した。

特許文献１に示される技術では、車内カメラおよび車外カメラそれぞれにより取得した画像を用いて、車両の運転者の視線に基づいて、運転者による車両の運転を支援する。この場合、車内カメラおよび車外カメラの制御の処理、ならびに、上記のカメラにより生成された画像の画像処理などの煩雑な処理が必要であり、処理が容易でないという問題がある。使用されるカメラが複数であることから、各カメラの撮影などの処理のほか、各カメラの撮影タイミングの調整のための処理も必要であり、そのような処理において撮影タイミングに生じ得る時間差を考慮する必要もある。

ところで、車内カメラを車室内の天井の近傍に設置すると、当該車内カメラの撮影画角に車両の乗員（運転手など）と、車両の窓（サイドウィンドウまたはリアウィンドウ）とが含まれ得る。その車内カメラが撮影した画像には、乗員の身体の少なくとも一部と、車両の窓を介して見える、車外の光景の少なくとも一部との両方が映っている。

そこで、上記のように設置されたカメラにより撮影された一の画像から、車外の光景と車内の乗員との両方に関する情報を取得し、車外の光景を考慮して、車内の乗員の状態を判定することが可能であることに、本願発明者は着想した。このようにすれば、車内カメラと車外カメラとを個別に用意する場合（特許文献１参照）に生ずる煩雑な処理が不要となり、複数のカメラを用いる場合に想定される撮影タイミングのずれが生じ得ない利点がある。

本発明は、容易な処理により車両内のユーザの状態を判定する状態判定装置を提供する。

本発明の一態様に係る状態判定装置は、車両の車室内に設置されるカメラであって、前記車両の外部の光景と、前記車室内にいるユーザとの両方が撮影された一の画像を生成するカメラと、前記カメラが生成した前記一の画像に対する処理によって前記一の画像に映っている前記光景と前記ユーザとから取得した情報を用いて、前記ユーザの状態を判定し、判定結果を出力する判定部とを備える状態判定装置である。

上記態様によれば、状態判定装置は、カメラによる撮影により生成された一の画像から、車両の外部の光景に関する情報と、ユーザに関する情報との両方を取得することができ、これらの情報を用いて容易にユーザの状態を判定することができる。仮に車両の外部の光景に関する情報と、ユーザに関する情報とを、別個の撮影画像から取得するとすれば、複数の画像の取得および管理の処理（具体的には、複数の画像を撮影するためのカメラの制御、複数の画像の撮影タイミングのずれを考慮した管理、および、複数の画像を対応付けた管理など）が必要である。上記態様によれば、一の画像から上記両方の情報を取得することができるので、複数の画像の取得および管理の処理の必要がなくなり、処理がより容易となる。特に、一の画像から取得される上記両方の情報は、当然に、同じ時刻の情報を示しているので、管理がより容易となる。このように、状態判定装置は、容易な処理により車両内のユーザの状態を判定することができる。

例えば、前記カメラは、前記車両のサイドウィンドウの少なくとも一部と、前記ユーザが乗車する位置の少なくとも一部との両方が撮影画角内に入る位置および姿勢で設置されていてもよい。

上記態様によれば、状態判定装置は、カメラにより撮影された一の画像が、より容易に、車両の外部の光景とユーザとの両方が映っている画像になる。よって、状態判定装置は、容易な処理により車両内のユーザの状態を判定することができる。

例えば、前記カメラは、前記車室内の天井の近傍の位置に設置され、かつ、前記カメラの撮影方向が水平より下方を向く姿勢で設置されていてもよい。

上記態様によれば、状態判定装置は、車両の外部の光景とユーザとの両方が映っている画像を生成するような位置および姿勢で、カメラがより容易に設置される。よって、状態判定装置は、容易な処理により車両内のユーザの状態を判定することができる。

例えば、前記カメラは、前記ユーザが乗車する位置より、前記車両の進行方向側の位置に設置され、かつ、前記カメラの撮影方向が、前記車両の進行方向と略反対になる姿勢で設置されていてもよい。

上記態様によれば、状態判定装置は、車両の外部の光景とユーザの顔との両方が映っている画像を生成するような位置および姿勢で、カメラがより容易に設置される。画像にユーザの顔が映っていることで、ユーザの状態の判定がより容易になされ得る。また、画像にユーザの顔が映っていることで、判定の精度が向上するので、ユーザの状態の判定結果が適切となり得る。よって、状態判定装置は、より適切に、車両内のユーザの状態を判定することができる。

例えば、前記カメラは、前記車両のルームミラーの近傍の位置に設置されていてもよい。

上記態様によれば、状態判定装置は、車両の外部の光景とユーザの顔との両方が映っている画像を生成するような位置および姿勢で、カメラがより容易に設置される。とくに、ユーザがルームミラーに視線を向けているか否かを、より高い精度で判定することにより、ユーザの状態をより適切に判定することができる。よって、状態判定装置は、より適切に、車両内のユーザの状態を判定することができる。

例えば、前記処理は、前記一の画像に映っている前記光景に含まれている、前記車両の外部にある物体を認識する第一認識処理と、前記一の画像に映っている前記ユーザの頭部の姿勢または視線を検出する第一検出処理とを含み、前記判定部は、前記ユーザの状態の判定として、前記第一検出処理で検出した前記姿勢または前記視線に基づいて、前記第一認識処理で認識した前記物体に前記ユーザが気付いているか否かを判定してもよい。

上記態様によれば、状態判定装置は、カメラによる撮影により生成された一の画像から、ユーザの状態として、状態判定装置が認識した車外の物体にユーザが気付いているか否かを判定することができる。よって、状態判定装置は、容易な処理により車両内のユーザの状態を具体的に判定することができる。

例えば、前記車両の外部の光景は、前記車両の左または右の一方のサイドウィンドウを通して前記カメラから見える光景を含み、前記判定部は、前記ユーザが前記物体の存在に気付いていないと判定した場合であって、かつ、前記車両が左または右の前記一方に旋回すること、または、前記ユーザが前記物体の存在に気付いていない状態が所定時間継続したことを検出した場合に、前記ユーザに通知してもよい。

上記態様によれば、状態判定装置は、判定したユーザの状態に加えて、車両の旋回またはユーザが気付いていない時間長についての検出結果を用いてユーザに通知をすることで、より適切な車両の運行に寄与する。よって、状態判定装置は、車両内のユーザの状態を具体的に判定しながら、より適切な車両の運行に寄与する。

例えば、前記車両の外部の光景は、前記車両のリアウィンドウを通して前記カメラから見える光景を含み、前記判定部は、前記ユーザが前記物体の存在に気付いていないと判定した場合であって、かつ、前記車両が後退すること、または、前記ユーザが前記車両を後退させる操作をしたことを検出した場合に、前記ユーザに通知してもよい。

上記態様によれば、状態判定装置は、判定したユーザの状態に加えて、車両の後退についての検出結果を用いてユーザに通知をすることで、より適切な車両の運行に寄与する。よって、状態判定装置は、車両内のユーザの状態を具体的に判定しながら、より適切な車両の運行に寄与する。

例えば、前記処理は、前記一の画像に映っている前記光景に含まれている、前記車両の外部にある物体を認識する第一認識処理と、前記一の画像に映っている前記ユーザの姿勢を検出する第二検出処理を含み、前記判定部は、前記ユーザの状態の判定として、前記第二検出処理で検出した前記姿勢に基づいて、前記第一認識処理で認識した前記物体が存在する状況において、前記ユーザが前記車両を降車する動作をしているか否かを判定してもよい。

上記態様によれば、状態判定装置は、カメラによる撮影により生成された一の画像から、ユーザの状態として、ユーザの降車を判定することができる。よって、状態判定装置は、容易な処理により車両内のユーザの状態を具体的に判定することができる。

例えば、前記判定部は、前記ユーザが前記動作をしていると判定した場合であって、前記第一認識処理で認識した前記物体に前記ユーザが接触する危険があることを検出した場合に、前記ユーザに通知してもよい。

上記態様によれば、状態判定装置は、カメラによる撮影により生成された一の画像から、ユーザの状態として、状態判定装置が認識した車外の物体に、車両を降車するユーザが接触する危険があるか否かを判定することができる。よって、状態判定装置は、車両内のユーザの状態を具体的に判定しながら、より適切な車両の運行に寄与する。

例えば、前記処理は、前記一の画像に映っている前記光景に含まれている、前記車両の外部にある他車両または静止物体を認識する第二認識処理と、前記一の画像に映っている前記ユーザの状態を検出する第三検出処理とを含み、前記判定部は、前記第二認識処理で認識した前記他車両または前記静止物体に基づいて、前記車両の走行状況を判定し、前記走行状況によって、前記第三検出処理で検出した前記ユーザの状態を補正してから、前記ユーザの状態として出力してもよい。

上記態様によれば、状態判定装置は、車両の走行状況を考慮して、ユーザの状態を適切に判定することができる。よって、状態判定装置は、容易な処理により車両内のユーザの状態を具体的に判定することができる。

例えば、前記カメラは、ユーザによる操作に基づいて、撮影方向が変更される機構を有し、前記判定部は、さらに、前記一の画像に前記車両のサイドウィンドウの少なくとも一部と、前記ユーザが乗車する位置の少なくとも一部との両方が含まれているか否かを判定し、含まれていないと判定した場合に前記ユーザに通知してもよい。

上記態様によれば、状態判定装置は、カメラにより撮影された一の画像に、車両の外部の光景とユーザとの両方が映っていないことをユーザに通知する。通知を受けたユーザは、カメラの撮影方向が変更される機構を操作することで、カメラの撮影方向を変更することができる。これにより、カメラにより撮影された一の画像が、車両の外部の光景とユーザとの両方が映っている画像になるようにすることに寄与する。よって、状態判定装置は、容易な処理により車両内のユーザの状態を判定することができる。

また、本発明の一態様に係る状態判定方法は、車両の車室内に設置されるカメラによって、前記車両の外部の光景と、前記車室内にいるユーザとの両方が撮影された一の画像を生成し、前記カメラが生成した前記一の画像に対する処理によって前記一の画像に映っている前記光景と前記ユーザとから取得した情報を用いて、前記ユーザの状態を判定し、判定結果を出力する状態判定方法である。

上記態様によれば、上記状態判定装置と同様の効果を奏する。

また、本発明の一態様に係るプログラムは、上記の状態判定方法をコンピュータに実行させるプログラムである。

上記態様によれば、上記状態判定装置と同様の効果を奏する。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
本実施の形態において、容易な処理により車両内のユーザの状態を判定する状態判定装置および状態判定方法などについて説明する。

図１は、実施の形態における車両Ｖと状態判定装置１との構成を模式的に示す説明図である。図２は、本実施の形態における状態判定装置１の機能構成を示すブロック図である。

車両Ｖは、例えば自動車であり、人が乗車することができる。車両Ｖに乗車している人をユーザＵという。ユーザＵは、例えば車両Ｖの運転席に着座する運転者であり、この場合を例として説明するが、これに限られず、助手席または後部座席に乗車している乗員でもよい。

車両Ｖは、ユーザＵによって運転されて路面を走行する。車両Ｖは、乗員が乗車するための空間である車室Ｓを有する。車室Ｓには、ルームミラーおよび乗員が着座するためのシートなどが配置されている。なお、車両Ｖの進行方向を向いた人にとっての左方向または右方向を、それぞれ、単に左方向または右方向ともいう。

状態判定装置１は、ユーザＵの状態を判定する装置である。例えば、状態判定装置１は、ユーザＵの状態として、ユーザＵが車両Ｖの外部にある物体に気付いているか否か、または、ユーザＵが車両Ｖを降車する動作をしているか否かを判定する。また、例えば、状態判定装置１は、ユーザＵの状態として、ユーザＵの眠気を判定する。

図１および図２に示されるように、状態判定装置１は、カメラ５と、判定部１０と、提示部２０とを備える。

カメラ５は、車両Ｖの車室Ｓ内に設置されるカメラである。カメラ５は、車両Ｖの窓を介して見える車両Ｖの外部の光景と、車室Ｓ内にいるユーザＵとの両方が撮影された一の画像を生成する。カメラ５が設置される位置および姿勢については、後で詳しく説明する。

判定部１０は、ユーザＵの状態を判定する機能部である。判定部１０は、カメラ５が生成した画像に対する処理によって画像に映っている光景とユーザＵとから取得した情報を用いて、ユーザＵの状態を判定し、判定結果を出力する。判定部１０は、状態判定装置１が備えるプロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））（不図示）が、メモリ（不図示）を用いて所定のプログラムを実行することで実現され得る。判定部１０は、例えば車両Ｖのダッシュボード内に配置されるが、配置位置はこれに限られない。

判定部１０は、機能部として、乗員領域抽出部１１と、窓領域抽出部１２と、状況取得部１３と、状態判定部１４とを備える。

乗員領域抽出部１１は、カメラ５が生成した画像に映っているユーザＵの領域を抽出する。ユーザＵの領域の抽出は、上記画像に対する画像処理によって周知技術を用いてなされ得る。乗員領域抽出部１１は、抽出したユーザＵの領域の画像を状態判定部１４に提供する。

窓領域抽出部１２は、カメラ５が生成した画像に映っている窓の領域を抽出する。窓の領域には、車両Ｖの外部の光景が映っている。窓の領域の抽出は、上記画像に対する画像処理によって周知技術を用いてなされ得る。窓領域抽出部１２は、抽出した窓の領域の画像を状況取得部１３に提供する。

状況取得部１３は、車両Ｖの状況を取得し、取得した状況を示す状況情報を生成する。状況の取得は、窓領域抽出部１２が抽出した窓の領域の画像に対する画像処理によってなされ得る。状況取得部１３は、生成した状況情報を状態判定部１４に提供する。

状態判定部１４は、ユーザＵの状態を判定し、判定結果を出力する。ユーザＵの状態の判定は、乗員領域抽出部１１が抽出した画像に対する画像処理の結果と、状況取得部１３が生成した状況情報とを用いてなされ、言い換えれば、カメラ５が生成した画像に映っている光景とユーザＵとから取得した情報を用いてなされ得る。状態判定部１４は、判定の結果を示す結果情報を提示部２０に提供する。なお、状態判定部１４は、ユーザＵへの通知を示す通知情報を提示部２０に提供してもよい。

なお、状態判定部１４は、画像に車両の窓の少なくとも一部と、ユーザＵが乗車する位置の少なくとも一部との両方が含まれているか否かを判定し、含まれていないと判定した場合にユーザＵに通知してもよい。通知を受けたユーザＵは、カメラ５の撮影方向を変更することが想定され、その後にカメラ５が生成する画像を、車両の外部の光景とユーザとの両方が映っている画像にすることに寄与する。

以降において、カメラ５が設置される位置および姿勢について説明する。

カメラ５は、天井の近傍の位置に設置され、より具体的には、天井に設置される場合と、ルームミラーに設置される場合とがある。

図３Ａ、図３Ｂおよび図４は、実施の形態におけるカメラ５が設置される位置と撮影方向との例を示す説明図である。図３Ａは、カメラ５が天井に設置される場合の車室Ｓ内を左側から見た図である。図３Ｂは、カメラ５がルームミラーに設置される場合の車室Ｓ内を左側から見た図である。図４は、カメラ５が天井またはルームミラーに設置される場合の車室Ｓ内を天井のやや後方の位置から見た図である。

図３Ａに示されるように、カメラ５は、例えば、車室Ｓ内の天井に設置され、かつ、カメラ５の撮影方向６が水平より下方を向く姿勢で設置されている。なお、天井の近傍は、車室Ｓ内において天井に比較的近い領域として定められた領域であり、例えば、鉛直方向（高さ方向）において天井から、ユーザＵの頭部が位置する高さまでの領域であり得る。より具体的には、天井の近傍は、例えば、車室Ｓ内で、天井からの距離が距離Ｈ２以下である領域である。距離Ｈ２は、車室Ｓの鉛直方向（つまり高さ方向）の距離Ｈ１の１／５～１／１０程度とすることができる。

また、図３Ａに示されるように、カメラ５は、ユーザＵが乗車する位置より、車両Ｖの進行方向側の位置に設置され、かつ、カメラ５の撮影方向６が、車両Ｖの進行方向と略反対になる姿勢で設置されている。なお、カメラ５が設置される位置は、例えば、車室Ｓ内で、車室Ｓの前方端部からの距離が距離Ｌ２以下である領域である。距離Ｌ２は、車室Ｓの水平方向の距離Ｌ１の１／２～１／３程度とすることができる。

また、図３Ａおよび図４に示されるように、カメラ５は、車両Ｖの窓（つまりサイドウィンドウＷ１およびＷ２）の少なくとも一部と、ユーザＵが乗車する位置の少なくとも一部との両方が撮影画角７内に入る位置および姿勢で設置されている。

なお、カメラ５は、天井に埋め込まれて設置されてもよいし、天井に取り付けられることで設置されてもよい。

また、カメラ５の位置は、ルームミラーの近傍の位置であるともいえる。ルームミラーの近傍は、車室Ｓ内においてルームミラーに比較的近い領域として定められた領域であり、例えば、ルームミラーから１０ｃｍ～２０ｃｍ程度以内である領域である。

なお、カメラ５は、ユーザＵによる操作に基づいて、撮影方向６を変更する機構を有してもよい。撮影方向６を変更する機構は、具体的には、カメラ５が備える光学系の方向を変更する駆動機構を含んでもよい。また、撮影方向６を変更する機構は、カメラ５がルームミラーに設置される場合には、ルームミラーの向きを調整する関節機構であってもよい。状態判定部１４が、画像に車両Ｖの窓の少なくとも一部と、ユーザＵが乗車する位置の少なくとも一部との両方が含まれていないと判定した場合に行う通知を受けたユーザＵが、上記機構を用いて、カメラ５の撮影方向６を変更することが想定される。

別の例として、カメラ５は、図３Ｂにカメラ５Ａとして示されるように、車室Ｓ内のルームミラーに設置されていてもよい。ルームミラーに設置されるカメラ５Ａの位置、カメラ５Ａの撮影方向６Ａ、カメラ５Ａの撮影画角７Ａは、図３Ｂおよび図４に示されている。

ルームミラーは、一般に、車両Ｖを運転しているユーザＵが、車両Ｖの後方を確認するために視線を向ける対象となる。カメラ５Ａがルームミラーに設置される場合、カメラ５Ａが撮影により生成する画像に基づくユーザＵの状態の判定（より具体的にはユーザＵの視線の検出）において、ユーザＵがルームミラーに視線を向けているか否かをより正確に判定することができる効果がある。これにより、状態判定部１４は、ユーザＵが運転中にルームミラーを適切に確認しているか否かを、より正確に認識することができる効果がある。

また、カメラ５Ａは、天井に設置されるカメラ５よりもユーザＵの頭部に近い位置に配置されるので、ユーザＵの顔または表情がより鮮明に撮影された画像を生成することに寄与し、画像に基づく処理の精度を向上する効果を奏する。

次に、カメラ５が生成する画像について説明する。

図５は、実施の形態におけるカメラ５により生成される画像の第一例を示す説明図である。

図５に示されるように、カメラ５により生成される画像には、車両Ｖの窓として、サイドウィンドウＷ１およびＷ２とリアウィンドウＷ３とが映っており、車両Ｖの窓を介して車両Ｖの外部の光景が映っている。また、カメラ５により生成される画像にはユーザＵの身体が映っている。

図５に示される画像を対象とする乗員領域抽出部１１の画像処理によって、当該画像に映っているユーザＵの領域３１が抽出される。また、図５に示される画像を対象とする窓領域抽出部１２の画像処理によって、当該画像に映っている窓の領域３３、３４および３５が抽出される。

以降において、状況取得部１３と状態判定部１４とが行う画像処理と、画像処理の結果に基づく状態判定とについて、具体例を説明する。

（１）車両Ｖの外部の物体にユーザＵが気付いているか否かの判定
状況取得部１３が実行する画像処理は、例えば、窓領域抽出部１２が抽出した窓の領域の画像に対する物体認識処理（第一認識処理とも記載）を含む。状況取得部１３は、第一認識処理を実行することで、車両Ｖの外部にある物体を認識し得る。状況取得部１３は、車両Ｖの外部にある物体を認識すると、車両Ｖの外部に物体があることを示す状況情報を生成する。

状態判定部１４が実行する画像処理は、例えば、乗員領域抽出部１１が抽出したユーザＵの領域の画像に対する、人の頭部の姿勢または視線の検出処理（第一検出処理）を含む。状態判定部１４は、第一検出処理を実行することで、画像に映っているユーザＵの頭部の姿勢または視線を検出する。

この場合、状態判定部１４は、ユーザＵの状態の判定として、第一検出処理で検出したユーザＵの頭部の姿勢または視線に基づいて、状況情報に示される物体（つまり第一認識処理で認識した物体）にユーザＵが気付いているか否かを判定する。例えば、状態判定部１４は、検出したユーザＵの頭部の姿勢に基づいて、ユーザＵの視線方向が上記物体に向くようにユーザＵの頭部の姿勢が変化したことを検出した場合、または、検出したユーザＵの視線に基づいて、ユーザＵが上記物体に視線を向けたことを検出した場合に、上記物体にユーザＵが気付いていると判定し得る。また、状態判定部１４は、上記物体にユーザＵが気付いていると判定しない場合に、上記物体にユーザＵが気付いていないと判定し得る。

なお、状態判定部１４は、下記のようにユーザＵへの通知をしてもよい。

例えば、車両Ｖの外部の光景が、車両Ｖの左側のサイドウィンドウＷ２を通してカメラ５から見える光景を含んでいる場合、状態判定部１４は、ユーザＵが物体の存在に気付いていないと判定し、かつ、走行している車両Ｖが左方向に旋回することを検出したときに、ユーザＵへの通知をしてもよい。

また、例えば、車両Ｖの外部の光景が、車両Ｖの右側のサイドウィンドウＷ１を通してカメラ５から見える光景を含んでいる場合、状態判定部１４は、ユーザＵが物体の存在に気付いていないと判定し、かつ、走行している車両Ｖが右方向に旋回することを検出したときに、ユーザＵへの通知をしてもよい。

また、例えば、車両Ｖの外部の光景が、車両Ｖの左側のサイドウィンドウＷ１または右側のサイドウィンドウＷ２を通してカメラ５から見える光景を含んでいる場合、状態判定部１４は、ユーザＵが物体の存在に気付いていない状態が所定時間継続したことを検出したときに、ユーザＵへの通知をしてもよい。

また、例えば、車両Ｖの外部の光景が、車両ＶのリアウィンドウＷ３を通してカメラ５から見える光景を含んでいる場合、状態判定部１４は、ユーザＵが物体の存在に気付いていないと判定し、かつ、車両Ｖが後退することを検出したときに、ユーザＵへの通知をしてもよい。車両Ｖが後退することの検出は、ユーザＵがシフトレバーなどに対して車両Ｖを後退させる操作をしたことの検出であってもよい。また、車両Ｖが後退することの検出は、ユーザＵの姿勢の変化（ユーザＵが身体の向きを後方に向けて後方を目視する姿勢をとるなど）の検出であってもよい。

（２）車両Ｖの外部に物体が存在する状況でユーザＵが車両Ｖを降車するか否かの判定
状況取得部１３が実行する画像処理は、上記（１）と同様に第一認識処理を含む。

状態判定部１４が実行する画像処理は、例えば、乗員領域抽出部１１が抽出したユーザＵの領域の画像に対する、人の姿勢の検出処理（第二検出処理）を含む。状態判定部１４は、第二検出処理を実行することで、画像に映っているユーザＵの姿勢を検出する。

この場合、状態判定部１４は、ユーザＵの状態の判定として、第二検出処理で検出した姿勢に基づいてユーザＵが車両Ｖを降車する動作をしているか否かを判定する。ユーザＵが車両Ｖを降車する動作は、具体的には、ドアハンドルに手をかける、ドアを開ける、ドアの開口部に身体を通すなどの動作を含み得る。なお、車両Ｖを降車する動作は、車両Ｖを降車する動作の前に行われる所定の動作（身体をドアの方向に傾ける、ドアハンドルに向かって手を延すなど）を含んでもよい。

なお、状態判定部１４は、下記のようにユーザＵへの通知をしてもよい。

状態判定部１４は、例えば、ユーザＵが上記動作をしていると判定した場合であって、第一認識処理で認識した物体にユーザＵが接触する危険があることを検出した場合に、ユーザＵへの通知をしてもよい。状態判定部１４は、例えば、上記物体とユーザＵとの将来の位置を推定し、ユーザＵが移動すると推定される位置に、上記物体が存在していると推定される場合に、上記物体にユーザＵが接触する危険があると検出する。

（３）車両Ｖの外部の状況に基づくユーザＵの状態の判定
状況取得部１３が実行する画像処理は、例えば、窓領域抽出部１２が抽出した窓の領域の画像に対する、他車両または静止物体を認識する物体認識処理（第二認識処理）を含む。状況取得部１３は、第二認識処理を実行することで、車両Ｖの外部にある他車両または静止物体を認識し得る。状況取得部１３は、車両Ｖの外部にある他車両または静止物体を認識すると、車両Ｖの外部に物体があることを示す状況情報を生成する。静止物体は、道路に対して静止している物体であり、道路に描かれている白線、または、道路に固定的に設置されている構造物、標識または看板などである。

状態判定部１４が実行する画像処理は、例えば、乗員領域抽出部１１が抽出したユーザＵの領域の画像に対する、画像に映っている人の状態を検出する画像処理（第三検出処理）を含む。人の状態は、例えば、眠気、疲労、感情、急病、漫然または脇見を含む。ユーザＵの状態の検出は、画像に映っているユーザＵの画像に基づいて、ユーザＵの顔表情（より具体的には、顔のパーツ（目または口など）の位置および位置の変化、または、視線の方向など）、姿勢および姿勢の変化、頭部または肩の位置、傾きまたは揺れの検出により、周知技術によりなされ得る。例えば、眠気、疲労または急病時には、頭部の揺れが大きくなることが知られているので、頭部の揺れからこれらを検知できる。また、視線が滞留していれば漫然を検知でき、視線が正面を向いていなければ脇見していると検知できる。また、顔表情から感情を判定できる。

この場合、状態判定部１４は、第二認識処理で認識した他車両または静止物体に基づいて、車両Ｖが走行している走行状況を判定する。走行状況とは、具体的には車速、車体揺れ、走行環境（高速道路、市街地、未舗装路など）、周辺走行車両または渋滞状態などである。状態判定部１４は、車両Ｖの車速が閾値より低い場合であって、同一の他車両が比較的長い時間、画像に映っている場合に、道路が渋滞していると判定できる。車両Ｖの車速は、静止物体に対する相対速度から取得してもよいし、車両Ｖの制御情報から取得され得る。

そして、状態判定部１４は、走行状況によって、第三検出処理で検出したユーザの状態を補正してから、ユーザの状態として出力する。例えば、状態判定部１４は、道路が渋滞していると判定した場合に、第三検出処理で検出した眠気を高くする補正をしてから、人の状態として出力する。車両Ｖが走行している道路が渋滞しているときには一般にユーザＵが眠気を感じる傾向が高いことから、一般の眠気の検出の結果より眠気を高く補正することで、実際のユーザＵの眠気に近づけることができるからである。

また、状態判定部１４は、車速もしくは車体揺れが大きい場合、または、未舗装路である場合には、頭部の揺れが一般よりも過大になることから、上記の頭部揺れまたは眠気などの異常状態である確率を小さく補正することで、実際のユーザＵの状態に近づけることができる。また、状態判定部１４は、車速が低いまたは静止しているときにはユーザＵが漫然または脇見していても問題はないため、異常状態ではないと判断することで、実際のユーザＵの危険運転状態を適切に判断できる。また、状態判定部１４は、バイクの追い抜きまたは大型トラックの並走があった場合には、一般にいらついたり不安に感じたりすることから、ユーザの感情が不快状態であると補正することで、実際のユーザＵの状態に近づけることができる。

提示部２０は、判定部１０（より具体的には状態判定部１４）から提供される結果情報を提示する。提示した結果情報は、ユーザＵに視認されることが想定される。提示部２０は、例えば、車両Ｖが搭載しているインフォテインメントシステム（カーナビゲーションシステムを含む）の表示画面への画像の表示によって、結果情報を提示する。なお、提示部２０は、インフォテインメントシステムを介して、車両Ｖの車載スピーカによる音の出力によって、結果情報を提示してもよい。

また、提示部２０は、判定部１０（より具体的には状態判定部１４）から通知情報が提供された場合には、通知情報を提示する。通知情報の提示の方法は、結果情報の提示の方法と同様である。ただし、提示部２０は、通知情報の提示を、結果情報の提示と異なる態様で行ってもよい。例えば、ユーザＵが、結果情報の提示よりも、通知情報の提示に、より一層の注意を払うようにしてもよく、例えば、通知情報の提示に係る色を比較的目立ちやすい色にしたり、通知情報の提示に係る文字を比較的大きくしたり、通知情報の提示に係る音声を比較的大きくしたりしてもよい。

提示部２０は、判定部１０から脇見、眠気または漫然の判定がなされた場合には、警告情報を提示してもよい。眠気の判定がなされた場合には、覚醒を促すために空調温度を下げたり、ライトを点灯して明るくしたり、音楽を再生してもよい。眠気、疲労または漫然の判定がなされた場合には、休憩を促す通知をしてもよい。急病の判定がなされた場合には、緊急停止などの危険回避措置とともに、ハザードランプ点灯または安全運航管理システムへの情報通知などの車両外部への情報通知を行ってもよい。感情が不快と判定がなされた場合には、快適にするために音楽を掛けたり、振動を加えたり、アロマを噴出したりして、リラックスを促してもよい。

以降において、カメラ５により生成される画像の具体例を示す。

図６は、本実施の形態におけるカメラ５により生成される画像の第二例を示す説明図である。図６に示される画像は、車両Ｖの左側にバイク４１が走行しているときに、カメラ５により生成される画像の例である。

図６に示される画像において、サイドウィンドウＷ１を通してバイク４１が映っている。

窓領域抽出部１２は、画像におけるサイドウィンドウＷ１の領域を抽出して状況取得部１３に提供する。

状況取得部１３は、サイドウィンドウＷ１の領域の画像に対する第一認識処理を行うことで、バイク４１を認識する。このとき、車両Ｖが走行している場合には、状況取得部１３は、車両Ｖの右側にバイク４１が走行しているという状況を取得する。

乗員領域抽出部１１は、画像におけるユーザＵの領域を抽出して状態判定部１４に提供する。

状態判定部１４は、ユーザＵの領域の画像に対する第一検出処理を行うことで、ユーザＵの頭部の姿勢または視線を検出し、ユーザＵがバイク４１に気付いているか否かを判定する。

なお、状態判定部１４は、さらに、ユーザＵが車両Ｖを右に旋回させる（つまり右折する）動作を検出した場合には、ユーザＵへの通知をしてもよい。

図７は、本実施の形態におけるカメラ５により生成される画像の第三例を示す説明図である。図７に示される画像は、車両Ｖの右側にバイク４２が走行していて、かつ、ユーザＴが車両Ｖから降車しようとしているときに、カメラ５により生成される画像の例である。

図７に示される画像において、サイドウィンドウＷ２を通してバイク４２が映っている。

窓領域抽出部１２は、画像におけるサイドウィンドウＷ２の領域を抽出して状況取得部１３に提供する。

状況取得部１３は、サイドウィンドウＷ２の領域の画像に対する第一認識処理を行うことで、バイク４２を認識する。このとき、状況取得部１３は、車両Ｖの左側にバイク４２が走行または停車しているという状況を取得する。

乗員領域抽出部１１は、画像におけるユーザＴの領域を抽出して状態判定部１４に提供する。

状態判定部１４は、ユーザＴの領域の画像に対する第二検出処理を行うことで、ユーザＴの姿勢を検出し、ユーザＴが車両Ｖを降車しようとする動作（具体的には、ドアハンドルに手をかける動作）をしていることを判定する。

なお、状態判定部１４は、さらに、バイク４２にユーザＴが接触する危険があることを検出した場合には、ユーザＴへの通知をしてもよい。なお、上記場合には、ユーザＴへの通知とともに、または、ユーザＴへの通知に代えて、ユーザＵへの通知をしてもよい。

図８は、本実施の形態における状態判定装置１の処理の例を示すフロー図である。

ステップＳ１０１において、カメラ５は、車両Ｖの外部の光景と、車室Ｓ内にいる乗員（つまりユーザＵ）との両方が撮影された一の画像を生成する。

ステップＳ１０２において、判定部１０は、ステップＳ１０１で取得した一の画像に映っている光景と乗員とから情報を取得する。情報の取得の詳細は、上記のとおりである。

ステップＳ１０３において、判定部１０は、ステップＳ１０２で取得した情報に基づいて、乗員の状態を判定する。乗員の状態の判定の詳細は、上記のとおりである。

ステップＳ１０４において、判定部１０は、ステップＳ１０３で行った判定の結果を出力する。

図８に示される一連の処理により、容易な処理により車両内のユーザの状態を判定する。

（実施の形態の変形例）
上記実施の形態において、判定部１０が、乗員領域抽出部１１と、窓領域抽出部１２と、状況取得部１３と、状態判定部１４とを備える場合を例として説明したが、判定部１０の構成は上記に限られない。

以降において、上記実施の形態における判定部１０の変形例を説明する。

（第一例）
図９は、本変形例における状態判定装置１の機能構成の第一例を示すブロック図である。図９に示される判定部１０Ａは、上記実施の形態における判定部１０の他の構成の一例である。

図９に示される判定部１０Ａは、ユーザＵの状態を判定する機能部である。判定部１０Ａは、カメラ５が生成した画像の入力を受け、ユーザＵの状態についての判定結果を出力する。

判定部１０Ａは、学習モデル５１を有し、学習モデル５１を用いて、入力された画像に基づくユーザＵの状態についての判定結果を出力する。学習モデル５１は、事前に機械学習によって構成されたものである。事前の機械学習は、ユーザの状態が既知であるユーザが映っている多数の画像それぞれについて、そのユーザの状態を正解情報として用いた学習であり得る。学習モデル５１は、例えば、ニューラルネットワークモデルである。

（第二例）
図１０は、本変形例における状態判定装置１の機能構成の第二例を示すブロック図である。図１０に示される判定部１０Ｂは、上記実施の形態における判定部１０の他の構成の一例である。

図１０に示される判定部１０Ｂは、ユーザＵの状態を判定する機能部である。判定部１０Ｂは、カメラ５が生成した画像の入力を受け、ユーザＵの状態についての判定結果を出力する。

判定部１０Ｂは、機能部として、窓領域抽出部１２と、状況取得部１３と、状態判定部１４Ａとを備える。窓領域抽出部１２と、状況取得部１３とは、上記実施の形態における同名の構成要素と同じである。

状態判定部１４Ａは、ユーザＵの状態を判定し、判定結果を出力する。状態判定部１４Ａは、学習モデル５２を有し、学習モデル５２を用いて、入力された画像に基づくユーザＵの状態についての判定結果を出力する。また、状態判定部１４Ａは、状況取得部１３が生成した状況情報を取得し、状況情報にも基づいて、上記判定結果を出力する。状態判定部１４Ａは、判定の結果を示す結果情報を提示部２０に提供する。

学習モデル５２は、事前に機械学習によって構成されたものである。事前の機械学習は、ユーザの状態と車両の状況とが既知であるユーザが映っている多数の画像それぞれについて、そのユーザの状態を正解情報として用いた学習であり得る。学習モデル５２は、例えば、ニューラルネットワークモデルである。

（第三例）
図１１は、実施の形態の変形例における状態判定装置の機能構成の第三例を示すブロック図である。

図１１は、本変形例における状態判定装置１の機能構成の第三例を示すブロック図である。図１１に示される判定部１０Ｃは、上記実施の形態における判定部１０の他の構成の一例である。

図１１に示される判定部１０Ｃは、ユーザＵの状態を判定する機能部である。判定部１０Ｃは、カメラ５が生成した画像の入力を受け、ユーザＵの状態についての判定結果を出力する。

判定部１０Ｃは、機能部として、乗員領域抽出部１１と、状況取得部１３Ａと、状態判定部１４とを備える。乗員領域抽出部１１と、状態判定部１４とは、上記実施の形態における同名の構成要素と同じである。

状況取得部１３Ａは、車両Ｖの状況を取得し、取得した状況を示す状況情報を生成する。状況取得部１３Ａは、学習モデル５３を有し、学習モデル５３を用いて、入力された画像に基づく車両Ｖの状況を示す状況情報を出力する。

学習モデル５３は、事前に機械学習によって構成されたものである。事前の機械学習は、車両の状況が既知である多数の画像それぞれについて、その車両の状況を正解情報として用いた学習であり得る。学習モデル５３は、例えば、ニューラルネットワークモデルである。

（第四例）
図１２は、本変形例における状態判定装置１の機能構成の第四例を示すブロック図である。図１２に示される判定部１０Ｄは、上記実施の形態における判定部１０の他の構成の一例である。

図１２に示される判定部１０Ｄは、ユーザＵの状態を判定する機能部である。判定部１０Ｄは、カメラ５が生成した画像の入力を受け、ユーザＵの状態についての判定結果を出力する。

判定部１０Ｄは、機能部として、状況取得部１３Ａと、状態判定部１４Ａとを備える。状況取得部１３Ａは、上記第三例における同名の構成要素と同じである。状態判定部１４Ａは、上記第二例における同名の構成要素と同じである。

上記の判定部１０Ａ～１０Ｄにより、上記実施の形態における判定部１０と同様の出力を得ることができる。

以上のように、本実施の形態の状態判定装置は、カメラによる撮影により生成された一の画像から、車両の外部の光景に関する情報と、ユーザに関する情報との両方を取得することができ、これらの情報を用いて容易にユーザの状態を判定することができる。仮に車両の外部の光景に関する情報と、ユーザに関する情報とを、別個の撮影画像から取得するとすれば、複数の画像の取得および管理の処理（具体的には、複数の画像を撮影するためのカメラの制御、複数の画像の撮影タイミングのずれを考慮した管理、および、複数の画像を対応付けた管理など）が必要である。上記態様によれば、一の画像から上記両方の情報を取得することができるので、複数の画像の取得および管理の処理の必要がなくなり、処理がより容易となる。特に、一の画像から取得される上記両方の情報は、当然に、同じ時刻の情報を示しているので、管理がより容易となる。このように、状態判定装置は、容易な処理により車両内のユーザの状態を判定することができる。

また、状態判定装置は、カメラにより撮影された一の画像が、より容易に、車両の外部の光景とユーザとの両方が映っている画像になる。よって、状態判定装置は、容易な処理により車両内のユーザの状態を判定することができる。

また、状態判定装置は、車両の外部の光景とユーザとの両方が映っている画像を生成するような位置および姿勢で、カメラがより容易に設置される。よって、状態判定装置は、容易な処理により車両内のユーザの状態を判定することができる。

また、状態判定装置は、車両の外部の光景とユーザの顔との両方が映っている画像を生成するような位置および姿勢で、カメラがより容易に設置される。画像にユーザの顔が映っていることで、ユーザの状態の判定がより容易になされ得る。また、画像にユーザの顔が映っていることで、判定の精度が向上するので、ユーザの状態の判定結果が適切となり得る。よって、状態判定装置は、より適切に、車両内のユーザの状態を判定することができる。

また、状態判定装置は、車両の外部の光景とユーザの顔との両方が映っている画像を生成するような位置および姿勢で、カメラがより容易に設置される。とくに、ユーザがルームミラーに視線を向けているか否かを、より高い精度で判定することにより、ユーザの状態をより適切に判定することができる。よって、状態判定装置は、より適切に、車両内のユーザの状態を判定することができる。

また、状態判定装置は、カメラによる撮影により生成された一の画像から、ユーザの状態として、状態判定装置が認識した車外の物体にユーザが気付いているか否かを判定することができる。よって、状態判定装置は、容易な処理により車両内のユーザの状態を具体的に判定することができる。

また、状態判定装置は、判定したユーザの状態に加えて、車両の旋回またはユーザが気付いていない時間長についての検出結果を用いてユーザに通知をすることで、より適切な車両の運行に寄与する。よって、状態判定装置は、車両内のユーザの状態を具体的に判定しながら、より適切な車両の運行に寄与する。

また、状態判定装置は、判定したユーザの状態に加えて、車両の後退についての検出結果を用いてユーザに通知をすることで、より適切な車両の運行に寄与する。よって、状態判定装置は、車両内のユーザの状態を具体的に判定しながら、より適切な車両の運行に寄与する。

また、状態判定装置は、カメラによる撮影により生成された一の画像から、ユーザの状態として、ユーザの降車を判定することができる。よって、状態判定装置は、容易な処理により車両内のユーザの状態を具体的に判定することができる。

また、状態判定装置は、カメラによる撮影により生成された一の画像から、ユーザの状態として、状態判定装置が認識した車外の物体に、車両を降車するユーザが接触する危険があるか否かを判定することができる。よって、状態判定装置は、車両内のユーザの状態を具体的に判定しながら、より適切な車両の運行に寄与する。

また、状態判定装置は、車両の走行状況を考慮して、ユーザの状態を適切に判定することができる。よって、状態判定装置は、容易な処理により車両内のユーザの状態を具体的に判定することができる。

また、状態判定装置は、カメラにより撮影された一の画像に、車両の外部の光景とユーザとの両方が映っていないことをユーザに通知する。通知を受けたユーザは、カメラの撮影方向が変更される機構を操作することで、カメラの撮影方向を変更することができる。これにより、カメラにより撮影された一の画像が、車両の外部の光景とユーザとの両方が映っている画像になるようにすることに寄与する。よって、状態判定装置は、容易な処理により車両内のユーザの状態を判定することができる。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態のサーバなどを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、車両の車室内に設置されるカメラによって、前記車両の外部の光景と、前記車室内にいるユーザとの両方が撮影された一の画像を生成し、前記カメラが生成した前記一の画像に対する処理によって前記一の画像に映っている前記光景と前記ユーザとから取得した情報を用いて、前記ユーザの状態を判定し、判定結果を出力する状態判定方法を実行させるプログラムである。

以上、一つまたは複数の態様に係る状態判定装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、自動車の運転手など、車両内のユーザの状態を判定する状態判定装置に利用可能である。

１ 状態判定装置
５、５Ａ カメラ
６、６Ａ 撮影方向
７、７Ａ 撮影画角
１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ 判定部
１１ 乗員領域抽出部
１２ 窓領域抽出部
１３、１３Ａ 状況取得部
１４、１４Ａ 状態判定部
２０ 提示部
３１、３３、３４、３５ 領域
４１、４２ バイク
５１、５２、５３ 学習モデル
Ｓ 車室
Ｔ、Ｕ ユーザ
Ｖ 車両
Ｗ１、Ｗ２ サイドウィンドウ
Ｗ３ リアウィンドウ

Claims (14)

1. 車両の車室内に設置されるカメラであって、前記車両の外部の光景と、前記車室内にいるユーザとの両方が撮影された一の画像を生成するカメラと、
   前記カメラが生成した前記一の画像に対する処理によって前記一の画像に映っている前記光景と前記ユーザとから取得した情報を用いて、前記ユーザの状態を判定し、判定結果を出力する判定部とを備える
   状態判定装置。
2. 前記カメラは、前記車両のサイドウィンドウの少なくとも一部と、前記ユーザが乗車する位置の少なくとも一部との両方が撮影画角内に入る位置および姿勢で設置されている
   請求項１に記載の状態判定装置。
3. 前記カメラは、前記車室内の天井の近傍の位置に設置され、かつ、前記カメラの撮影方向が水平より下方を向く姿勢で設置されている
   請求項１または２に記載の状態判定装置。
4. 前記カメラは、前記ユーザが乗車する位置より、前記車両の進行方向側の位置に設置され、かつ、前記カメラの撮影方向が、前記車両の進行方向と略反対になる姿勢で設置されている
   請求項１～３のいずれか１項に記載の状態判定装置。
5. 前記カメラは、前記車両のルームミラーの近傍の位置に設置されている
   請求項１～４のいずれか１項に記載の状態判定装置。
6. 前記処理は、前記一の画像に映っている前記光景に含まれている、前記車両の外部にある物体を認識する第一認識処理と、前記一の画像に映っている前記ユーザの頭部の姿勢または視線を検出する第一検出処理とを含み、
   前記判定部は、
   前記ユーザの状態の判定として、前記第一検出処理で検出した前記姿勢または前記視線に基づいて、前記第一認識処理で認識した前記物体に前記ユーザが気付いているか否かを判定する
   請求項１～５のいずれか１項に記載の状態判定装置。
7. 前記車両の外部の光景は、前記車両の左または右の一方のサイドウィンドウを通して前記カメラから見える光景を含み、
   前記判定部は、
   前記ユーザが前記物体の存在に気付いていないと判定した場合であって、かつ、
   前記車両が左または右の前記一方に旋回すること、または、前記ユーザが前記物体の存在に気付いていない状態が所定時間継続したことを検出した場合に、前記ユーザに通知する
   請求項６に記載の状態判定装置。
8. 前記車両の外部の光景は、前記車両のリアウィンドウを通して前記カメラから見える光景を含み、
   前記判定部は、
   前記ユーザが前記物体の存在に気付いていないと判定した場合であって、かつ、
   前記車両が後退すること、または、前記ユーザが前記車両を後退させる操作をしたことを検出した場合に、前記ユーザに通知する
   請求項６または７に記載の状態判定装置。
9. 前記処理は、前記一の画像に映っている前記光景に含まれている、前記車両の外部にある物体を認識する第一認識処理と、前記一の画像に映っている前記ユーザの姿勢を検出する第二検出処理を含み、
   前記判定部は、
   前記ユーザの状態の判定として、前記第二検出処理で検出した前記姿勢に基づいて、前記第一認識処理で認識した前記物体が存在する状況において、前記ユーザが前記車両を降車する動作をしているか否かを判定する
   請求項１～５のいずれか１項に記載の状態判定装置。
10. 前記判定部は、
    前記ユーザが前記動作をしていると判定した場合であって、前記第一認識処理で認識した前記物体に前記ユーザが接触する危険があることを検出した場合に、前記ユーザに通知する
    請求項９に記載の状態判定装置。
11. 前記処理は、前記一の画像に映っている前記光景に含まれている、前記車両の外部にある他車両または静止物体を認識する第二認識処理と、前記一の画像に映っている前記ユーザの状態を検出する第三検出処理とを含み、
    前記判定部は、
    前記第二認識処理で認識した前記他車両または前記静止物体に基づいて、前記車両の走行状況を判定し、
    前記走行状況によって、前記第三検出処理で検出した前記ユーザの状態を補正してから、前記ユーザの状態として出力する
    請求項１～１０のいずれか１項に記載の状態判定装置。
12. 前記カメラは、ユーザによる操作に基づいて、撮影方向が変更される機構を有し、
    前記判定部は、さらに、
    前記一の画像に前記車両のサイドウィンドウの少なくとも一部と、前記ユーザが乗車する位置の少なくとも一部との両方が含まれているか否かを判定し、含まれていないと判定した場合に前記ユーザに通知する
    請求項１～１１のいずれか１項に記載の状態判定装置。
13. 車両の車室内に設置されるカメラによって、前記車両の外部の光景と、前記車室内にいるユーザとの両方が撮影された一の画像を生成し、
    前記カメラが生成した前記一の画像に対する処理によって前記一の画像に映っている前記光景と前記ユーザとから取得した情報を用いて、前記ユーザの状態を判定し、判定結果を出力する
    状態判定方法。
14. 請求項１３に記載の状態判定方法をコンピュータに実行させるプログラム。

Images