JP2019177853A - 固定器具検知装置および固定器具検知方法 - Google Patents

Abstract

【課題】シートベルト等の固定器具を人が装着しているか否かを撮影された画像から適切に検知することができる固定器具検知装置および固定器具検知方法を提供することを目的とする。【解決手段】固定器具検知装置は、画像を撮影する撮影部と、撮影された画像から人を含む領域の画像を第１枠を用いて抽出し、撮影された画像から人を固定する固定器具を含む領域の画像を第２枠を用いて抽出する抽出部と、第１枠と第２枠が抽出された際に、第１枠と第２枠が重なっている場合に、人が固定器具を装着していると判定する判定部と、を備える。【選択図】図２

Description

本発明は、固定器具検知装置および固定器具検知方法に関する。

車両に乗車している乗員に対して、例えば日本では道路交通法第７１条の３により、全ての座席で座席ベルト（シートベルト）の装着の遵守が義務づけられている。さらに、シートベルトが装着されていない場合、運転者に警報する装置「シートベルトリマインダー」の導入が、今後、義務づけられる。

このシートベルトリマインダーは、例えば、乗員が座席に着座か否かを、例えばシートに加わる荷重を検出する着座センサで検出する。そして、シートベルトリマインダーは、さらにシートベルトの装着が装着されているか否かを検出し、装着されていない場合に報知する。

乗員がシートベルトを装着しているか否かを、例えばバックルに取り付けられているセンサが検出する（例えば、特許文献１参照）。また、乗員がシートベルトを装着していることを、マーキングされたシートベルトを撮影して、撮影した画像から判定する手法が提案されている（例えば、特許文献２参照）。

特表２０１７−５１７４４０号公報 特開２００７−５５２９４号公報

しかしながら、特許文献１に記載の後述では、検知にセンサが必要であった。また、特許文献２に記載の技術では、シートベルトにマーキングを取り付けるか印刷する必要があり、かつ乗員がシートベルトを装着しているか否かを、撮影された画像から精度良く検知することができない場合があった。

本発明は、上記の問題点に鑑みてなされたものであって、シートベルト等の固定器具を人が装着しているか否かを撮影された画像から適切に検知することができる固定器具検知装置および固定器具検知方法を提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る固定器具検知装置（１）は、画像を撮影する撮影部（１１）と、撮影された前記画像から人（例えば乗員）を含む領域の画像を第１枠（Ｆｒ）を用いて抽出し、撮影された前記画像から前記人を固定する固定器具（例えばシートベルト）を含む領域の画像を第２枠（Ｆｒｂ）を用いて抽出する抽出部（１２１）と、前記第１枠と前記第２枠が抽出された際に、前記第１枠と前記第２枠が重なっている場合に、前記人が前記固定器具を装着していると判定する判定部（１２、ベルト判定部１２３）と、を備える。

また、本発明の一態様に係る固定器具検知装置において、前記人が前記固定器具を装着しているときの画像から前記第２枠の画像を抽出するアルゴリズムを記憶する記憶部（１３）、を備え、前記抽出部は、前記記憶部が記憶する前記アルゴリズムを用いて、前記第２枠の画像を抽出するようにしてもよい。

上記目的を達成するため、本発明の一態様に係る固定器具検知装置（１ＡＡ）は、画像を撮影する撮影部（１１）と、撮影された前記画像から人（例えば乗員）を含む領域の画像を第１枠（Ｆｒ）を用いて抽出し、撮影された前記画像から前記人を固定する固定器具（例えばシートベルト）を含む領域の画像を第２枠（Ｆｒｂ）を用いて抽出する抽出部（１２１Ａ）と、前記第１枠と前記第２枠が抽出された際に、前記第１枠の画像と前記第２枠の画像が重なっている状態に基づいて、前記人が前記固定器具を装着しているか否かを判定する判定部（１２Ａ、ベルト判定部１２３Ａ）と、を備える。

また、本発明の一態様に係る固定器具検知装置において、前記判定部は、前記第１枠の画像と、前記第２枠の画像との重なっている面積が所定面積より大きい場合に、前記人が前記固定器具を装着していると判定し、前記第１枠の画像と、前記第２枠の画像との重なっている面積が所定面積以下の場合に、前記人が前記固定器具を装着していないと判定するようにしてもよい。

また、本発明の一態様に係る固定器具検知装置において、前記判定部は、前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像が前記第１枠の画像と重なっている部分の面積の前記第１枠の面積に対する割合が所定割合より大きい場合に、前記人が前記固定器具を装着していると判定し、前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像が前記第１枠の画像と重なっている部分の面積の前記第１枠の面積に対する割合が所定割合以下の場合に、前記人が前記固定器具を装着していないと判定するようにしてもよい。

また、本発明の一態様に係る固定器具検知装置において、前記判定部は、前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像が所定位置に設定されている境界線を跨いでいる場合に、前記人が前記固定器具を装着していると判定し、前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像が、前記境界線を跨いでいない場合に、前記人が前記固定器具を装着していないと判定するようにしてもよい。

また、本発明の一態様に係る固定器具検知装置において、前記判定部は、前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像の横方向及び縦方向の少なくとも一方に設けられた幅値が、所定長さ以上の場合に前記人が前記固定器具を装着していると判定し、前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像の前記幅値が、所定長さ未満の場合に前記人が前記固定器具を装着していないと判定するようにしてもよい。

上記目的を達成するため、本発明の一態様に係る固定器具検知装置（１ＢＢ）は、画像を撮影する撮影部（１１）と、撮影された前記画像から人（例えば乗員）を固定する固定器具（例えばシートベルト）を含む領域の画像を第２枠（Ｆｒｂ）を用いて抽出する抽出部（１２１Ｂ）と、前記第２枠が抽出された際に、前記第２枠の画像が、所定位置に設定されている境界線（Ｃ）を跨いで形成されている場合に、前記人が前記固定器具を装着していると判定する判定部（１２Ｂ、ベルト判定部１２３Ｂ）と、を備える。

また、本発明の一態様に係る固定器具検知装置において、前記判定部は、前記抽出部は、撮影された前記画像から人を含む領域の画像を第１枠を用いて抽出し、前記判定部は、前記第１枠と前記第２枠が抽出された際に、前記第１枠の画像と前記第２枠の画像が重なっている場合に、前記人が前記固定器具を装着しているか否かの判定を行うようにしてもよい。

上記目的を達成するため、本発明の一態様に係る乗員検知方法は、画像から人を含む領域の画像を第１枠を用いて抽出し、前記画像から前記人を固定する固定器具を含む領域の画像を第２枠を用いて抽出するアルゴリズムを記憶する記憶部を有する固定器具検知装置における固定器具検知方法であって、撮影部が、画像を撮影する手順と、抽出部が、前記記憶部が記憶する前記アルゴリズムを用いて、撮影された前記画像から人を含む領域の画像を第１枠を用いて抽出し、前記記憶部が記憶する前記アルゴリズムを用いて、撮影された前記画像から前記固定器具を含む領域の画像を前記第２枠を用いて抽出する手順と、判定部が、前記第１枠と前記第２枠が抽出された際に、前記第１枠と前記第２枠が重なっている場合に、前記人が前記固定器具を装着していると判定する手順と、を含む。

上記目的を達成するため、本発明の一態様に係る乗員検知方法は、撮影部が、画像を撮影する手順と、抽出部が、撮影された前記画像から人を含む領域の画像を第１枠を用いて抽出し、撮影された前記画像から前記人を固定する固定器具を含む領域の画像を第２枠を用いて抽出する手順と、判定部が、前記第１枠と前記第２枠が抽出された際に、前記第１枠の画像と前記第２枠の画像が重なっている状態に基づいて、前記人が前記固定器具を装着しているか否かを判定する手順と、を含む。

上記目的を達成するため、本発明の一態様に係る乗員検知方法は、撮影部が、画像を撮影する手順と、抽出部が、撮影された前記画像から人を固定する固定器具を含む領域の画像を第２枠を用いて抽出する手順と、判定部が、前記第２枠が抽出された際に、前記第２枠の画像が、所定位置に設定されている境界線を跨いで形成されている場合に、前記人が前記固定器具を装着していると判定する手順と、を含む。

本発明によれば、固定器具を人が装着しているか否かを撮影された画像から適切に検知することができる。

第１実施形態に係る車両の固定器具検知装置の配置例を示す図である。 第１実施形態に係る固定器具検知装置の構成例を示す図である。 乗員が座席に着座している状態の例を示す図である。 第１実施形態に係る撮影部が撮影した画像例を示す図である。 乗員が座席に着座していない例を示す図である。 乗員が座席に着座しシートベルトを装着している例を示す図である。 乗員が座席に着座しシートベルトを装着していない例を示す図である。 乗員が座席に着座し、シートベルトを装着していず、さらに隣の座席用のシートベルトを含む領域の画像が抽出された例を示す図である。 第１実施形態に係る固定器具検知装置が行う処理手順例を示すフローチャートである。 第２実施形態に係る固定器具検知装置の構成例を示す図である。 乗員が座席に着座していない例を示す図である。 乗員が座席に着座しシートベルトを装着している例を示す図である。 乗員が座席に着座し、シートベルトを装着していない場合の例を示す図である。 乗員Ｐ１が座席に着座し、シートベルトを装着していず、さらに隣の座席用のシートベルトを含む領域の画像が抽出された例を示す図である。 腰を固定するタイプのシートベルトの装着前の例を示す図である。 腰を固定するタイプのシートベルトの装着後の例を示す図である。 第２実施形態に係る固定器具検知装置が行う処理手順例を示すフローチャートである。 第２実施形態の変形例に係る固定器具検知装置が行う処理手順例を示すフローチャートである。 第３実施形態に係る固定器具検知装置の構成例を示す図である。 第３実施形態に係る固定器具検知装置が行う処理手順例を示すフローチャートである。 シートベルトの引き出し口が、座席の上部に設けられている例を示す図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。以下に説明する固定器具検知装置は、例えば車両、ジェットコースター（ローラーコースター）、パラシュート、パラグライダーなどに適用することも可能である。固定器具検知装置を車両に適用する場合は、固定器具がシートベルトであり、固定器具によって固定される対象が乗員である。固定器具検知装置をジェットコースターに適用する場合は、固定器具が安全バーであり、固定器具によって固定される対象が乗客である。固定器具検知装置をパラシュートに適用する場合は、固定器具がボディハーネスであり、固定器具によって固定される対象がパラシュートを利用する人である。なお、本実施形態の固定器具は、シートベルトのように長さが伸びたり縮んだりしてもよく、安全バーのように長さが固定であってもよい。また、固定器具は、人が何かに固定されるだけでなく、人に何かが固定され、相対的位置が変わらない形状の器具である。

なお、以下の説明では、固定器具検知装置を車両で用いる例を説明する。このため、固定器具の例としてシートベルトを例に説明し、固定器具によって固定される人の例として乗員を例に説明する。

＜第１実施形態＞
図１は、本実施形態に係る車両２の固定器具検知装置１の配置例を示す図である。図１に示す例において固定器具検知装置１Ａは、車両２の、例えば、ダッシュボード付近に設置または取り付けられている。なお、人検知装置１Ａは、バックミラー部やフロントガラス上部等に設置または取り付けられていてもよい。固定器具検知装置１Ａは、前の座席に着座している乗員の検知とシートベルトが装着されているか否かの検知を行う。また、固定器具検知装置１Ｂは、車両２の、例えば、コンソールや天井やバックミラー部やフロントガラス上部等に設置または取り付けられている。固定器具検知装置１Ｂは、後ろの座席に着座している乗員の検知とシートベルトが装着されているか否かの検知を行う。また、図１において、符号ｇ１０１は、固定器具検知装置１が撮影する画角例を示している。なお、以下の説明において、固定器具検知装置１Ａ、固定器具検知装置１Ｂのうち１つを特定しない場合は、固定器具検知装置１という。

固定器具検知装置１は、撮影した画像に基づいて、着座している乗員がシートベルトを装着しているか否かを判定する。固定器具検知装置１は、乗員がシートベルトを装着していない場合に、シートベルトの着用を促すように報知する。

次に、固定器具検知装置１の構成例を説明する。
図２は、本実施形態に係る固定器具検知装置１の構成例を示す図である。図２に示すように、固定器具検知装置１は、撮影部１１（検出部）、判定部１２、記憶部１３、通信部１４、および報知部１５を備える。なお、固定器具検知装置１は、情報の送受信を、ネットワークを介して、外部装置３と行うようにしてもよい。

撮影部１１は、前の座席または後ろの座席を含む画像を撮影する。なお、撮影部１１は、所定の時間間隔で撮影を行う。撮影部１１は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮影装置またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮影装置等を含む。

判定部１２は、抽出部１２１、乗員判定部１２２、およびベルト判定部１２３を備える。
判定部１２は、撮影部１１が撮影した画像を取得する。判定部１２は、ベルト判定部１２３が判定した結果に基づいて、シートベルトの装着を促す警告情報をオン状態にする指示、またはオフ状態にする指示を生成する。

抽出部１２１は、記憶部１３が記憶するアルゴリズムを用いて、取得した画像から乗員を含む領域の画像を抽出する。なお、本実施形態では、抽出した乗員を含む領域の画像を第１枠の画像という。乗員の体格や顔の大きさ等により、第１枠の大きさは、乗員毎に異なる。また、仮に、座席に荷物が置かれていた場合、抽出部１２１は、アルゴリズムにより、第１枠の画像を抽出しない。また、抽出部１２１は、記憶部１３が記憶するアルゴリズムを用いて、取得した画像からシートベルトを含む領域の画像を抽出する。なお、本実施形態では、抽出したシートベルトを含む領域の画像を第２枠の画像という。また、乗員がシートベルトを装着していない場合、抽出部１２１は、アルゴリズムにより、第２枠の画像を抽出しない。

乗員判定部１２２は、抽出部１２１によって第１枠の画像が抽出された場合、乗員が着座していると判定する。乗員判定部１２２は、抽出部１２１によって第１枠の画像が抽出されなかった場合、乗員が着座していないと判定する。乗員が着座していないと判定した場合、乗員判定部１２２は、シートベルトの装着を促す警告情報をオフ状態にする指示を生成する。

ベルト判定部１２３は、第１枠の画像と第２枠の画像の抽出状態に基づいて、シートベルトの装着を促す警告情報をオン状態またはオフ状態にする指示を生成する。なお、ベルト判定部１２３は、まず第２枠の画像が抽出されているかを判定し、第２枠の画像が抽出されない場合に、シートベルトの装着を促す警告情報をオン状態にする指示を生成する。なお、ベルト判定部１２３が行う処理については後述する。

記憶部１３は、撮像された画像から乗員を含む領域の画像を抽出するアルゴリズムを記憶する。記憶部１３は、撮像された画像からシートベルトを含む領域の画像を検出するアルゴリズムを記憶する。なお、記憶部１３が記憶するアルゴリズムは、乗員が座席に着座し、その乗員がシートベルトを装着しているときの画像を用いて、乗員がシートベルトを着座している際のシートベルトの画像を学習して生成する。すなわち、本実施形態では、画像の抽出のアルゴリズムの学習の際に、乗員がシートベルトを装着していない場合の画像を用いない。これにより、固定器具検知装置１は、乗員がシートベルトを装着している場合のシートベルトの画像のみを抽出し、乗員がシートベルトをしていない場合のシートベルトや、乗員が着座していない場合のシートベルトの画像を抽出しない。なお、記憶部１３は、撮像された画像から乗員を含む領域の画像を抽出するための学習モデルと、撮像された画像からシートベルトを含む領域の画像を検出するための学習モデルとを記憶する。

通信部１４は、判定部１２が出力する情報を、ネットワークを介して外部装置３に送信する。通信部１４は、外部装置３が送信した情報を、ネットワークを介して受信し、受信した情報を判定部１２に出力する。外部装置３が送信した情報には、例えば、抽出部１２１が用いるアルゴリズム等が含まれる。判定部１２が出力する情報は、例えば撮影部１１が撮像した画像、または、抽出部１２１が抽出した枠内の画像、判定結果等である。

報知部１５は、ベルト判定部１２３の指示に応じて警告情報をオン状態にし、またはオフ状態にする。報知部１５は、例えば、スピーカー、ＬＥＤ（発光ダイオード）表示装置、液晶表示装置等である。警告情報をオン状態とは、例えば、ＬＥＤ表示装置が点灯または点滅している状態である。警告情報をオフ状態とは、例えば、ＬＥＤ表示装置が消灯している状態である。

次に、乗員が座席に着座している状態の例を説明する。
図３は、乗員が座席に着座している状態の例を示す図である。図３において、座席の長手方向をｘ軸方向、高さ方向をｙ軸方向とする。図３に示す例では、後ろの座席において、ｘ軸方向に乗員Ｐ１、Ｐ２が座席に着座している例である。
符号４は座席である。符号４１はヘッドレストである。符号４２はシートバックである。符号４３はシートクッションである。符号４４−１〜４４−３それぞれはシートベルトである。また、着座している乗員Ｐ１は、成人であるとする。乗員Ｐ２は、例えば子供であるとする。

次に、撮影部１１が撮影した画像の例を説明する。
図４は、本実施形態に係る撮影部１１が撮影した画像例を示す図である。図４は、前の座席を撮影した例である。符号ｇ１０１は、撮影部１１が撮影した画像例である。なお、図４に示す例では、乗員Ｐ１が座席に着座してシートベルトを装着している。判定部１２は、このように、乗員が座席に着座し、シートベルトを装着しているときに撮影されたシートベルトの画像を取得し、例えば取得した画像を記憶部１３に記憶させる。判定部１２は、このように取得した複数の画像から、第１枠の画像、および第２枠の画像それぞれを抽出するアルゴリズムを学習する。なお、学習に際して、アルゴリズムの初期値を記憶させておくようにしてもよい。

次に、判定部１２の処理の具体例を説明する。
まず、乗員が座席に着座していない例を説明する。
図５は、乗員が座席に着座していない例を示す図である。
まず、抽出部１２１は、撮影部１１が撮影した画像から、第１枠Ｆｒの画像の抽出を試みる。図５の例では、第１枠Ｆｒの画像が抽出されない。続けて、抽出部１２１は、撮影部１１が撮影した画像から、シートベルトを含む領域（第２枠Ｆｒｂ）の画像の抽出を試みる。図５の例において、抽出部１２１は、第１枠Ｆｒの画像を抽出できなかったため、第２枠Ｆｒｂの画像を抽出しない。
乗員判定部１２２は、第１枠Ｆｒの画像が抽出されなかったため、座席に乗員が着座していないと判定する。
この結果、判定部１２は、座席に乗員が着座していないと判定し、シートベルトの装着を促す警告情報をオフ状態にする。この結果、報知部１５は、シートベルトの装着を促す警告情報を報知しない。

次に、乗員が座席に着座し、シートベルトを装着している例を説明する。
図６は、乗員Ｐ１が座席に着座しシートベルトを装着している例を示す図である。図６に示すように、第１枠Ｆｒ（Ｐ１）内の画像は、乗員Ｐ１の画像を含み、具体的には乗員Ｐ１の頭部の画像、胸部の画像、腕の画像を含む。また、符号Ｆｒｂ（Ｐ１）内の画像は、シートベルトの画像を含む。

抽出部１２１は、撮影部１１が撮影した画像から、第１枠Ｆｒ（Ｐ１）の画像を抽出する。抽出部１２１は、撮影部１１が撮影した画像から、第２枠Ｆｒｂ（Ｐ１）の画像を抽出する。乗員判定部１２２は、第１枠Ｆｒ（Ｐ１）が抽出されたため、座席に乗員Ｐ１が着座していると判定する。ベルト判定部１２３は、第２枠Ｆｒｂ（Ｐ１）が抽出されたため、第２枠Ｆｒｂ（Ｐ１）の画像が第１枠Ｆｒ（Ｐ１）の画像に重なっているかを判定する。図６に示す例では、第２枠Ｆｒｂ（Ｐ１）の画像が第１枠Ｆｒ（Ｐ１）の画像に重なっているため、ベルト判定部１２３は、乗員がシートベルトを装着していると判定する。
この結果、判定部１２は、座席に乗員が着座し、かつ乗員がシートベルトを装着していると判定し、シートベルトの装着を促す警告情報をオフ状態にする。この結果、報知部１５は、シートベルトの装着を促す警告情報を報知しない。

次に、乗員が座席に着座し、シートベルトを装着していない例を説明する。
図７は、乗員Ｐ１が座席に着座しシートベルトを装着していない例を示す図である。
抽出部１２１は、撮影部１１が撮影した画像から、第１枠Ｆｒの画像の抽出を試みる。図５の例では、乗員Ｐ１に対応する第１枠Ｆｒ（Ｐ１）の画像が抽出される。続けて、抽出部１２１は、撮影部１１が撮影した画像から、第２枠Ｆｒｂの画像の抽出を試みる。図７の例では、第２枠Ｆｒｂの画像が抽出されない。この理由は、記憶部１３が記憶するアルゴリズムが、着座している乗員がシートベルトを装着しているときの画像を用いて、その画像からシートベルトを含む領域（第２枠）の画像を抽出するアルゴリズムであるためである。このため、抽出部１２１は、乗員がシートベルトを装着していないとき、その画像から第２枠の画像を抽出しない。乗員判定部１２２は、第１枠Ｆｒ（Ｐ１）が抽出されたため、座席に乗員が着座していると判定する。ベルト判定部１２３は、第２枠Ｆｒｂが抽出されないため、乗員がシートベルトを装着していないと判定する。
この結果、判定部１２は、座席に乗員が着座しているが、乗員がシートベルトを装着していないと判定し、シートベルトの装着を促す警告情報をオン状態にする。この結果、報知部１５は、シートベルトの装着を促す警告情報を報知する。

次に、乗員が座席に着座し、シートベルトを装着していず、さらに隣の座席用のシートベルトを含む領域の画像が抽出された例を説明する。
図８は、乗員Ｐ１が座席に着座し、シートベルトを装着していず、さらに隣に乗員Ｐ２が座席に着座し、シートベルトを装着して、隣の座席用のシートベルトを含む領域の画像が抽出された例を示す図である。
抽出部１２１は、撮影部１１が撮影した画像から、第１枠Ｆｒの画像の抽出を試みる。図５の例では、乗員Ｐ１に対応する第１枠Ｆｒ（Ｐ１）及び乗員Ｐ２に対応する第１枠Ｆｒ（Ｐ２）の画像が抽出される。続けて、抽出部１２１は、撮影部１１が撮影した画像から、第２枠Ｆｒｂの画像の抽出を試みる。図８の例では、隣の席の第２枠Ｆｒｂ（Ｐ２）の画像のみが抽出される。この場合、乗員判定部１２２は、第１枠Ｆｒ（Ｐ１）と第１枠Ｆｒ（Ｐ２）とが抽出されたため、座席に乗員Ｐ１と乗員Ｐ２が着座していると判定する。ベルト判定部１２３は、第２枠Ｆｒｂ（Ｐ２）の画像に、第１枠Ｆｒ（Ｐ１）の画像が重なっていないため、乗員Ｐ１がシートベルトを装着していないと判定する。一方で、ベルト判定部１２３は、第２枠Ｆｒｂ（Ｐ２）の画像に、第１枠Ｆｒ（Ｐ２）の画像が重なっているため、乗員Ｐ２がシートベルトを装着していると判定する。
この結果、判定部１２は、乗員Ｐ１については、座席に乗員Ｐ１が着座しているが、乗員がシートベルトを装着していないと判定し、乗員Ｐ１に対してシートベルトの装着を促す警告情報をオン状態にする。この結果、報知部１５は、乗員Ｐ１にシートベルトの装着を促す警告情報を報知する。一方、判定部１２は、乗員Ｐ２については、座席に乗員Ｐ２が着座し、かつ乗員がシートベルトを装着していると判定し、乗員Ｐ２に対してシートベルトの装着を促す警告情報をオフ状態にする。この結果、報知部１５は、乗員Ｐ２にはシートベルトの装着を促す警告情報を報知しない。すなわち、本実施形態では、乗員毎にシートベルトの装着を促す警告情報を報知するか否かを判定して、座席に着座している乗員毎に警告情報を報知する又は報知しない。

次に、固定器具検知装置１が行う処理手順例を説明する。
図９は、本実施形態に係る固定器具検知装置１が行う処理手順例を示すフローチャートである。なお、固定器具検知装置１は、以下の処理を、例えばイグニションキーがオン状態になった後、所定の時間間隔で行う。

（ステップＳ１）撮影部１１は、座席を含む画像を撮影する。
（ステップＳ２）抽出部１２１は、撮影部１１が撮影した画像から、乗員を含む領域（第１枠）の画像を抽出できたか否かを判定する。抽出部１２１は、乗員を含む領域（第１枠）の画像を抽出できたと判定した場合（ステップＳ２；ＹＥＳ）、ステップＳ３の処理に進め、乗員を含む領域（第１枠）の画像を抽出できなかったと判定した場合（ステップＳ２；ＮＯ）、ステップＳ７の処理に進める。

（ステップＳ３）抽出部１２１は、撮影部１１が撮影した画像から、シートベルトを含む領域（第２枠）の画像を抽出できたか否かを判定する。抽出部１２１は、シートベルトを含む領域（第２枠）の画像を抽出できたと判定した場合（ステップＳ３；ＹＥＳ）、ステップＳ４の処理に進め、シートベルトを含む領域（第２枠）を抽出できなかったと判定した場合（ステップＳ３；ＮＯ）、ステップＳ８の処理に進める。

（ステップＳ４）ベルト判定部１２３は、第１枠の画像と第２枠の画像とが重なっているか否かを判定する。ベルト判定部１２３は、第１枠の画像と第２枠の画像とが重なっていると判定した場合（ステップＳ４；ＹＥＳ）、ステップＳ６に進める。ベルト判定部１２３は、第１枠の画像と第２枠の画像とが重なっていないと判定した場合（ステップＳ４；ＮＯ）、ステップＳ８に進める。

（ステップＳ６）ベルト判定部１２３は、シートベルトを乗員が装着していると判定する。このため、ベルト判定部１２３は、シートベルトを装着することを促す警告情報をオフ状態にする指示を生成する。
（ステップＳ７）報知部１５は、ベルト判定部１２３の指示に応じて、シートベルトを装着することを促す警告情報をオフ状態にする。
報知部１５は、処理を終了する。

（ステップＳ８）ベルト判定部１２３は、シートベルトを乗員が装着していないと判定する。
（ステップＳ９）ベルト判定部１２３は、シートベルトを装着することを促す警告情報をオン状態にする指示を生成する。続けて、報知部１５は、ベルト判定部１２３の指示に応じて、シートベルトを装着することを促す警告情報をオン状態にする。処理後、判定部１２は、処理を終了する。

なお、図９の処理において、ステップＳ２とステップＳ３の処理は同時に行ってもよく、ステップＳ３を先に行った後にステップＳ２を行ってもよい。

以上のように、本実施形態では、乗員を含む領域の画像を第１枠の画像として抽出するアルゴリズムと、乗員が座席に着座し、シートベルトを装着しているときの画像を学習して、シートベルトを装着している際のシートベルトを含む領域の画像を第２枠の画像として抽出するアルゴリズムとを記憶部１３に記憶させる。そして、本実施形態では、これらのアルゴリズムを用いて、乗員を含む領域の画像を第１枠の画像として抽出し、シートベルトを含む領域の画像を第２枠の画像として抽出する。そして、本実施形態では、第１枠と第２枠が抽出された場合には、抽出した第１枠の画像と第２枠の画像の重なりによって、乗員がシートベルトを装着しているか否かを判定するようにした。すなわち、本実施形態では、第１枠の画像と第２枠の画像とが重なっている場合に、乗員がシートベルトを着用していると判定する。

また、本実施形態によれば、第１枠の画像と第２枠の画像の重なりによって、シートベルトを装着しているか否かを判定するようにしたので、隣の席のシートベルトの画像が撮像された場合であっても、そのシートベルトによる第２枠の画像が対象としている乗員に対応する第１枠の画像と重なっていないため、シートベルトの装着状態の誤検出を防ぐことができる。

この結果、本実施形態によれば、撮影された画像を用いて、乗員がシートベルトを装着しているか否かを、簡易な処理により判定することができる。

なお、判定部１２は、上述した処理を座席毎に行うようにしてもよい。この場合、記憶部１３が、予め座席の位置を示す情報を記憶するようにしてもよい。
また、本実施形態では、乗員が座席に着座し、シートベルトを装着しているときの画像を学習して、乗員を含む領域の画像を第１枠の画像を抽出するアルゴリズムと、シートベルトを含む領域の画像を第２枠の画像として抽出するアルゴリズムとを記憶部１３に記憶させるようにしてもよい。そして、本実施形態では、このアルゴリズムを用いて、乗員を含む領域の画像を第１枠の画像として抽出し、シートベルトを含む領域の画像を第２枠の画像として抽出するようにしてもよい。

＜第２実施形態＞
本実施形態では、撮影部１１が撮影した画像から、乗員を含む領域（第１枠）の画像を抽出し、シートベルトを含む領域（第２枠）の画像を抽出し、第１枠の画像の面積と、第２枠の画像の面積とに基づいて、乗員がシートベルトを装着しているか否かを判定する例を説明する。

図１０は、本実施形態に係る固定器具検知装置１ＡＡの構成例を示す図である。なお、固定器具検知装置１と同じ機能を有する機能部には同じ符号を用いて、説明を省略する。
図１０に示すように、固定器具検知装置１ＡＡは、撮影部１１（検出部）、判定部１２Ａ、記憶部１３Ａ、通信部１４、および報知部１５を備える。また、判定部１２Ａは、抽出部１２１Ａ、乗員判定部１２２、およびベルト判定部１２３Ａを備える。

抽出部１２１Ａは、記憶部１３Ａが記憶するアルゴリズムを用いて、取得した画像から乗員を含む領域の画像を抽出する。抽出部１２１Ａは、記憶部１３Ａが記憶するアルゴリズムを用いて、取得した画像からシートベルトを含む領域の画像を抽出する。抽出部１２１Ａは、第１枠の画像の面積を求め、第２枠の画像の面積を求める。抽出部１２１Ａは、抽出した第２枠の画像の四隅の座標（例えば、車両における相対座標、絶対座標）を求める。

乗員判定部１２２は、第１実施形態と同様に抽出部１２１Ａによって第１枠の画像が抽出された場合、乗員が着座していると判定する。乗員判定部１２２は、抽出部１２１Ａによって第１枠の画像が抽出されなかった場合、乗員が着座していないと判定する。この場合、ベルト判定部１２３は、シートベルトの装着を促す警告情報をオフ状態にする指示を生成する。なお、例えば車両の窓枠に移った車外の乗員を第１枠として検知した場合には、第１枠の面積は小さくなるので、ベルト判定部１２３は、第１枠の面積が所定の面積以下の場合には、乗員が着座していないと判定してもよい。

ベルト判定部１２３Ａは、第１枠の画像と第２枠の画像の抽出状態、特に第１枠の画像と第２枠の画像とが重なっている面積と所定面積とを比較した結果に基づいて、シートベルトの装着を促す警告情報をオン状態またはオフ状態にする指示を生成する。なお、ベルト判定部１２３Ａは、第１実施形態と同様に、まず第２枠の画像が抽出されているかを判定し、第２枠の画像が抽出されない場合に、シートベルトの装着を促す警告情報をオン状態にする指示を生成する。なお、ベルト判定部１２３Ａが行う処理については後述する。

記憶部１３Ａは、撮像された画像から乗員の含む領域の画像を抽出するアルゴリズムを記憶する。記憶部１３Ａは、撮像された画像からシートベルトを含む領域の画像を検出するアルゴリズムを記憶する。記憶部１３Ａは、例えばシートベルトの種類毎に所定面積を記憶する。または、記憶部１３Ａは、例えば座席毎に所定面積を記憶する。記憶部１３Ａは、後述する境界線Ｃの座標を記憶する。なお、境界線Ｃについては後述する。また、記憶部１３Ａは、撮像された画像から乗員の含む領域の画像を抽出するための学習モデルと、撮像された画像からシートベルトを含む領域の画像を検出するための学習モデルと、を記憶する。

ここで、ベルト判定部１２３Ａが行う、第１枠の画像と第２枠の画像とが所定面積より多く重なっているか否かを判定する判定例を説明する。
図１１は、乗員が座席に着座していない例を示す図である。図１２は、乗員が座席に着座しシートベルトを装着している例を示す図である。

第２枠Ｆｒｂ（Ｐ１）の面積は、図１１に示した乗員が座席に着座していない場合、図１２示した乗員が座席に着座していてシートベルトを装着している場合より小さい。このため、本実施形態では、所定面積を、シートベルトを乗員が装着していないときの状態における、シートベルトの画像の面積とする。判定部１２Ａは、シートベルト装着前の状態を撮影し、第２枠の画像を抽出し、抽出した画像の面積を所定面積として記憶部１３Ａに記憶させる。なお、シートベルトが肩にかけるタイプの場合、所定面積は、例えば第１枠の画像の面積の半分以上であってもよい。または、所定面積は、シートベルトを乗員が装着していないときの第２枠の面積の倍であってもよい。

なお、図１１及び図１２において、符号Ｗ１及びＷ２は、第２枠Ｆｒｂ（Ｐ１）のｘ軸方向の幅を表している。また、鎖線Ｃは、例えば座席の左右方向（ｘ軸方向、着座方向）に対して所定の位置に設定されている境界線である。境界線Ｃは、例えば、座席毎に座席またはヘッドレストのｘ軸方向の略中心に設定されている。また、図１１に示すように、乗員がシートベルトを装着していない場合、第２枠Ｆｒｂ（Ｐ１）の画像は、境界線Ｃを跨がない。

図１３は、乗員が座席に着座し、シートベルトを装着していない場合の例を示す図である。図１３に示す例では、シートベルトが、乗員Ｐ１の腕に隠れている。抽出部１２１Ａによって、第１枠Ｆｒ（Ｐ１）及び第２枠Ｆｒｂ（Ｐ１）の画像が抽出される。
乗員判定部１２２は、第１枠Ｆｒ（Ｐ１）が抽出されたため、座席に乗員Ｐ１が着座していると判定する。ベルト判定部１２３Ａは、第２枠Ｆｒｂ（Ｐ１）が抽出されたため、第１枠の画像と第２枠の画像との重なっている面積が所定面積以上であるか判定する。図１１に示す例では、第１枠の画像と第２枠の画像との重なっている面積が所定面積以下であるため、乗員がシートベルトを装着していないと判定する。
この結果、判定部１２は、座席に乗員が着座しているが、乗員がシートベルトを装着していないと判定し、シートベルトの装着を促す警告情報をオン状態にする。この結果、報知部１５は、シートベルトの装着を促す警告情報を報知する。

次に、乗員が座席に着座し、シートベルトを装着していず、さらに隣の座席用のシートベルトを含む領域の画像が抽出された例を説明する。
図１４は、乗員Ｐ１が座席に着座し、シートベルトを装着していず、さらに隣の座席用のシートベルトを含む領域の画像が抽出された例を示す図である。

抽出部１２１Ａは、撮影部１１が撮影した画像から、第１枠Ｆｒの画像の抽出を試みる。図１４の例では、乗員Ｐ１に対応する第１枠Ｆｒ（Ｐ１）の画像のみが抽出される。乗員判定部１２２は、第１枠Ｆｒ（Ｐ１）が抽出されたため、座席に乗員Ｐ１のみが着座していると判定する。

抽出部１２１Ａは、撮影部１１が撮影した画像から、第２枠Ｆｒｂの画像の抽出を試みる。図１４の例では、シートベルト４４−１に対応する第２枠Ｆｒｂ（Ｐ１）の画像と、シートベルト４４−２に対応する第２枠Ｆｒｂ（Ｐ２）の画像と、シートベルト４４−３に対応する第２枠Ｆｒｂ（Ｐ２）の画像と、が抽出される。ベルト判定部１２３Ａは、第２枠Ｆｒｂ（Ｐ１）が抽出されたため、第２枠Ｆｒｂ（Ｐ１）の画像が第１枠Ｆｒ（Ｐ１）の画像に重なっている割合を判定する。図１４に示す例では、第２枠Ｆｒｂ（Ｐ１）の画像が第１枠Ｆｒ（Ｐ１）の画像に重なっている面積が所定面積より大きいため、ベルト判定部１２３Ａは、乗員Ｐ１がシートベルトを装着していると判定する。判定部１２Ａは、座席に乗員Ｐ１が着座し、乗員Ｐ１がシートベルトを装着していると判定し、シートベルトの装着を促す警告情報をオフ状態にする。

ベルト判定部１２３Ａは、第２枠Ｆｒｂ（Ｐ２）の画像は乗員Ｐ１用のシートベルトではないと判定する。同様に、ベルト判定部１２３Ａは、第１枠Ｆｒ（Ｐ１）の画像に、第２枠Ｆｒｂ（Ｐ３）の画像が重なっていないため、第２枠Ｆｒｂ（Ｐ３）の画像は乗員Ｐ１用のシートベルトではないと判定する。

判定部１２Ａは、第２枠Ｆｒｂ（Ｐ２）の画像が、第１枠Ｆｒの画像と重なっていず、乗員判定部１２２が乗員Ｐ１のみ着座していると判定したため、シートベルト４４−２を装着する座席の乗員に対するシートベルトの装着を促す警告情報をオフ状態にする。また、判定部１２Ａは、第２枠Ｆｒｂ（Ｐ３）の画像が、第１枠Ｆｒの画像と重なっていず、乗員判定部１２２が乗員Ｐ１のみ着座していると判定したため、シートベルト４４−２３装着する座席の乗員に対するシートベルトの装着を促す警告情報をオフ状態にする。

図１５は、腰を固定するタイプのシートベルトの装着前の例を示す図である。
図１５に示す例では、座席に乗員が着座していず、シートベルトを装着していない場合である。判定部１２Ａは、装着前の状態を撮影し、第２枠Ｆｒｂ（Ｐ１）の画像を抽出し、抽出した画像の面積を所定面積として記憶部１３Ａに記憶させる。また、図１５において、符号Ｗ１１は、第２枠Ｆｒｂ（Ｐ１）の画像におけるｘ軸方向の幅である。また、図１５に示すように、乗員がシートベルトを装着していない場合、第２枠Ｆｒｂ（Ｐ１）の画像は、境界線Ｃを跨がない。

図１６は、腰を固定するタイプのシートベルトの装着後の例を示す図である。
図１６に示す例では、座席に乗員が着座しており、シートベルトを装着している場合である。図１６に示す例では、第１枠Ｆｒ（Ｐ１）の画像と、第２枠Ｆｒｂ（Ｐ１）の画像が抽出される。また図１６に示すように、第２枠Ｆｒｂ（Ｐ１）の画像は、境界線Ｃを跨いでいる。

ベルト判定部１２３Ａは、第１枠Ｆｒ（Ｐ１）の画像と第２枠Ｆｒｂ（Ｐ１）の画像との重なっている面積が所定面積より大きいため、乗員Ｐ１がシートベルトを装着していると判定する。
この結果、判定部１２Ａは、座席に乗員Ｐ１が着座しており、乗員Ｐ１がシートベルトを装着していると判定し、シートベルトの装着を促す警告情報をオフ状態にする。この結果、報知部１５は、シートベルトの装着を促す警告情報を報知しない。

このように、本実施形態では、シートベルトの形状や種類に応じた所定面積を記憶部１３Ａに記憶させ、これを用いて、シートベルトが装着されているか否かを判定する。
なお、上述した例では、所定面積を乗員がシートベルトを装着していない場合の面積としたが、これに限らない。所定面積は、乗員がシートベルトを装着している場合の面積を基準とし、装着されている場合の面積の例えば半分であってもよい。

次に、固定器具検知装置１ＡＡが行う処理手順例を説明する。
図１７は、本実施形態に係る固定器具検知装置１ＡＡが行う処理手順例を示すフローチャートである。なお、固定器具検知装置１ＡＡは、以下の処理を、例えばイグニションキーがオン状態になった後、所定の時間間隔で行う。

（ステップＳ１０１）撮影部１１は、座席を含む画像を撮影する。
（ステップＳ１０２）抽出部１２１Ａは、撮影部１１が撮影した画像から、乗員を含む領域（第１枠）の画像を抽出できたか否かを判定する。抽出部１２１Ａは、乗員を含む領域（第１枠）の画像を抽出できたと判定した場合（ステップＳ１０２；ＹＥＳ）、ステップＳ１０３の処理に進め、乗員を含む領域（第１枠）の画像を抽出できなかったと判定した場合（ステップＳ１０２；ＮＯ）、ステップＳ１０７の処理に進める。

（ステップＳ１０３）抽出部１２１Ａは、撮影部１１が撮影した画像から、シートベルトを含む領域（第２枠）の画像を抽出できたか否かを判定する。抽出部１２１Ａは、シートベルトを含む領域（第２枠）の画像を抽出できたと判定した場合（ステップＳ１０３；ＹＥＳ）、ステップＳ１０４の処理に進め、シートベルトを含む領域（第２枠）を抽出できなかったと判定した場合（ステップＳ１０３；ＮＯ）、ステップＳ１０８の処理に進める。

（ステップＳ１０４）ベルト判定部１２３Ａは、第１枠の画像と第２枠の画像とが重なっている面積が所定面積より大きいか否かを判定する。ベルト判定部１２３Ａは、第１枠の画像と第２枠の画像とが重なっている面積が所定面積より大きいと判定した場合（ステップＳ１０４；ＹＥＳ）、ステップＳ１０６に進める。ベルト判定部１２３Ａは、第１枠の画像と第２枠の画像とが重なっている面積が所定面積以下であると判定した場合（ステップＳ１０４；ＮＯ）、ステップＳ１０８に進める。

（ステップＳ１０６）ベルト判定部１２３Ａは、シートベルトを乗員が装着していると判定する。このため、ベルト判定部１２３Ａは、シートベルトを装着することを促す警告情報をオフ状態にする指示を生成する。
（ステップＳ１０７）報知部１５は、ベルト判定部１２３Ａの指示に応じて、シートベルトを装着することを促す警告情報をオフ状態にする。なお、シートベルトを装着することを促す警告情報のオフ状態とは、例えばランプを消灯させる状態である。報知部１５は、処理を終了する。

（ステップＳ１０８）ベルト判定部１２３Ａは、シートベルトを乗員が装着していないと判定する。
（ステップＳ１０９）ベルト判定部１２３Ａは、シートベルトを装着することを促す警告情報をオン状態にする指示を生成する。続けて、報知部１５は、ベルト判定部１２３Ａの指示に応じて、シートベルトを装着することを促す警告情報をオン状態にする。なお、シートベルトを装着することを促す警告情報のオン状態とは、例えばランプを点灯させる状態または点滅させる状態である。処理後、判定部１２Ａは、処理を終了する。

なお、図１７の処理において、ステップＳ１０２とステップＳ１０３の処理は同時に行ってもよく、ステップＳ１０３を先に行った後にステップＳ１０２を行ってもよい。

なお、判定部１２Ａは、このように第１枠の画像と第２枠の画像との重なっている面積の比較に変えたり、加えたりして、第２枠の画像が境界線Ｃを跨いでいるか否かに基づいて、シートベルトが装着されているか否かを判定するようにしてもよい。この場合、判定部１２Ａは、抽出部１２１Ａが求めた第２枠の画像の四隅の座標と、境界線Ｃの座標を用いて判定する。

例えば、図１１に示すように、乗員が座席に着座していずシートベルトが装着されていない場合の第２枠の画像は、ｘ軸方向において境界線Ｃを跨いでいない。一方、図１２に示すように、乗員が座席に着座していてシートベルトが装着されている場合の第２枠の画像は、ｘ軸方向において境界線Ｃを跨いでいる。

また、例えば、図１５に示すように、シートベルトが装着されていない場合の第２枠の画像は、ｘ軸方向において境界線Ｃを跨いでいない。一方、図１６に示すように、シートベルトが装着されている場合の第２枠の画像は、ｘ軸方向において境界線Ｃを跨いでいる。

また、判定部１２Ａは、第１枠の画像と第２枠の画像との重なっている面積の比較に変えたり、加えたりして、第２枠の画像のｘ軸方向の幅（横幅）が所定幅以上であるか否かに基づいて、乗員がシートベルトを装着しているか否かを判定するようにしてもよい。この場合、判定部１２Ａは、抽出部１２１Ａが求めた第２枠の画像の四隅の座標と、境界線Ｃの座標を用いて判定する。なお、図１１〜図１６に示した例では、幅の例として横方向（ｘ軸方向）の幅を例に示したが、幅は縦方向（ｙ軸方向）であってもよい。この場合、判定部１２Ａは、第１枠の画像と第２枠の画像との重なっている面積の比較に変えたり、加えたりして、第２枠の画像のｙ軸方向の幅（縦幅）が所定幅以上であるか否かに基づいて、乗員がシートベルトを装着しているか否かを判定するようにしてもよい。

図１２に示すように、シートベルトが装着されている場合の第２枠の画像のおけるｘ軸方向における横幅Ｗ２は、図１１に示すように、シートベルトが装着されていない場合の第２枠の画像の横幅Ｗ１より広い。
また、図１６に示すように、シートベルトが装着されている場合の第２枠の画像のおけるｘ軸方向における横幅Ｗ１２は、図１５に示すように、シートベルトが装着されていない場合の第２枠の画像の横幅Ｗ１１より広い。

以上のように、本実施形態では、乗員を含む領域の画像を第１枠の画像として抽出し、シートベルトを含む領域の画像を第２枠の画像として抽出する。そして、本実施形態では、第１枠と第２枠が抽出された場合に、抽出した第１枠の画像と第２枠の画像の重なっている面積によって、乗員がシートベルトを装着しているか否かを判定するようにした。さらに、本実施形態では、第２枠の画像が第１枠の画像外にある場合に、シートベルトを着用すべきではない乗員であると判定する。

これにより、本実施形態によれば、撮影された画像からシートベルトの装着状態を判定することができる。
さらに、本実施形態によれば、隣の席のシートベルトの画像が撮像された場合であっても、そのシートベルトによる第２枠の画像が対象としている乗員に対応する第１枠の画像と重なっていても、その面積は所定面積以下であるか閾値の面積比以下である。このため、本実施形態によれば、シートベルトの装着状態の誤検出を防ぐことができる。

＜第２実施形態の変形例＞
なお、上述した例では、図１５のステップＳ１０４において、第１枠の画像と第２枠の画像とが重なっている面積が所定面積より大きいか否かを判定する例を説明したが、これに限らない。
例えば、撮影部１１を車両２に設置する場合、撮影部１１と乗員との距離によって、第１枠の画像の面積も、第２枠の画像の面積も変化する。このため、判定部１２Ａは、例えば、乗員が着座してシートベルトを装着しているときの画像と、乗員が着座してシートベルトを装着していないときの画像とを取得し、それぞれの画像から第１枠の画像と第２枠の画像を抽出する。そして、判定部１２Ａは、乗員が着座してシートベルトを装着しているときの画像における第１枠の画像に対する第２枠の画像の割合を求める。すなわち、判定部１２Ａは、第２枠が第１枠と重なっている場合に、重なっている部分の面積が第１枠の面積に対してどれくらいの割合であるかを求める。

また、判定部１２Ａは、乗員が着座してシートベルトを装着していないときの画像における第１枠の画像と第２枠の画像の割合を求める。これにより、判定部１２Ａは、面積割合の閾値を求め、求めた閾値を記憶部１３Ａに記憶させる。
記憶部１３Ａは、面積割合の閾値を記憶する。なお、記憶部１３Ａは、面積割合の閾値を座席毎、乗員毎に記憶するようにしてもよい。

図１８は、本実施形態の変形例に係る固定器具検知装置１ＡＡが行う処理手順例を示すフローチャートである。なお、図１７と同じ処理については、同じ符号を用いて説明を省略する。

（ステップＳ１０１〜Ｓ１０３）固定器具検知装置１ＡＡは、ステップＳ１０１〜Ｓ１０３の処理を行う。処理後、判定部１２Ａは、ステップＳ２０１の処理に進める。

（ステップＳ２０１）ベルト判定部１２３Ａは、第１枠の画像と第２枠の画像とが重なっている割合が所定割合より大きいか否かを判定する。ベルト判定部１２３Ａは、第１枠の画像と第２枠の画像とが重なっている割合が面積割合の閾値より大きいと判定した場合（ステップＳ２０１；ＹＥＳ）、ステップＳ１０６に進める。ベルト判定部１２３Ａは、第１枠の画像と第２枠の画像とが重なっている割合が面積割合の閾値以下であると判定した場合（ステップＳ２０１；ＮＯ）、ステップＳ１０８に進める。

なお、この変形例においても、判定部１２Ａは、第１枠の画像の面積と第２枠の画像の面積の割合の比較に変えたり加えたりして、第２枠の画像が境界線Ｃを跨いでいるか否かに基づいて、シートベルトが装着されているか否かを判定するようにしてもよい。
また、判定部１２Ａは、第１枠の画像の面積と第２枠の画像の面積の割合の比較に変えたり加えたりして、第２枠の画像のｘ軸方向の幅（横幅）が所定幅以上であるか否かに基づいて、乗員がシートベルトを装着しているか否かを判定するようにしてもよい。

以上のように、本実施形態の変形例では、抽出した第１枠の画像の面積に対する第２枠の画像の面積の割合によって、乗員がシートベルトを装着しているか否かを判定するようにした。

これにより、本実施形態の変形例によれば、撮影された画像からシートベルトの装着状態を判定することができる。
さらに、本実施形態の変形例によれば、隣の席のシートベルトの画像が撮像された場合であっても、そのシートベルトによる第２枠の画像が対象としている乗員に対応する第１枠の画像と重なっていても、その面積は所定面積以下であるか閾値の面積比以下である。このため、本実施形態の変形例によれば、シートベルトの装着状態の誤検出を防ぐことができる。

なお、判定部１２Ａは、図１７または図１８の処理を座席毎に行うようにしてもよい。この場合、記憶部１３Ａが、予め座席の位置を示す情報を記憶するようにしてもよい。

＜第３実施形態＞
本実施形態では、撮影部１１が撮影した画像から、乗員の頭部を含む領域（第１枠）の画像を抽出し、シートベルトを含む領域（第２枠）の画像を抽出し、第２枠の画像の状態に基づいて、乗員がシートベルトを装着しているか否かを判定する例を説明する。

図１９は、本実施形態に係る固定器具検知装置１ＢＢの構成例を示す図である。なお、固定器具検知装置１と同じ機能を有する機能部には同じ符号を用いて、説明を省略する。
図１９に示すように、固定器具検知装置１ＢＢは、撮影部１１（検出部）、判定部１２Ｂ、記憶部１３Ｂ、通信部１４、および報知部１５を備える。また、判定部１２Ｂは、抽出部１２１Ｂ、乗員判定部１２２、およびベルト判定部１２３Ｂを備える。

抽出部１２１Ｂは、記憶部１３Ｂが記憶するアルゴリズムを用いて、取得した画像から乗員を含む領域の画像を抽出する。抽出部１２１Ｂは、記憶部１３Ｂが記憶するアルゴリズムを用いて、取得した画像からシートベルトを含む領域の画像を抽出する。抽出部１２１Ｂは、抽出した第２枠の画像の四隅の座標（例えば、車両における相対座標、絶対座標）を求める。

乗員判定部１２２は、第１実施形態と同様に抽出部１２１Ｂによって第１枠の画像が抽出された場合、乗員が着座していると判定する。乗員判定部１２２は、抽出部１２１Ｂによって第１枠の画像が抽出されなかった場合、乗員が着座していないと判定する。この場合、ベルト判定部１２３は、シートベルトの装着を促す警告情報をオフ状態にする指示を生成する。

ベルト判定部１２３Ｂは、第１枠の画像と第２枠の画像とが重なっているか否かを判定する。そして、ベルト判定部１２３Ｂは、第１枠の画像と第２枠の画像とが重なっている場合、第２枠の画像の位置がｘ軸方向において、境界線Ｃを跨いでいるか否かを判定する。ベルト判定部１２３Ａは、第２枠の画像の位置がｘ軸方向において、境界線Ｃを跨いでいると判定した場合、乗員がシートベルトを装着していると判定する。この場合、ベルト判定部１２３Ａは、シートベルトの装着を促す警告情報をオフ状態にする指示を生成する。ベルト判定部１２３Ａは、第２枠の画像の位置がｘ軸方向において、境界線Ｃを跨いでいないと判定した場合、乗員がシートベルトを装着していないと判定する。この場合、ベルト判定部１２３Ａは、シートベルトの装着を促す警告情報をオン状態にする指示を生成する。

記憶部１３Ｂは、撮像された画像から乗員を含む領域の画像を抽出するアルゴリズムを記憶する。記憶部１３Ｂは、撮像された画像からシートベルトの画像を検出するアルゴリズムを記憶する。記憶部１３Ｂは、境界線Ｃの座標を記憶する。また、記憶部１３Ｂは、撮像された画像から乗員を含む領域の画像を抽出するための学習モデルを記憶する。

まず、シートベルトが肩にかけるタイプの例を、図１１、図１２、および図１３を参照して説明する。
乗員が座席に着座していない場合は、図１１のように、シートベルトを含む領域の画像である第２枠Ｆｒｂ（Ｐ１）の画像のみが抽出される。この場合、図５に示したように、第２枠Ｆｒｂ（Ｐ１）の画像の位置は、ｘ軸方向（座席方向）において、境界線Ｃを跨いでいない。

乗員が座席に着座しシートベルトを装着している場合は、図１２のように、乗員を含む領域の画像である第１枠Ｆｒ（Ｐ１）の画像と、シートベルトを含む領域の画像である第２枠Ｆｒｂ（Ｐ１）の画像が抽出される。この場合、図６に示したように、第２枠Ｆｒｂ（Ｐ１）の画像の位置は、第１枠の画像内であり、かつｘ軸方向（座席方向）において、境界線Ｃを跨いでいる。

乗員が座席に着座しシートベルトを装着していない場合は、図１３のように、乗員を含む領域の画像である第１枠Ｆｒ（Ｐ１）の画像と、シートベルトを含む領域の画像である第２枠Ｆｒｂ（Ｐ１）の画像が抽出される。この場合、図１３に示したように、第２枠Ｆｒｂ（Ｐ１）の画像の位置は、第１枠の画像内であるが、ｘ軸方向（座席方向）において、境界線Ｃを跨いでいない。

このため、本実施形態では、第２枠の画像の状態によって、乗員がシートベルトを装着しているか否かを判定する。

次に、境界線Ｃについて説明する。
境界線Ｃの位置は、上述したように座席やヘッドレストの中心の位置に限らず、任意の位置であってもよい。また、境界線Ｃは、図１１〜図１７のように縦方向に設けてもよく、斜め方向に設けてもよく、シートベルトの取り付け位置、シートベルトと座席との位置関係に基づいた位置であってもよい。また、境界線Ｃは、第１枠とは関係なく、シートベルトの位置に応じて設けて（シートベルトをしていないときの、ベルトとバックルの位置に応じてあらかじめその「真ん中」とかに設けておく）もよい。または、境界線Ｃは、第１枠の真ん中を境界線と定義し、第１枠を元に応じて設けてもよい。また、境界線は直線に限らず曲線であってもよい。
換言すると、境界線Ｃは、座席に乗員が着座してシートベルトを装着している状態の画像において、第２枠の画像が跨ぐ線であればよい。

次に、固定器具検知装置１ＢＢが行う処理手順例を説明する。
図１８は、本実施形態に係る固定器具検知装置１ＢＢが行う処理手順例を示すフローチャートである。なお、固定器具検知装置１ＢＢは、以下の処理を、例えばイグニションキーがオン状態になった後、所定の時間間隔で行う。

（ステップＳ３０１）撮影部１１は、座席を含む画像を撮影する。
（ステップＳ３０２）抽出部１２１Ｂは、撮影部１１が撮影した画像から、乗員を含む領域（第１枠）の画像を抽出できたか否かを判定する。抽出部１２１Ｂは、乗員を含む領域（第１枠）の画像を抽出できたと判定した場合（ステップＳ３０２；ＹＥＳ）、ステップＳ３０３の処理に進め、乗員を含む領域（第１枠）の画像を抽出できなかったと判定した場合（ステップＳ３０２；ＮＯ）、ステップＳ３０７の処理に進める。

（ステップＳ３０３）抽出部１２１Ｂは、撮影部１１が撮影した画像から、シートベルトを含む領域（第２枠）の画像を抽出できたか否かを判定する。抽出部１２１Ｂは、シートベルトを含む領域（第２枠）の画像を抽出できたと判定した場合（ステップＳ３０３；ＹＥＳ）、ステップＳ３０４の処理に進め、シートベルトを含む領域（第２枠）を抽出できなかったと判定した場合（ステップＳ３０３；ＮＯ）、ステップＳ３０８の処理に進める。

（ステップＳ３０４）ベルト判定部１２３Ｂは、第１枠の画像と第２枠の画像とが重なっているか否かを判定する。ベルト判定部１２３Ｂは、第１枠の画像と第２枠の画像とが重なっている場合、第２枠の画像の位置が境界線Ｃを跨いでいるか否かを判定する。ベルト判定部１２３Ｂは、第２枠の画像の位置が境界線Ｃを跨いでいると判定した場合（ステップＳ３０４；ＹＥＳ）、ステップＳ３０６に進める。ベルト判定部１２３Ｂは、第２枠の画像の位置が境界線Ｃを跨いでいないと判定した場合（ステップＳ３０４；ＮＯ）、ステップＳ３０８に進める。

（ステップＳ３０６）ベルト判定部１２３Ｂは、シートベルトを乗員が装着していると判定する。このため、ベルト判定部１２３Ｂは、シートベルトを装着することを促す警告情報をオフ状態にする指示を生成する。
（ステップＳ３０７）報知部１５は、ベルト判定部１２３Ｂの指示に応じて、シートベルトを装着することを促す警告情報をオフ状態にする。なお、シートベルトを装着することを促す警告情報のオフ状態とは、例えばランプを消灯させる状態である。報知部１５は、処理を終了する。

（ステップＳ３０８）ベルト判定部１２３Ｂは、シートベルトを乗員が装着していないと判定する。
（ステップＳ３０９）ベルト判定部１２３Ｂは、シートベルトを装着することを促す警告情報をオン状態にする指示を生成する。続けて、報知部１５は、ベルト判定部１２３Ｂの指示に応じて、シートベルトを装着することを促す警告情報をオン状態にする。なお、シートベルトを装着することを促す警告情報のオン状態とは、例えばランプを点灯させる状態または点滅させる状態である。処理後、判定部１２Ａは、処理を終了する。

以上のように、判定部１２Ｂは、第１枠の画像と第２枠の画像が重なっている場合に、乗員がシートベルトを装着しているか否かの判定を行う。このため、このように、判定部１２Ｂは、第１枠の画像と第２枠の画像が重なっていない場合に、乗員がシートベルトを装着しているか否かの判定を行わないようにしてもよい。

なお、上述した境界線Ｃは、座席毎に設定されている。
このため、例えば図８において、乗員Ｐ１に対してシートベルトの装着状態を検知する際、隣の席のシートベルト４４−２の第２枠Ｆｒｂ（Ｐ２）の一部が、乗員Ｐ１の第１枠Ｆｒ（Ｐ１）内に重なっていても、この第２枠Ｆｒｂ（Ｐ２）の画像の位置は、乗員（Ｐ１）に対応する境界線Ｃを跨いでいない。このため、本実施形態によれば、判定部１２Ｂが、隣の席のシートベルトを誤検出することを防ぐことができる。

なお、図２０に示した処理において、ステップＳ３０２の処理を省略してもよい。この場合、ステップＳ３０４において、ベルト判定部１２３Ｂは、第１枠の画像と第２枠の画像とが重なっているか否かの判定を行わないようにしてもよい。そして、ステップＳ３０４において、ベルト判定部１２３Ｂは、第２枠の画像の位置が境界線Ｃを跨いでいるか否かを判定するようにしてもよい。
この理由を説明する。一般的に、シートベルトを含む領域である第２枠の画像の位置が、境界線Ｃを跨いでいる状態は、シートベルトを乗員が装着している状態である。このため、判定部１２Ｂは、第２枠の画像の状態に基づいて、乗員がシートベルトを装着しているか否かのみを判定するようにしてもよい。

固定器具検知装置１ＢＢが車両に搭載されていてステップＳ３０２を省略する場合は、例えば着座センサのような物と組み合わせて使用して乗員を着座センサで検知し、シートベルトのみ画像で検知するようにしてもよい。
また、シートベルトが必須な席（運転席や一人用乗り物等）であれば、乗員を検知しなくてもよいので、ステップＳ３０２の乗員判定を行わなくてもよい。

さらに、判定部１２Ｂの処理の負荷や消費電力や記憶部１３Ｂに記憶させる容量の関係や外部装置３へ送信する際の消費電力の関係等から、画像は極力小さくして判断することが好ましい。このため、固定器具が必須なのであれば人が分からないような、特定の小さい範囲のみ画像を撮影し、その画像から跨いでいるかで固定器具をしているか判定してもよい。固定器具検知装置１ＢＢは、例えば、上述の車両の運転席や一人用乗り物だけでなく、パラシュート等で人の胸の部分だけに撮影部１１撮影範囲に設定し、これらの処理によってシートベルトを装着しているか否かの判定を行うようにしてもよい。

すなわち、単にステップ３０２を省略してしまうと、人がいないのにシートベルトが装着されていない場合でも警告情報がオン状態になってしまうが、固定器具を装着する人がいることが前提（他のセンサで検知も含む）の場合であれば、ステップ３０２を省略して使用することができる。

以上のように、本実施形態では、第２枠の画像の位置によって、乗員がシートベルトを装着しているか否かを判定するようにした。

これにより、本実施形態によれば、撮影された画像からシートベルトの装着状態を判定することができる。
さらに、本実施形態によれば、隣の座席のシートベルトの画像が撮像された場合であっても、そのシートベルトによる第２枠の画像が境界線Ｃを跨いでいないため、乗員がシートベルトを未装着であると誤検出することを防ぐことができる。また、本実施形態によれば、撮像された画像から未装着のシートベルトの一部が第２枠の画像として検出された場合であっても、そのシートベルトによる第２枠の画像が境界線Ｃを跨いでいないため、乗員がシートベルトを未装着であると検出して報知することができる。また、本実施形態によれば、車両における乗員のシートベルトの検知以外、例えば一人用乗り物やパラシュート等の固定器具の装着が必要な場合に、固定器具を人が装着しているか否かを撮像した画像から適切に検知することができ、検知した結果に基づいて固定器具を装着していない場合に適切に報知することができる。

なお、判定部１２Ｂは、図２０の処理を座席毎に行うようにしてもよい。この場合、記憶部１３Ｂが、予め座席の位置を示す情報を記憶するようにしてもよい。

ここで、上述した各実施形態においてシートベルトの引き出し口が、座席の上部に設けられている例を説明する。
図２１は、シートベルトの引き出し口が、座席の上部に設けられている例を示す図である。
図６と図２１の相違は、シートベルトの引き出し口が、ｙ軸方向の上になっている点である。
この結果、図２１に示す例では、第２枠の画像が第１枠の画像内に加えて第１枠の画像外にも存在している。
このような場合であっても、第２枠の画像の位置が境界線Ｃを跨いでいるか否かによってシートベルトの装着状態を上記各実施形態において判定することで、撮影された画像から精度良くシートベルトの装着状態を検知することができる。これにより、第２枠の画像のｙ軸方向の位置が第１枠の画像のｙ軸方向の位置より高くても、第１枠と第２枠は重なっていれば、重なっている面積も影響もなく、第１枠と第２枠との面積の割合も影響なくも、第２枠の幅も影響なく、第２枠の画像の位置が境界線Ｃを跨いでいるか否かによってシートベルトの装着状態を適切に判定することができる。

なお、本発明における判定部１２（または１２Ａ、１２Ｂ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより判定部１２（または１２Ａ、１２Ｂ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１，１Ａ，１Ｂ，１ＡＡ，１ＢＢ…固定器具検知装置、１１…撮影部、１２，１２Ａ，１２Ｂ…判定部、１３，１３Ａ，１３Ｂ…記憶部、１４…通信部、１５…報知部、１２１，１２１Ａ，１２１Ｂ…抽出部、１２２，１２２Ｂ…乗員判定部、１２３，１２３Ａ，１２３Ｂ…ベルト判定部、４４，４４−１，４４−２，４４−３…シートベルト、Ｆｒ（Ｐ１），Ｆｒ（Ｐ２）…第１枠、Ｆｒｂ（Ｐ１），Ｆｒｂ（Ｐ２）…第２枠、Ｃ…境界線、Ｗ１，ｗ２，Ｗ１１，Ｗ１２…横幅

Claims (12)

1. 画像を撮影する撮影部と、
   撮影された前記画像から人を含む領域の画像を第１枠を用いて抽出し、撮影された前記画像から前記人を固定する固定器具を含む領域の画像を第２枠を用いて抽出する抽出部と、
   前記第１枠と前記第２枠が抽出された際に、前記第１枠と前記第２枠が重なっている場合に、前記人が前記固定器具を装着していると判定する判定部と、
   を備える固定器具検知装置。
2. 前記人が前記固定器具を装着しているときの画像から前記第２枠の画像を抽出するアルゴリズムを記憶する記憶部、を備え、
   前記抽出部は、前記記憶部が記憶する前記アルゴリズムを用いて、前記第２枠の画像を抽出する、請求項１に記載の固定器具検知装置。
3. 画像を撮影する撮影部と、
   撮影された前記画像から人を含む領域の画像を第１枠を用いて抽出し、撮影された前記画像から前記人を固定する固定器具を含む領域の画像を第２枠を用いて抽出する抽出部と、
   前記第１枠と前記第２枠が抽出された際に、前記第１枠の画像と前記第２枠の画像が重なっている状態に基づいて、前記人が前記固定器具を装着しているか否かを判定する判定部と、
   を備える固定器具検知装置。
4. 前記判定部は、
   前記第１枠の画像と、前記第２枠の画像との重なっている面積が所定面積より大きい場合に、前記人が前記固定器具を装着していると判定し、
   前記第１枠の画像と、前記第２枠の画像との重なっている面積が所定面積以下の場合に、前記人が前記固定器具を装着していないと判定する、請求項３に記載の固定器具検知装置。
5. 前記判定部は、
   前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像が前記第１枠の画像と重なっている部分の面積の前記第１枠の面積に対する割合が所定割合より大きい場合に、前記人が前記固定器具を装着していると判定し、
   前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像が前記第１枠の画像と重なっている部分の面積の前記第１枠の面積に対する割合が所定割合以下の場合に、前記人が前記固定器具を装着していないと判定する、請求項３に記載の固定器具検知装置。
6. 前記判定部は、
   前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像が所定位置に設定されている境界線を跨いでいる場合に、前記人が前記固定器具を装着していると判定し、
   前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像が、前記境界線を跨いでいない場合に、前記人が前記固定器具を装着していないと判定する、請求項３から請求項５のいずれか１項に記載の固定器具検知装置。
7. 前記判定部は、
   前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像の横方向及び縦方向の少なくとも一方に設けられた幅値が、所定長さ以上の場合に前記人が前記固定器具を装着していると判定し、
   前記第２枠の画像が前記第１枠の画像と重なっている場合に、前記第２枠の画像の前記幅値が、所定長さ未満の場合に前記人が前記固定器具を装着していないと判定する、請求項３から請求項５のいずれか１項に記載の固定器具検知装置。
8. 画像を撮影する撮影部と、
   撮影された前記画像から人を固定する固定器具を含む領域の画像を第２枠を用いて抽出する抽出部と、
   前記第２枠が抽出された際に、前記第２枠の画像が、所定位置に設定されている境界線を跨いで形成されている場合に、前記人が前記固定器具を装着していると判定する判定部と、
   を備える固定器具検知装置。
9. 前記判定部は、
   前記抽出部は、撮影された前記画像から人を含む領域の画像を第１枠を用いて抽出し、
   前記判定部は、前記第１枠と前記第２枠が抽出された際に、前記第１枠の画像と前記第２枠の画像が重なっている場合に、前記人が前記固定器具を装着しているか否かの判定を行う、請求項８に記載の固定器具検知装置。
10. 画像から人を含む領域の画像を第１枠を用いて抽出し、前記画像から前記人を固定する固定器具を含む領域の画像を第２枠を用いて抽出するアルゴリズムを記憶する記憶部を有する固定器具検知装置における固定器具検知方法であって、
    撮影部が、画像を撮影する手順と、
    抽出部が、前記記憶部が記憶する前記アルゴリズムを用いて、撮影された前記画像から人を含む領域の画像を第１枠を用いて抽出し、前記記憶部が記憶する前記アルゴリズムを用いて、撮影された前記画像から前記固定器具を含む領域の画像を前記第２枠を用いて抽出する手順と、
    判定部が、前記第１枠と前記第２枠が抽出された際に、前記第１枠と前記第２枠が重なっている場合に、前記人が前記固定器具を装着していると判定する手順と、
    を含む固定器具検知方法。
11. 撮影部が、画像を撮影する手順と、
    抽出部が、撮影された前記画像から人を含む領域の画像を第１枠を用いて抽出し、撮影された前記画像から前記人を固定する固定器具を含む領域の画像を第２枠を用いて抽出する手順と、
    判定部が、前記第１枠と前記第２枠が抽出された際に、前記第１枠の画像と前記第２枠の画像が重なっている状態に基づいて、前記人が前記固定器具を装着しているか否かを判定する手順と、
    を含む固定器具検知方法。
12. 撮影部が、画像を撮影する手順と、
    抽出部が、撮影された前記画像から人を固定する固定器具を含む領域の画像を第２枠を用いて抽出する手順と、
    判定部が、前記第２枠が抽出された際に、前記第２枠の画像が、所定位置に設定されている境界線を跨いで形成されている場合に、前記人が前記固定器具を装着していると判定する手順と、
    を含む固定器具検知方法。

Images