JP2019500632A - ユーザの現在処置されている身体部分の判定 - Google Patents

Abstract

個人衛生デバイス内に存在する少なくとも１つの慣性センサから取得されたセンサデータと組み合わせられた個人衛生デバイスを使用して自身の身体部分を処置している間のユーザの絵画的表現は、個人衛生デバイスを使用して現在処置されている身体部分を判定するために使用される。カメラ及び慣性センサの提供は、低コストで達成され得る。ユーザの現在処置されている身体部分を判定するための２つのソースを組み合わせることは、一方のソースが他方のソースの弱点を補い、逆もまた同様であるという点で、互いに補完する。

Description

本発明は、例えば、歯ブラシなどの個人衛生デバイスを使用してユーザにより処置されるユーザの身体部分を判定するための概念に関する。

様々な理由から、ユーザがそれぞれのデバイスを正しく取り扱うのを支援する「スマートデバイス」の市場に対する関心が高まっていることが知られている。例えば、「スマート歯ブラシ」は、子供が従順に歯を磨いているかどうかを調べなければならないという重荷から親を解放することができるであろう。例えば、人間は、タイミング及び頻度の観点から定期的に歯を磨くべきであり、正しい磨き技法及び範囲に関しては１日に２回の２分間、毎回全ての歯をカバーし、歯を２分間にわたって均一に配分して磨くなど正しく歯を磨くべきである。

それゆえに、スマート機能を有する歯ブラシ、シェーバなどの個人衛生デバイスの提供を可能にする概念に対する必要性が存在する。しかしながら、市場で十分な支持を見出すために、この概念は、簡単で安価な実施を可能にすべきである。歯ブラシなどの個人衛生デバイスは、それぞれの個人衛生デバイスを使用して処置中のユーザを見たときに、かなりの程度まで隠蔽されている［１３］で見られるようなビデオベースの追跡システムにおける問題を引き起こすこと。その上、個人衛生デバイス内に組み込むことができる位置判定システムは、高価であるか、又はデバイスを使用してユーザの現在処置されている頭部部分を判定するのに十分にそれぞれの個人衛生デバイスの位置を判定しないかのいずれかである。

当然ながら、つい今しがた概説した要求及び需要は、頭部又は顔部のみではない身体の他の部分に使用される他の個人衛生デバイスに関しても生じる。

それゆえに、個人衛生デバイスを使用してユーザにより処置されるユーザの身体部分を判定するための概念であって、安価な実施を可能にする、概念に対する必要性が存在する。ユーザにより処置される頭部部分についての知識は、例えば、ユーザがその処置を遂行するのを支援することを可能にし得る。

一態様によれば、個人衛生デバイスを使用してユーザにより処置されるユーザの身体部分を判定するための装置であって、
個人衛生デバイスを使用して身体部分を処置している間に、ユーザをキャプチャして、ユーザの絵画的表現を取得するように構成されたカメラと、
個人衛生デバイス内に存在する少なくとも１つの慣性センサからセンサデータを受信するように構成されたインターフェースと、
絵画的表現及びセンサデータを分析して、身体部分を判定するように構成された分析器と、を備える、装置が提供される。

別の態様によれば、上述の装置及び個人衛生デバイスを備えるシステムが提供される。

別の態様によれば、個人衛生デバイスを使用してユーザにより処置されるユーザの身体部分を判定するための方法であって、
個人衛生デバイスを使用して身体部分を処置している間に、ユーザをキャプチャして、ユーザの絵画的表現を取得する工程と、
個人衛生デバイス内に存在する少なくとも１つの慣性センサからセンサデータを受信する工程と、
絵画的表現及びセンサデータを分析して、身体部分を判定する工程と、を含む、方法が提供される。

別の態様によれば、コンピュータで起動するときに、上述の方法を遂行するためのコンピュータプログラムが提供される。

本出願の例示的な実施態様は、従属請求項の主題である。その上、本出願の例示的な実施形態は、図面に関して更に後述される。
衛生デバイスを使用してユーザにより現在処置されているユーザの頭部部分を判定するための装置を、ある実施形態による衛生デバイスと共に示す。 図１の衛生デバイス及び装置の可能な実施態様を示す。 データ収集を遂行するテスト者に、ある実施形態による分析器を訓練するように指示するために使用され得るビデオのビデオスナップショットを示す。 ある実施形態によるカメラベースの磨きセクタ分類を取得するように、分析器により遂行される工程のシーケンスを例示する概略図を示す。 ロール角を例示するように、地球の重力ベクトルが縦に延びるように位置合わせされた歯ブラシの長手方向軸に垂直な歯ブラシの断面図を示す。 ピッチ角の位置を例示するように、ユーザ及び歯ブラシの側面図を示す。 訓練段階中の３人のテスト者の訓練データを使用して得られた、表１の１８個のクラス／セクタの推定ロール角及び推定ピッチ角の散布図例を示す。 個々の判定の弱点が互いに補われたより信頼できる判定が最終的に得られるように、現在処置されている部分のカメラベースの判定と慣性センサベースの判定を別々に遂行し、その後にこれらの両方の判定を組み合わせる／融合させる可能性を概略的に示す。 確率分布を混同行列の形態で示す。表２の６クラスモデルの例示的なビデオ出力データは、最終的にこれらの分布になり、これらの分布は、カメラベースの分類結果の確率の計算を準備するためにビンに分割されている。対角線の分布は、正しい分類分布を表す。上から下の列に、分布は、なし、左上、左下、右上、右下、正面のクラスの実際の磨きに関し、左から右の列に、分布は、なし、左上、左下、右上、右下、正面のスコアに関する。各分布は、スコアの３２個のビンを任意の単位で横軸沿いに、それぞれの実際の磨きそれぞれの磨きセクタ仮定においてそれぞれのスコアが得られた、関連付けられた回数／テストの数を任意の単位で縦軸沿いにプロットしたものである。スコアが高い（プラスである）ほど、スコアは、現在磨かれているセクタが、それぞれのスコアが計算されたセクタ、すなわちそれぞれのスコアが含まれる分布（又は分布のカラム）が属するセクタである確率がより大きいことを示唆する。 上から下に、慣性センサ（ＩＮＳ）ベース、カメラ（ＳＨＯＲＥ）ベース、及びセンサ融合（ＤＺＭ；ＤＺＭ＝歯列ゾーン監視（Dental zone monitoring））ベースの分類の真の率に関する推定結果の行列を、左から右に、表２（１＝左上、２＝右上、３＝左下、４＝右下、５＝正面）の６クラスモデル、上顎及び下顎の分類（１は上顎に等しく、２は下顎に等しい）、又は左側及び右側の分類（１は左側に等しく、２は右側に等しい）を使用して示す。 図９の行列配置内の慣性センサ（ＩＮＳ）、カメラ（ＳＨＯＲＥ）、及びセンサ融合（ＤＺＭ）について収集されたデータを使用し、かつモデルを使用した推定結果の行列を示し、棒グラフ様式で、かつ真の率／棒高さに任意の単位を使用して、個々のクラスの真の率を描いている。 カメラベースの評価分析を遂行するための２つの選択肢を例示する概略図を示す。 慣性センサベースの評価分析を遂行するための２つの選択肢を示す。

以下に記載の本出願の実施形態は、ユーザの頭部上又はユーザの頭部内で（ここで、「内」は、ユーザの頭部の空洞内、例えば口腔内を意味する）、個人衛生デバイスを使用してユーザにより現在処置されている、ユーザの現在処置されている身体部分に例示的に焦点を当てている。それゆえに、実施形態は、歯ブラシ、シェーバなどのような例を個人衛生デバイスとして使用して例示されているが、これらの全ての実施形態は、他の個人衛生デバイスと共に、及びそれゆえに現在処置されている他の身体部分と共に動作するように容易に変更され得ることは明らかであろう。単に代表的に、以下の説明では、ユーザの頭部に関係する個人衛生デバイスに焦点を当てている。

導入部で説明したように、個人衛生デバイスを使用してユーザにより処置されるユーザの頭部部分（本明細書で「頭部部分」が使用される場合、これは一般に「身体部分」で置き換えられ得ることを理解されたい）を判定するための概念であって、安価な実施を可能にする、概念に対する必要性が存在する。ユーザにより処置される頭部部分についての知識は、例えば、ユーザがその処置を遂行するのを支援することを可能にし得る。後で説明する実施形態を使用して例示するように、このような概念は、例えば、ますます多くのユーザが、デバイスであって、カメラを備え、このカメラを使用する機能の補助的追加を可能にする、デバイスをすでに所有していることを利用することにより提供され得る。例えば、スマートフォンは、大抵は、カメラを備え、更なるアプリケーションを後でインストールすることを可能にする。その上、個人衛生デバイスなどのデバイスに慣性センサを設けることは、このような慣性センサは多数のデバイス内で広範に使用されているため、単に手ごろなコストを伴うに過ぎない。したがって、個人衛生デバイスを使用して自身の頭部部分を処置している間のユーザの絵画的表現と、個人衛生デバイス内に存在する慣性センサから取得される加速度測定データとを組み合わせることは、低コストで可能である。しかしながら、ユーザの現在処置されている頭部部分を判定するための２つのソースを組み合わせることは、一方のソースが他方のソースの弱点を補い、逆もまた同様である点で、互いに補完する。例えば、カメラの視野内の個人衛生デバイスの隠蔽のため、カメラは、ユーザが所定の異なる頭部部分を処置する状況を区別するには信頼できないソースであり得る。一方で、加速度測定データは、どちらの状況が現在当てはまるのかについて、非常に確実な認識を可能にする。同じことが逆にも当てはまり得る。加速度測定データは、現在処置されているある特定の頭部部分を区別するには信頼できないソースを形成し得る。しかしながら、その区別は、個人衛生デバイスを使用して頭部部分を処置している間、追加的に提供されたユーザの絵画的表現に基づいてより確実に達成することができる。

図１は、個人衛生デバイスを使用してユーザにより処置されるユーザの頭部部分を判定するための装置１０を示し、図１はまた、個人衛生デバイス１２を示す。装置１０及び個人衛生デバイス１２は、システムを形成する。図１の例では、個人衛生デバイス１２は、電動歯ブラシ、すなわち、毛１４の電気揺動ヘッド部を含む歯ブラシであるが、更に後述するように、本出願の代替的な実施形態は、個人衛生デバイスとしての歯ブラシに関するその詳細を、装置１０と、電気的導出毛ヘッド部を有さない歯ブラシなどの任意の他の個人衛生デバイス、又はシェーバ、顔面マッサージ道具、若しくは他の任意の顔面衛生デバイスなどの人間頭部の処置のための任意の他の個人衛生デバイスとの組み合わせに移すことにより、後述する説明に基づいて容易に導出され得る。

図１の装置は、ユーザの顔を示す場面をキャプチャするように構成されたカメラ１６を含み、ユーザは、衛生デバイス１２を使用してある特定の頭部部分を現在処置している。カメラ１６は、静止画カメラであってもよく、又はビデオカメラであってもよい。それゆえに、衛生デバイス１２を使用して頭部部分を処置している間のユーザを示す絵画的表現は、１つ以上の静止画、又はフレーム／写真のシーケンスから構成されるビデオを含み得る。

装置１０は、慣性センサ２０から加速度測定データを受信するように構成されたインターフェース１８を更に含み、一方で、慣性センサ２０は、衛生デバイス１２内に存在する。インターフェース１８は、図１に例示するように、慣性センサ２０から加速度測定データを無線で受信するように構成されてもよい。この目的のために、衛生デバイス１２は、慣性センサ２０から加速度測定データを受信するように慣性センサ２０に相互接続され、装置１０のインターフェース１８により受信されるべき加速度測定データを無線で送出するように動作可能な、通信インターフェース２２を備えていてもよい。しかしながら、インターフェース１８は、あるいは、有線接続を使用して、慣性センサ２０から加速度測定データを受信してもよい。

更に、装置１０は、カメラ１６及び（無線）インターフェース１８に連結され、分析器２６のタスクを引き受けるプロセッサ２４を含む。分析器２６の機能は、更に後述される。具体的には、分析器２６は、カメラ１６により取得された絵画的表現及び慣性センサ２０からインターフェース１８を介して受信した加速度測定データを分析し、それに基づいて、個人衛生デバイス１２を使用してユーザにより現在処置されている頭部部分を判定する。

図１に示すシステム及び装置のハードウェア実装の具体例に関して以下で説明するように、装置１０は、例えば、カメラ１６、インターフェース１８、及びプロセッサ２４を収容するスマートフォンなどの携帯型コンピュータ又は携帯型通信装置上に実装されてもよい。プロセッサ２４は、例えば、マイクロプロセッサであってもよく、分析器２６は、プロセッサ２４により実行されるとき、より詳細に後述する分析器２６の機能をプロセッサ２４に遂行させるアプリケーション又はコンピュータプログラムとして実装される。あるいは、分析器２６のいくつか又は全ての機能は、カメラ及びインターフェースを収容する携帯型コンピュータ又は携帯型通信装置の外部になど、外部的に実装されてもよい。例えば、分析器２６のこのような外部的に遂行される機能は、絵画的表現及び加速度測定データをインターネット又は何らかの他のネットワークを介して受信するように構成されたサーバ上で実行され得る。このような機能を外部にアウトソーシングすることにより、装置１０は、装置１０の電力消費量を相当に低減することを可能にしてもよく、それによりバッテリー節電を可能にする。

完全性のため、図１は、装置１０が、現在処置されている頭部部分をユーザに対して可視化するための、又は候補頭部部分の組の各候補頭部部分について、時間的尺度若しくは時間的尺度に基づいて判定されたそれぞれの候補頭部部分に対する残りの処置要求の尺度を示す情報をユーザに対して可視化するための、可視化装置２８を任意追加的に含んでもよいことを示すことが留意される。例えば、可視化装置２８は、ディスプレイ又はモニタを含んでもよい。加えて、プロセッサ２４は、つい今しがた述べた候補頭部部分の組の各々について、どれくらいの時間、すなわち、どの時間間隔中にそれぞれの候補頭部部分が間分析器２６により頭部部分であると判定されているかの時間的尺度をログするためのログモジュール３０のタスクを任意追加的に引き受けてもよい。

よって、図１の装置１０は、衛生デバイス１２を使用してユーザにより現在処置されているユーザの頭部部分を判定することができる。衛生デバイス１２が、図１に描かれている歯ブラシである場合、これは、より具体的な実施形態のより詳細な説明を下記で更に概説する例示的なケースであるが、現在処置されている頭部部分は、例えば、ユーザの歯列のある特定の部分、例えば、ユーザの歯列の下顎左側部分などである。衛生デバイス１２がシェーバである場合、現在処置されている頭部部分は、例えば、ユーザの顎ひげ部分のある特定の部分であってもよい。衛生デバイス１２が、例えば、顔面マッサージ装置である場合、現在処置されている頭部部分は、例えば、ユーザの顔の任意の部分である。

下記でより詳細に概説するように、現在処理されている頭部部分を自動的に判定するためのソースとしてカメラ１６及び慣性センサ２０を使用することは、両ソースの弱点の相互補償をもたらす。絵画的表現は、分析器２６が現在処置されている部分をその垂直位置に関して探し出すには信頼できないソースであるものの、例えば、カメラ１６を使用して取得された絵画的表現は、分析器２６が、現在処置されている頭部部分がユーザの左側内に位置するのか、それとも右側内に位置するのかを非常に確実に判定することを可能にする。逆に、加速度測定データは、現在処置されている頭部部分が左側にあるのか、それとも右側にあるのかを判定するには信頼できないソースであり得るものの、慣性センサ２０により取得された加速度測定データは、現在処置されている頭部部分の縦軸沿いの位置が異なる状況を確実に識別する機会を分析器２６に提供し得る。分析器２６は、両方の情報ソース、すなわち絵画的表現及び加速度測定データを組み合わせることにより、左側／右側の識別に関して、及びユーザの縦軸沿いの異なる位置の識別に関して、現在処置されている頭部部分をより確実に判定することができる。

下記で更に概説する実施形態によれば、分析器２６は、所定の候補頭部部分の組から現在処置されている頭部部分を選択することにより、現在処置されている部分の判定を遂行するように構成されている。例えば、下記でより詳細に概説するように、分析器２６は、カメラ１６に由来する絵画的表現及び慣性センサ２０に由来する加速度測定データを使用してフィードされるとき、所定の候補頭部部分の組の中から現在処置されている頭部部分を選択することができるように「訓練」されなければならない。候補頭部部分の組は、訓練のために使用される候補頭部部分の組と一致してもよい。あるいは、その中から分析器２６が現在処置されている頭部部分を選択する、候補頭部部分の組は、人間頭部の興味対象部分のより粗い区分化を表してもよい。この点の詳細は、更に後述される。分析器２６を訓練するために、分析器２６は、ニューラルネットワークとして実装されてもよく、又は統計的方法を使用して訓練されたものであってもよい。いずれにせよ、所定の候補頭部部分の組は、人間頭部の興味対象部分の区分化、すなわち人間頭部の興味対象部分を重なり合わないセグメントに空間的に細分する区分化を表す。例えば、衛生デバイス１２としての歯ブラシの場合、その中から分析器２６が現在処置されている頭部部分を選択する、候補頭部部分の組に区分化される人間頭部の興味対象部分は、ユーザの歯列であってもよい。衛生デバイス１２がシェーバである場合、所定の候補頭部部分の組は、ユーザの顎ひげエリアの区分化を表してもよい。衛生デバイスが顔面マッサージ装置である場合、その中から分析器２６が選択を遂行する、所定の候補頭部部分の組は、ユーザの顔面の区分化を表す。

つい今しがた述べたように、絵画的表現及び加速度測定データの両方の分析に基づいて現在処置されている頭部部分を判定することの効果は、空間的な左／右の識別及び縦軸沿いの空間的な識別のそれぞれに関する弱点の相互均一化である。それゆえに、所定の候補頭部部分の組は、例えば、人間頭部の興味対象部分を４つ以上の候補頭部部分に区分化してもよい。つまり、その中から分析器２６が選択を遂行する候補頭部部分の組は、例えば、「少なくとも」４つの候補頭部部分、すなわち、ユーザの左側に置く第１の候補頭部部分と、ユーザの左側に位置するが、ユーザの縦軸に沿って第１の候補頭部部分に対して変位された第２の候補部分と、ユーザの右側に位置する第３の候補頭部部分と、ユーザの右側に位置するが、ユーザの縦軸に沿って第３の候補部分に対して変位された第４の候補頭部部分と、を含んでもよい。例えば、衛生デバイス１２が歯ブラシである場合、第１の候補頭部部分は、ユーザの歯列の上顎左側部分であってもよく、第２の候補部分は、ユーザの歯列の下顎左側部分であってもよく、第３の候補頭部部分は、ユーザの歯列の上顎右側部分であってもよく、第４の候補頭部部分は、ユーザの歯列の下顎右側部分であってもよい。その中から分析器２６が選択を遂行する候補頭部部分の組は、第５の候補頭部部分、すなわちユーザの歯列の正面部分、又は第５の候補頭部部分及び第６の候補頭部部分、すなわちユーザの歯列の上顎正面部分及び下顎正面部分を追加的に含んでもよい。衛生デバイス１２がシェーバである場合、例えば、第１の候補頭部部分は、ユーザの左側の頬であってもよく、第２の候補頭部部分は、ユーザの顎の左側であってもよく、第３の候補頭部部分は、ユーザの右側の頬であってもよく、第４の候補頭部部分は、ユーザの顎の右側であってもよい。そのとき、第５の部分は、ユーザの顎の正面側を表してもよい。第６の候補頭部部分は、鼻と口との間の部分を表してもよい。衛生デバイス１２が顔面マッサージ装置である場合、候補頭部部分の組は、衛生デバイス１２の一例としてシェーバに関して述べた部分に加えて、額部を候補頭部部分として含んでもよい。

図２は、図１に示し、図１に関して説明したシステム及び装置の具体的な実装例を示す。上記にすでに示したように、本明細書において、衛生デバイスは、歯ブラシであると想定されているが、下記に提示する説明は、歯ブラシ以外の衛生デバイス１２との他の実施態様に到達するように容易に変更することができる。

図２は、バッテリー駆動型歯ブラシ又は電動歯ブラシとしての衛生デバイス１２を示し、歯ブラシのバッテリーは、歯ブラシ１２をソケット３２上に載置することにより再充電可能である。装置１０は、図２では、カメラ１６、プロセッサ（図２では描かれていない）、及びインターフェース１８を収容するスマートフォンとして具現化されている。インターフェース１８は、歯ブラシの対応インターフェース２２から加速度測定データを受信する。加えて、スマートフォンは、可視化装置２８をディスプレイの形態で備える。

装置１０は、歯ブラシ１２及び装置１０のユーザが口又は歯列のどのセクタを現在磨いているか、並びにどれくらいの時間磨いているかについて情報を得ることができる。加えて、装置は、このようにして得られた情報に、例えば、歯ブラシ１２内の追加的な力センサ（図１にも２にも図示せず）により集められた磨き圧力についての情報を添え得る。慣性センサを備えた歯ブラシ１２は、図２に描かれていないが、歯ブラシ１２のハウジング内又はハウジング上の任意の場所に配置することができる。慣性センサは、慣性測定ユニットＩＭＵにより構成されてもよい。言い換えれば、慣性センサは、加速度センサ及び／又は角速度センサ、並びに任意追加的に磁界センサを含む慣性測定ユニットＩＭＵにより具現化されてもよい。明示的な一例として、３軸加速度計が、１つ以上の多軸ジャイロスコープ及び１つ以上の磁力計を任意追加的に伴って、センサ２０として使用されてもよい。図２に描かれているように、ブルートゥースデータ接続は、インターフェース２２及び１８を相互接続させるために例示的に使用され得る。

加速度測定データに関しては、いわゆるセンサ融合、すなわち加速度センサ及び／又は角速度センサのセンサデータの全てを、縦軸に位置合わせされた系などの、歯ブラシに関係しない所定の座標系に関するデータの組にまとめる方法が、歯ブラシ１２内又は分析器内で、すなわち装置内又はスマートフォン１０内で、それぞれ遂行されてもよいことが留意される。その上、センサ融合はまた、何らかの種類の積分により加速度測定値を速度データ又は位置データに変換してもよく、ゆえに、「加速度測定データ」という用語は、慣性センサ２０を使用した加速度測定により得られるか、又はそれから生じる任意のデータを包含すると理解されるものとする。例えば、歯ブラシ内で遂行されるデータ前処置は、インターフェース２２を介して転送されるべきデータの量を低減することを狙いとしてもよい。あるいは、分類／位置判定の全体が、歯ブラシ内で実行されてもよい。

データ、すなわち絵画的表現及び加速度測定データは、カメラ１６及び慣性センサ２０と同時に分析器２６内に収集される。２つの異なるソース、すなわちカメラ１６及びセンサ２０からのデータが、プロセッサ２４又は分析器２６に非同期的に到着してもよく、プロセッサ２４又は分析器２６が、２つの対応する情報片、すなわちビデオデータ及びセンサデータを、正しく組み合わせるように、正確に時間記録又は同期する責任を引き受けてもよい。

何らかのデータ収集プロセスが、分析器２６を訓練するために使用されてもよい。例えば、データ収集のプロセスにおいて、それぞれのユーザに特定の磨きセクタを磨くように指示するビデオが、ユーザに示されてもよい。ビデオは、例えば、図３に可視化されている画面などの画面を示してもよい。歯列が、３４に描かれており、何らかの種類の強調表示３６が、カメラ１６及び慣性センサ２０からデータを収集しながら、テスト者が歯ブラシを使用して歯列のどの部分（セクション）を処置、すなわち磨くべきかをテスト者に示す。現在強調表示されている部分が磨かれるべき残り時間が、ビデオ画面のセクション３８に表示されてもよい。部分４０において、ビデオ画面は、それぞれのテスト者によるデータ収集プロセスの間に逐次的に磨かれるべき歯列の識別された候補部分の数、及びデータ収集プロセスの間に現在の列内の現在の候補部分を表示してもよい。例えば、図３の場合、ビデオは、テスト者の歯列の第１の候補部分が歯列の上顎左側の外側であり、この現在処置されている部分が１８個の候補部分のうちの第１の部分であり、列内の次の候補部分まで８秒残っていることを現在示している。

絵画的表現、すなわちビデオ１６によりキャプチャされた場面と、慣性センサ２０により取得された加速度測定データとを含む収集データは、次いで、分析器２６の基礎をなすアルゴリズムを訓練及びテストするために使用される。分析器２６の実施形態は、より詳細に後述される。図３は、例えば、１８個の論理磨きセクタが訓練のために使用されることを例示する。

ユーザの現在処置されている／磨かれている部分の推定／判定は、第１のステージでは、一方では絵画的表現に基づいて、他方では加速度測定データに基づいて、別々に遂行されてもよく、第２のステージでは、現在処置されている／磨かれている部分をより確実に最終判定するために、両方の判定が、融合又は組み合わされる。この目的のために、訓練段階の１８個の磨きセクタは、例えば、歯列の現在処置されている部分／セクタの慣性センサに基づく判定を訓練するために、すなわち慣性センサに基づく分類のためにセクタを訓練するために、全て内的に使用されてもよい。

１８個の磨きセクタは、例えば、表１に示すように定義されてもよい。

表１によれば、１８個の磨きセクタは、それぞれ、３つの次元、すなわち上顎と下顎とを識別する次元、歯列の左側と右側と正面部とを識別する次元、及び歯の内向き側すなわち舌部に対向する側と、歯の反対向き側又は外向き側と、咀嚼面とを識別する次元に沿って論理的に配置される。

例えば、現在処置されている部分の加速度測定データに基づく推定が全１８個の磨きセクタを識別するように訓練される一方で、訓練は、カメラ１６により取得される絵画的表現に基づく現在磨かれている部分の推定／判定について、１８個のセクタのうち隣接セクタをプールすることにより１８個のセクタから得られる区分化などの、歯列のより粗い区分化に関してもよい。その上、分析器２６を訓練した後、ユーザに対する可視化が後で遂行される候補セクタの組さえ、同じものが１８個のセクタとは異なっていてもよい。例えば、表２は、上述の１８個の磨きセクタに基づいて、それらを６つのクラスに減少させることにより導出された、それぞれ後で可視化及び分析器のために使用され得る候補セクタの組を例示する。歯列に関してすでに上述した５つのクラス以外に、第６のクラスは「磨きなし」を含むが含まれる。

図４に関して、予備的に単にカメラに基づいて磨きセクタ分類を遂行する際に図１及び２の装置１０がどのように動作し得るのかについて、動作モードを説明する。

磨きセクタ分類プロセス全体の、図４の４０に表示されている第１の工程で、ユーザ４２は、自身の歯を磨いている間、ビデオキャプチャデバイス、すなわちカメラ１６の前にとどまり、カメラ１６によりキャプチャされる。つまり、カメラ１６によりキャプチャされた場面４４は、歯ブラシ１２を使用して歯を磨いているユーザ４２を含む。このようにしてカメラ１６を使用して取得された絵画的表現は、１つ以上のキャプチャされたビデオ写真／フレームを含む。１つのキャプチャされたビデオフレーム４６を図４に示す。写真４６は、ユーザ後者が口内に延在するように歯ブラシ１２を握持しているユーザ４２の顔面を示す。

具体的には、図４は、カメラベースの磨きセクタ分類に専念している。それゆえに、図４の実施形態によれば、１つ以上のビデオフレーム４６は、顔検出及び顔追跡ユニットに渡されて、顔検出及び顔追跡プロセスに供され、顔検出及び顔追跡プロセスが、ユーザの顔４８を画像又は写真４６内に探し出す。この工程は、図４の５０に示されている。工程５０で写真４６内の顔領域５２を判定した後、分析器２６の顔特徴位置特定ユニットは、工程５４で顔領域５２内に眼５６を探し出す。次いで、顔領域正規化ユニットは、工程５８で、写真４６を回転及び拡大縮小し、すなわち歪め、写真４６から定義された画像領域６０を切り出す。この領域は、写真内の口を含み、それを取り囲んでいる。顔領域正規化は、写真４６内の位置特定された眼位置５６を参照点として使用してもよい。最後に、分析器２６の磨きセクタ分類ユニットは、工程６２で正規化された画像領域６４内の特徴を抽出し、画像を分類し、ユーザが関連付けられたセンサを現在磨いている確率を特徴付ける各磨きセクタの評点を提供してもよい。例えば、図４は、カメラベースの磨きセクタ分類が、最終的に６つの論理クラス、すなわち表２に示される論理クラスの中から選択される現在磨かれている部分の推定になり得ることを例示する。

図４で、工程５０、５４、５８、及び６２は、分析器２６により遂行される。図４に関して説明した個々の工程を、以下でより詳細に説明する。

上記にすでに示したように、カメラ１６は、場面をキャプチャすることができる任意のデバイスであってよい。カメラ１６は、例えば、画像シーケンスをキャプチャすることができるビデオカメラであってもよい。ビデオカメラは、例えば、携帯電話機又はタブレットであってもよいが、コンピュータに接続されたカメラであってもよい。ビデオキャプチャデバイス１６は、自身の歯を磨いている間にカメラ１６がユーザをキャプチャするように、カメラベースの磨きセクタ分類のためにユーザの前に配置されてもよい。例えば、図２に示す携帯電話機は、浴室内の鏡に取り付けられた携帯電話機保持具内に配置され得る。ビデオキャプチャデバイスはまた、鏡内に統合され得る。ビデオキャプチャデバイスはまた、カメラを有する任意の他のウェアラブルデバイス、例えば、データグラス（例えば、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標））又はスマートウォッチであり得る。ビデオキャプチャデバイスは、ユーザをキャプチャし、画像フレームを提供し、画像フレームは、次いで、工程５０で顔検出及び顔追跡に供される。

工程５０における顔検出及び顔追跡の間、ビデオキャプチャデバイス１６の画像フレームは、ユーザの顔を画像内に探し出すように処理される。顔検出は、例えば、［３］、［４］ ［５］、［６］、［９］、［１０］に記載の方法のうちのいずれかを使用することにより実施することができる。顔検出は、顔４８が検出され得る場合、画像４６内のユーザの顔４８の領域５２を提供する。画像が２つ以上の顔を示している場合、顔検出器は、画像４６内の顔位置又はサイズを用いて、画像４６内の最も目立つ顔を選択することができる。例えば、画像４６内の最大の顔が、ユーザの顔として選択され得る。顔検出はまた、データベース内に記憶されているユーザの顔に最も似た顔を選択することができる。識別及び追跡されるべき顔は、例えば、セットアッププロセスにおいて分析器２６に教育することができる。顔はまた、性別又は年齢により特徴付けられ得る。

顔検出はまた、写真４６内のユーザの顔の検出に失敗する場合がある。失敗の理由としては、例えば、劣悪な照明、又は磨き中の手若しくは歯ブラシハンドルによる顔の隠蔽が挙げられ得る。顔検出が失敗したとき、顔は、しばしば、依然として顔追跡により追跡することができる。例えば、顔は、例えば［８］に記載のように、現在のフレーム内の顔位置の近隣内の最後のフレームから顔領域５２の外観を見出すことにより、追跡することができる。顔追跡はまた、任意の他の方法を使用して実施され得る。

顔追跡は、頑健性を増大させるためだけではなく、必要とされる処理電力又はエネルギー消費を減少させるために使用することができる。これは、時折の画像フレームに対して顔検出を適用し、中間のフレームに対して顔追跡を適用することにより中間のフレームを橋渡しすることにより、達成することができる。この目的のために、例えば［１１］を参照する。顔追跡は、任意追加的であり、例えば、顔検出がすでにその要件の全てを満たしている場合、省略することができる。

顔特徴位置特定は、工程５４で画像４６内にユーザの眼を探し出す。顔特徴位置特定は、顔検出及び顔追跡プロセス５０により提供される顔領域５２を使用し、上部顔領域、すなわち領域５２の上半分内でのみ眼を探す。これは、探索空間及び必要とされる処理能力を低減させ、眼位置の頑健性を増大させる。顔特徴位置特定は、任意の顔特徴位置特定方法を使用して実施され得、特に、顔領域を検出するために使用されるのと同じアルゴリズムを採用することができる。そのために、アルゴリズムは、顔領域全体の代わりに左眼及び右眼を検出するように訓練され得、検出された上部顔領域に関連して定義されたエリアのみに適用され得る。顔特徴を探し出すための任意の他の方法も使用され得る。例えば、２Ｄ又は３Ｄ形状モデルを画像４６上に適合させる方法が使用されてもよい。すなわち、人間の顔の２Ｄ又は３Ｄ形状モデルのパラメータは、その画像、例えば、突出部が写真４６内の顔の実際の画像と一致するように適合される。

口領域とは対照的に、上部顔部分が、歯を磨く間、ユーザの手により隠蔽されることは考えにくい。したがって、この方法は、口領域内ではなく、上部顔領域内の顔特徴を使用する記載の手順をサポートしてもよい。別の実施態様は、眼位置５６だけではなく、他の顔特徴、例えば、眉毛、鼻、又は顔の輪郭も探し出すことができる。

顔特徴は、しばしば、工程５０で顔検出及び顔追跡により提供される顔領域よりも正確な顔の位置特定、並びに磨きセクタ分類のためのより良好な位置合わせを可能にする。しかしながら、例えば、顔検出が工程５０ですでにニーズを満たしている場合、顔特徴位置特定は、代替的に省略されてもよい。

顔領域正規化５８の狙いは、写真４６を回転させ、拡大縮小し、写真４６内の口の周りの所定の領域６０を切り出すことである。この目的のために、顔特徴抽出／位置特定プロセス５４により取得された顔特徴５６が、参照点として使用されてもよい。言い換えれば、顔領域正規化５８の狙いは、その結果が、すなわち正規化された画像領域６０が、磨きセクタを分類するために適切な顔及びユーザの頭部の周りの同じ部分を常に示すことを保証することである。顔領域正規化５８は、頭部の回転及びビデオキャプチャデバイス１６の前のユーザの動きにより引き起こされる、画像内のユーザの顔の外観のばらつきのうちの少なくともいくつかを除去することを狙いとする。参照点に基づくため、顔領域正規化は、正規化された画像領域の内側又は外側の所定の参照点に顔の特徴がマッピングされるように、画像領域６０を正規化された画像フレームに変換することを伴う。顔領域正規化は、参照点としての眼位置５６及び顔特徴点の任意の他の組み合わせのみを使用して、変換を計算し得る。その上、顔特徴位置特定が省略される場合、顔領域のみが正規化のために使用されてもよい。

磨きセクタ分類６２は、口の周り及び頭部の周りのユーザの顔の適切な部分、並びに磨き中、一般に歯ブラシの部分及びユーザの手を示す、正規化された顔領域６０を使用する。これは、図４に例示されている。正規化された顔領域６０の外観は、現在磨かれているセクタ、すなわちユーザの頭部の現在処置されている部分に依存する。例えば、領域６０は、ユーザが歯列の左側を磨いていようとも、又は右側を磨いていようとも、異なって見える。同じことが、歯列の他のセクタにも当てはまる。磨きセクタ分類は、これらの外観の違いの利益を得て、現在磨かれているセクタを判定する。正規化された画像領域６０内の特徴が、抽出され、分類され、次いでカメラベースの磨きセクタ分類に関連付けられた候補磨きセクタの組の各候補磨きセクタの評点が提供される。評点は、ユーザがそれぞれの評点に関連付けられたセクタを磨いている確率を特徴付けるものである。

任意の特徴の種類を抽出し、分類のために使用することができる：縁部、輝度差、人口調査特徴若しくは構造的特徴、又はそれらの組み合わせ。例えば、［３］、［４］、［６］を参照する。磨きセクタ分類は、抽出された特徴を評価することにより、磨かれている歯の各セクタについて、正規化された顔領域６０が典型的にどのように見えるのかを学習する、１つ以上の機械学習方法を実施する。任意の機械学習方法、例えば、ブースティング、サポートベクトルマシン、又はニューラルネットワークを使用して、磨きセクタ分類を訓練することができる。

典型的に、機械学習方法は、学習のために注釈付きの訓練データを必要とする。ここで、既知の磨きセクタ又は注釈付きの磨きセクタを含む正規化された顔領域サンプルが使用されてもよい。訓練サンプルは、歯を磨く間に様々なユーザを記録し、正規化された顔領域を抽出することにより生成することができる。訓練サンプル内に示される磨きセクタは、手動で判定され得る。ユーザはまた、図３に関して例示的に例示したように、所定の順序で、及び磨きセクタの訓練データへの自動割り当てを可能にするために所定の長さで、歯のセクタを磨くように求められ得る。

歯列は、例えば、単に左と右若しくは上と下を識別する２つのセクタに分けられ得るか、又は例えば、単に左と右と正面を識別する３つのセクタに分けられ得るか、又は４つのセクタ、すなわち表２の最初の４つのセクタに分けられ得るか、又は５つのセクタ、すなわち表２の最初の５つのセクタに分けられ得るか、又は６つのセクタ、すなわち表２の上の５つのセクタに分けられ得るが、第５のセクタを上顎正面部分と下顎正面部分にそれぞれ分割することができる。任意の他の実行可能な数のセクタが使用されてもよい。加えて、別々のクラス、すなわちユーザが全く歯を磨いていないことを示すクラス（なし）が、定義及び訓練され得る。その上、ユーザが歯を左手で磨いているのか、それとも右手で磨いているのかを区別することができる別の分類子が訓練され得る。

出力として、磨きセクタ分類ユニットは、ユーザにより現在磨かれているセクタを提供することができる。その上、又はあるいは、カメラベースの磨きセクタ分類は、ユーザが関連付けられたセクタを現在磨いている確率を特徴付ける、各磨きセクタの評点を提供することができる。

図４に関してつい今しがた説明したカメラベースの磨きセクタ分類を実現することができる個々の工程に加えて、記載した手順がカメラ１６の前のユーザの頭部ポーズを推定することが、協力的であり得る。ポーズを推定するためのいくつかの可能性が存在する。

３Ｄモデル適合の手法では、３Ｄ顔モデルが、顔の２Ｄ画像４６に適合される。例えば、３Ｄモデルのパラメータは、カメラ１６の光学投影パラメータによるその投影が写真４６内のユーザの顔の外観と整列するように適合される。例えば、［１］に記載のアルゴリズムが使用されてもよい。このような方法の高い処理能力要件のため、しばしば、それほど正確ではないがより高速なアルゴリズムを採用することが要求される。

２Ｄ画像からの３Ｄ姿勢推定のためのよく知られている方法が、ＰＯＳＩＴである。ＰＯＳＩＴアルゴリズムは、例えば、［２］に記載されている。ＰＯＳＩＴは、対象、ここでは顔、の近似３Ｄモデルと、２Ｄ画像内の同モデルの対応する点とが知られていることを必要とする。ＰＯＳＩＴは、機能するために少なくとも４つの対応する点を必要とする。歯磨き中に口が隠蔽される可能性があるため、口の隅は、信頼できる特徴点として使用することができないか、又は使用すべきではない。ＰＯＳＩＴアルゴリズムを使用するために、好適な特徴点が、顔の上半分に見出されてもよい。そこで特徴点は、顔特徴位置特定５４の間に判定されてもよい。

事後推定を遂行するための別の可能性は、ただ検出された眼領域５６の位置及びサイズを考慮することにより、頭部ポーズを判定することである。カメラパラメータ及び人間の眼の平均距離があれば、ｘ、ｙ、及びｚ方向への変換並びにｙ軸を中心とする回転（頭部を耳の側に曲げること）は、標準的な数学演算、最も重要なものとしては切片の定理により計算され得る。ｚ軸沿いの回転角（頭部を左又は右に向けること）の判定には、左眼と右眼の相対的な検出サイズ差を使用して、回転角を推定することができる。これは、頭部が回転される場合、眼が画像内で異なるサイズを有するという事実に基づく。

上述のように、顔検出及び顔追跡により、画像フレーム４６内のユーザの顔の領域が判定され、かつカメラベースの磨きセクタ分類のために使用されてもよい。しかしながら、画像フレーム内のユーザの頭部の位置及びサイズはまた、例えば、ユーザがビデオキャプチャデバイス１６の前の正しい位置内に位置しているかどうかをチェックするために使用され得る。必要であれば、システムは、画像フレームの正しい位置内に、例えば、画像の中心に、又はカメラ１６のより近くに、ユーザを再び案内することができる。言い換えれば、分析器２６は、カメラ１６の視界内のユーザの顔４８の位置を連続して調べ、かつカメラ１６の視界、又は視界の真ん中のある特定の領域などの、カメラ１６の対象となる所定の領域を離れるリスクを冒した場合にユーザに警告するように構成されてもよい。例えば、アラームは、ひとたびユーザがカメラ１６の視界の左端、右端、上端、又は下端に接近すると作動開始し得る。加えて、又はあるいは、アラームは、ひとたびユーザがカメラから近すぎるか、又は遠すぎるようになると作動開始し得る。追加的又はあるいは、画像４６内の顔４８の領域はまた、分析器により、照明をチェックし、画像品質を最適化するために使用されてもよい。例えば、ユーザは、照明を修正するように求められ得、又はカメラ設定は、顔領域内の画像特性に応じて適合され得る。一実施態様は、［７］に記載の方法を採用し得る。

カメラベースの磨きセクタ分類は歯ブラシデバイスに適用することができるだけではないことが想起される。実際、図４の例でさえ、顔など内のシェーバの位置を分類するなど、他の衛生デバイスにも適合され得る。

カメラベースの磨きセクタ分類を遂行するための例を説明した後、以下の段落は、慣性センサに基づいて磨きセクタ分類を遂行するための可能性について言及する。

図５によれば、慣性センサベースの磨きセクタ分類のための主要な特徴は、計算されるロール角及びピッチ角である。ロール及びピッチは、慣性センサ２０による加速度測定値に基づいて、かつ地球の重力ベクトルの方向を追加情報として使用して、計算される。

図５ａから分かるように、ロール角Θは、例えば縦軸７０を基準として使用して傾きを測定することにより、歯ブラシ１２の長手方向軸周りの歯ブラシ１２の現在の傾きを測定することとして定義されてもよい。図５ａでは、縦軸７０は、「１ｇ」により示される矢印により例示又は表示されており、この矢印は、地球の重力ベクトルを象徴する。例えば、Θ＝０は、歯ブラシの毛が下方に向いている、すなわち地球の重力ベクトルの方向に進む状況として定義することができる。図５ａでは、歯ブラシ固有の座標系が、軸ｘ、ｙ、及びｚのデカルト座標系を使用して例示されており、軸ｙは、歯ブラシ１２の長手方向軸を形成し、歯ブラシの軸ｙ周りの回転は、Θにより測定され、軸ｚは、歯ブラシの毛とは反対の方向に向いている。

図５ｂは、ピッチ角Φがどのように定義され得るかを例示するために、同じ命名法を使用している。つまり、座標系ｘ、ｙ、及びｚは、歯ブラシの局所座標系であり、ベクトル「１ｇ」は、地球の重力に沿って向いているベクトルに対応する。水平面、すなわち地球の重力ベクトルに垂直な平面、すなわち水平線に平行な平面は、図５ａ及び５ｂの両方において破線として描かれている。図５ｂから分かるように、ピッチ角Φは、歯ブラシの水平面に対する傾斜を測定するものであり、又は、別様に言うと、それに沿って地球の重力ベクトル１ｇが向いている軸からの角度偏差９０°−Φに対応する。

図３に関して上述した訓練段階では、ラベル付けされた測定データが、例えば、定義された１８個の磨きセクタ内に収集される。訓練データを使用して、データをロール平面及びピッチ平面にマッピングし、かつ各セクタの得られた分布の特性値、例えば、平均及び分散を導出することにより、ロール角及びピッチ角を計算し、１８個のクラスモデルを訓練する。例示的な散布図を図８に示す。これは、データをロール平面及びピッチ平面にマッピングした結果である。図６では、ロール軸は、縦軸に対応し、ピッチ軸は、水平軸に対応する。ロール及びピッチに加えて、平均値、分散、信号パターン、スペクトルなど［１３］のような、他の特徴が、加速度測定データに基づくセクタ分類のために使用され得る。

よって、ある実施形態によれば、分析器２６は、加速度測定データからロール角及びピッチ角を計算することにより、加速度測定データベースの磨きセクタ分類を遂行する。あるいは、加速度測定データは、すでにロール角及びピッチ角を表している。ロール角及びピッチ角は、訓練された分類子に基づいて分析器２６により評価される。各候補セクタについて、この候補セクタが現在の磨きセクタである確率が計算される。あるいは、平均値、分散、信号パターン、スペクトルなど［１３］のような、加速度測定データの追加の特徴を追加的に使用して、各セクタの確率を計算してもよい。

図４及び５ａ、ｂに関して、カメラベースの磨きセクタ分類及び慣性センサベースの磨きセクタ分類を説明してきた。分析器２６は、センサ融合手法により、両分類を組み合わせてもよい。センサ融合を適用することの目標は、一方のシステムの弱点を他方のシステムの強みで補うことである。センサ融合プロセスを、図７で例示的に可視化する。分析器２６により適用されるセンサ融合の最も簡単な方法は、各磨きセクタについて、異なるセンサ、すなわちカメラ及び慣性センサに基づく異なる分類から得られた確率を、それぞれ乗算することであってもよい。

図７は、８０において、歯列の現在磨かれているセクタが表１のリストのインデックス１２を有するセクタ、すなわち上顎部分の左側の内側であることを、例示している。上述のように、写真表現及び加速度測定データは、分析器２６により受信及び記録される。次いで、分類が、８で別々に遂行され、それにより、ウェイト又は確率値が、すなわちカメラベースの磨きセクタ分類の候補セクタの組のうちの候補セクタ毎に１つもたらされ、この確率値の組は、図７の８４に示されており、かつ慣性センサベースの磨きセクタ分類の候補セクタの組のうちの候補セクタ毎に１つの率又は確率値がもたらされ、後者の組は、図７の８６に示されている。つまり、セクタ分類は、独立して遂行される。図７は、カメラベースの磨きセクタ分類が左側の磨きを判定し、慣性センサベースの磨きセンサ分類が、表１のインデックス命名法を適用して、セクション３、１１、又は１２における磨きを判定する場合を例示する。この先、慣性センサベースの磨きセクタ分類により判定された３つのセクタのうち、セクタ３に最も高い確率値が付与される。８０に示されるように、これは、明らかに正しくない。しかしながら、最終判定結果又は融合結果が、９０に示されるようにセクタ１２の正しい分類になるように、センサ融合８８により、結果８４及び確率８６が組み合わされる。

カメラベースの磨きセクタ分類と慣性センサ磨きセンサ分類とのセンサ融合を可能にするため、多量の訓練データについて計算されたスコア値のヒストグラムを計算した。得られたヒストグラムを図８に示す第６のクラスモデル、すなわち融合後の選択に利用可能な候補部分の組。ヒストグラムに基づいてカーネル密度推定を遂行し、図８に提示した混同行列の条件付き確率分布を計算した。行列のエントリは、次のように読み出すことができる。すなわち、現在の磨きセクタと推定クラスとが同じである場合、行列の対角線上の対応する分布が使用される。現在の磨きセクタと推定クラスとが異なる場合、対応する分布は、対角線上に置けない。図８の第１行は、現在の磨きセクタ「磨きなし」、検出されたクラス（左から右へ）：「なし」、「左上」、「左下」、「右上、「右下」、及び「正面」の分布を示す。

推定結果を、図９で定義する行列形式で提示する。左上、右上、左下、右下、及び正面のクラスについて、真のクラスの率を計算した。慣性センサ（ＩＮＳ）を使用することとカメラ（ＳＨＯＲＥ）を使用することとの別々の分類率を、センサ融合（ＤＺＭ）の結果と共に提示する。比較及び分析のために、加えて、２つの単純なモデル、すなわち上顎と下顎を区別する、又は左側と右側を区別する、の真の分類の率を提示する。モデルの全分類率を図の見出しに表示する。図１０では、ＳＨＯＲＥの６クラスモデルについて、全推定結果を提示する。センサ融合は、個々のシステムの分類速度を改善する。

よって、上記の説明を手短にまとめ、一般化しながら、以下のことに留意する。分析器２６は、カメラに由来する写真提示を第１の評価分析に供するように構成されてもよい。この第１の評価分析は、カメラベースの磨きセクタ分類又はＳＨＯＲＥと呼んでいるが、衛生デバイス１２が歯ブラシではない場合、この命名法は、当然ながら、適合するように適宜変更されるべきである。第１の評価分析は、第１の候補頭部部分の組の各候補頭部部分の第１の確率値をもたらし、各第１の確率値は、現在処置されている頭部部分がそれぞれの第１の確率値が属する第１の組のそれぞれの候補頭部部分である確率を示す。第１の評価分析を図１１に関して再度例示する。図１１は、図１１の上部において、各々ある特定のタイムスタンプｔと関連付けられている１つ以上の写真を含む写真表現９２を示す。カメラによりキャプチャされた各写真か又はあらゆる第２の写真などのその単なる小部分かのいずれかが第１の評価の主題にされ得ることが特筆されるべきである。第１の評価分析、すなわちカメラベースの評価分析は、１組の確率値をもたらすように、各写真を上述のように、かつ図１１に例示されているように個別に処置してもよい。よって、確率値の組の更新速度は、写真の速度と一致するであろう。代替的な手法によれば、写真のシーケンスは、一般に、１組の確率値をもたらすように評価され得る。よって、第１の評価分析に供されるシーケンスは、時間的に重なり合う場合があり、重なり合わない場合がある。重なり合いは、確率値の組の更新速度が写真の速度と一致するように、２つの連続して分析されるシーケンスが互いに対して単に１つの写真分だけオフセットされるようなものであり得る。あるいは、２つの連続して分析されるシーケンスは、いかなる重なり合いもなしに時間的に互いに当接するように、互いに対してオフセットされ得、よって、確率値の組の更新速度は、写真の速度をシーケンス毎の写真の数により除算したものに対応するであろう。

第１の評価分析を実現することの２つの可能性を図１１に描く。左側に例示する可能性は、図４に対応し、各写真（あるいは、各写真シーケンス）が、特徴抽出９４に供され、続いて、得られた特徴が、上述の確率値、すなわちカメラベースの評価分析の候補セクタの組９８の候補セクタ毎の１つの確率値にマッピング９６される。特徴抽出９４は、例えば、写真にある特定の特徴テンプレートを重ね合わせて、それぞれの写真から特徴マップを取得することを含む。この特徴マップは、マッピング９６により確率値上にマッピングされてもよい。マッピング９６は、代表的な特徴マップからの特徴マップの距離を何らかの距離尺度に従って判定することによってなど、ニューラルネットワークにより、又は何らかの他の手段により行われてもよく、各々が、ある特定の候補セクタオフセット９８を表す。あるいは、現在分析されているそれぞれの写真（又は写真のシーケンス）は、ニューラルネットワークに直接供されてもよく、ニューラルネットワーク９８は、組９８の候補セクタ毎のスコア／確率値を直接与える。

図１１は、カメラベースの評価分析を実現するための両選択肢、すなわち特徴抽出及びそれに続くマッピング、又はニューラルネットワークに直接フィードすることが、口領域を探し出し、抽出することから開始されてもよいことをすでに例示している。例えば、図４に関して、すなわち工程５０、５４、及び５８を使用して上記で概説したように、口領域は、絵画的表現９２の写真内で探し出され、かつ写真から抽出されてもよく、口領域は、ユーザの口を含み、ユーザの口を取り囲んでいる。次いで、口領域は、カメラの視界内のユーザの顔の所定の位置に対応するように、写真内のユーザの顔の位置に応じて歪められてもよい。次いで、歪められた口領域に基づいてユーザの現在処置されている頭部部分を判定することが、工程９４及び９６を伴う選択肢を使用して、又はニューラルネットワーク９８を使用してのいずれかで、遂行されてもよい。

上記で提示した説明は、分析器２６が、図１１の第１の評価分析をカメラ１６により取得された写真表現に適用することとは別に、慣性センサ２０の加速度測定データを第２の評価分析に供するように構成されてもよいことを明らかにした。図１２は、加速度測定データを操作する評価分析を再度例示する。図１２の１００に描かれている加速度測定データは、例えば、衛生デバイス固有の局所軸ｘ、ｙ、及びｚ沿いの／それらの周りの衛生デバイス１２の加速度を測定する直線加速度パラメータ及び、任意追加的に回転加速度パラメータの組のシーケンスを表してもよい。例えば、サンプリング速度は、絵画的表現９２の写真速度に等しくてもよく、又は異なってもよい。センサ融合１０２により、分析器２６は、加速度値を、グローバル座標系又は衛生デバイス固有ではない座標系に関するロールΘ及びピッチΦを含む表現に変えてもよい。よって、ある特定のサンプリング速度におけるロールΘ及びピッチΦの値のシーケンスが得られてもよい。融合１０２は、各写真、及びロール／ピッチ情報の関連付けられた部分がタイムスタンプ毎のデータアイテムを形成するように、絵画的表現９２の写真並びにピッチ及びロール対をそれぞれ時間整列させるか、又は少なくとも時間的に関連付けてもよい。

次いで、マッピング１０４は、ロール／ピッチデータ、すなわち加速度測定により取得されたデータを、慣性センサベースの評価分析のために使用される候補部分の組１０６の各候補部分の確率値にマッピングしてもよい。慣性センサベースの評価分析は、上記では、慣性センサベースの磨きセクタ分類又はＩＮＳと表示されている。

マッピング１０４は、単一対のロール及びピッチサンプル値に適用されて、次いで歯ブラシのそれぞれの瞬間位置を記述する各後続のロール／ピッチサンプル対のために繰り返されることができないことに留意されたい。この場合、つまり、第１の評価分析により取得される確率値の各組９８について、確率値の組１０６は、組９８が判定された写真又は写真シーケンスのタイムスタンプの近く又はそのタイムスタンプの時刻のロール及びピッチの１つの瞬間サンプルにより専ら判定される、第２の評価分析により判定されるであろう。あるいは、マッピング１０４は、ロール／ピッチ値の各時間的シーケンスについて遂行されてもよい。シーケンスは、例えば、絵画的表現の写真との同期により、すなわちシーケンスが各々、第１の評価分析が遂行されるそれぞれの写真又は写真シーケンスのタイムスタンプと時間的重なり合うように、時間的に判定される。

重要なことに、瞬間サンプル又はロール／ピッチ値のシーケンス、すなわちその単位でマッピング１０４が遂行され得るロール／ピッチの時間間隔は、絵画的表現の内容にかかわらず、すなわち絵画的表現の内容から独立して、例えば、ユーザがちょうど歯を磨き始めたところであるか否かにかかわらず、時間的に配置される。その上、それに沿って歯ブラシが口腔内で動かされる経路を局所的に「追跡」する必要はないため、連続するロール／ピッチサンプル又は時間間隔に対して適用される連続マッピング１０４は、相互に独立に遂行される。むしろ、ロール／ピッチ値の任意の他のシーケンスから独立した、組１０６のセクションに関連付けられたある特定の特徴的パターンを認識することにより、各瞬間ロール／ピッチサンプルが、確率値の組１０６に個別にマッピングされるか、又はロール／ピッチ値の各時間的シーケンスが、組１０６の確率値にマッピング１０４される。

マッピング１０４は、ニューラルネットワーク、又はクラスタリング技法などの何らかの他の統計的方法を使用してもよく、すなわちマッピング９６のように遂行されてもよい。

図１１に関する説明と同様に、あるいは、加速度測定データ１００は、ニューラルネットワーク１０６に直接、すなわちいかなる融合１０２もなしに、供されてもよい。

図１１及び１２に例示するように、カメラベースの評価分析及び慣性センサベースの評価分析の候補部分９８及び１０６の組は、互いに異なってもよい。つまり、それらの組は、ユーザの頭部、すなわちここでは例示的に歯列の、同じ興味対象部分の異なる区分化を表してもよい。しかしながら、あるいは、それらの組は、同じである。その中から現在処置されている頭部部分が分析器２６により最終的に選択され得る候補部分の最終組の同一場所に位置する候補部分に関する確率値を乗算すること又は別の方法で好適に組み合わせることにより、分析器２６は、両評価分析の結果を融合／組み合わせて、それにより、現在処置されている頭部部分を判定するための個々のソース内の弱点を相互に補うという上記で概説した効果を達成してもよい。

よって、図１１及び１２の第１の評価分析及び第２の評価分析、並びに各時間整列したデータアイテム、すなわち写真及び関連付けられたロール／ピッチ対又はロール／ピッチ対のシーケンスのデータ融合／組み合わせを遂行することにより、分析器２６は、ロギングモジュール３０が、候補頭部部分の最終組の各候補頭部部分、すなわちデータ融合後の適切な組について、どれくらいの時間それぞれの候補頭部部分が現在処置されている頭部部分であると判定されているかの時間的尺度をログできるように、現在処置されている頭部部分の判定を連続して更新する。その上、可視化装置は、それに応じて現在処置されている頭部部分の可視化及び／又は更なる処置を必要とする候補頭部部分の可視化を更新してもよく、又はどれくらいの時間それぞれの候補頭部部分がすでに処置されているかの可視化を更新するために。

分析器のニューラルネットワークなどの分析器２６が、存在する場合、現場で教育されてもよいことに留意されたい。つまり、分析器２６は、消費者の独特の顔の認識を最適化するように、ローカルで消費者のデバイス上で教育され得る。これは、例えば、顔追跡及び位置判定の頑健性を改善し得る。セットアッププロセスでは、ユーザは、それによりシステムが当初出荷前に研究室で訓練された教育プロセスと類似の教育プロセスを通じて案内され得る。ユーザは、自宅で自身の環境において学習サイクルを実行するであろう。システムは、ユーザの顔、ユーザの浴室、ユーザの歯ブラシ、及び更にはユーザの独特の磨き方の特徴を学習する。次いで、分析器は、ローカルで、又はサーバ上で変更され得る。変更は、単にそのユーザだけのためになされてもよく、又は学習データのいくらかａｒ全てを使用して、データベース全体を改善してもよい。データベース全体は、ユーザにより使用されているあらゆる分析器２６が最新の分析器のソフトウェアをそこからロードするサーバ上に置かれ得る。

よって、上記の説明は、混同行列内の定義されたクラスの確率分布を計算するようにビデオ／カメラ出力スコア値を処理することができること、及びこれらの分布をセンサ融合のために使用してもよいことを明らかにした。訓練データを使用して、カメラ及び加速度センサベースの分類を訓練してもよい。分類結果は、慣性センサ及びカメラを使用して取得され、センサ融合に供される。上記で概説した実施形態は、いかなる追加の歯ブラシの開始位置も必要としない。つまり、ユーザは、定義された歯から磨き始めるように促されることはなく、現在処置されている部分の自動判定のためにいかなる初期情報の入力も必要とされない。上述の磨きセクタ分類は、慣性センサベースの側に関する限り、いつでも適用可能であり、慣性航法場合のように衛生デバイスの位置を連続して追跡する必要がない。いかなる積分境界も必要ではない。そうではなくて、セクタ分類を使用すると、訓練された分類子により現在の測定値を評価することにより、慣性データ及びビデオデータのスナップショットデータを使用して各セクタの確率を計算することが可能である。

更に、歯磨きに関していかなる制限もなされない。ユーザは、好みのとおりに、及び慣れ親しんだとおりに、自身の歯を磨くことができる。同じことが、任意の他の衛生デバイスの場合にも当てはまる。これは、可能なスナップショットの分類により達成される。

更に、衛生デバイス内のセンサにより収集された慣性データのみを使用すると、すでに現在処置されている部分の簡潔な分類を、慣性センサ分類により計算することができる。次いで、この分類を、カメラベースの分類とのセンサ融合により改善することができる。同じように、カメラベースの分類のみを使用した簡潔な分類が可能であり、今度は、慣性センサ分類を使用してこの分類を改善する。

磁界センサ（コンパス）及び角速度センサなどの更なるセンサを含めることにより、上述の実施形態が改善され得ることに留意されたい。次いで、電動歯ブラシの配向（角度）の推定を改善することができ、コンパス方位角のような更なる特徴を、加速度データを使用してなされるのと同じ方法で、分類のために使用されるように追加することができる。追加の角速度を使用すると、カルマンフィルタに基づくものなどの姿勢フィルタを使用して、地球の慣性座標系に関して衛生デバイスの三次元姿勢を推定することができる。

いくつかの態様は装置の文脈で説明されているものの、これらの態様はまた、対応する方法の説明を表すことは明らかであり、ブロック又はデバイスは、方法工程又は方法工程の特徴に対応する。同様に、方法工程の文脈で説明した態様はまた、対応する装置の対応するブロック又はアイテム又は特徴の説明を表す。方法工程のうちのいくつか又は全ては、例えば、マイクロプロセッサ、プログラマブルコンピュータ、又は電子回路のようなハードウェア装置により（又はそれを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法工程のうちのいくつか１つ以上は、このような装置により実行されてもよい。

ある特定の実装要件に応じて、本発明の実施形態は、ハードウェアで、又はソフトウェア内に実装され得る。この実装は、電子的可読制御信号が記憶され、それぞれの方法が遂行されるようにプログラマブルコンピュータシステムと協働する（又は協働することができる）デジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はＦＬＡＳＨメモリを使用して遂行され得る。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。

本発明によるいくつかの実施形態は、電子的可読制御信号を有するデータキャリアを備え、データキャリアは、本明細書に記載の方法のうちの１つが遂行されるように、プログラマブルコンピュータシステムと協働することができる。

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータで起動するときに、これらの方法のうちの１つを遂行するように動作可能である。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。

他の実施形態は、機械可読キャリアに記憶された、本明細書に記載の方法のうちの１つを遂行するためのコンピュータプログラムを備える。

言い換えれば、本発明の方法のある実施形態は、したがって、コンピュータプログラムがコンピュータで起動するときに、本明細書に記載の方法のうちの１つを遂行するためのプログラムコードを有するコンピュータプログラムである。

本発明の方法の更なる実施形態は、したがって、本明細書に記載の方法のうちの１つを遂行するためのコンピュータプログラムを備える、それが記録されたデータキャリア（又はデジタル記憶媒体、又はコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、又は記録媒体は、典型的に有形及び／又は非一時的である。

本発明の方法の更なる実施形態は、したがって、本明細書に記載の方法のうちの１つを遂行するためのコンピュータプログラムを表すデータストリーム又は信号のシーケンスである。データストリーム又は信号のシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されてもよい。

更なる実施形態は、本明細書に記載の方法のうちの１つを遂行するように構成又は適合された処理手段、例えばコンピュータ又はプログラマブル論理デバイスを備える。

更なる実施形態は、本明細書に記載の方法のうちの１つを遂行するためのコンピュータプログラムがインストールされたコンピュータを備える。

本発明による更なる実施形態は、本明細書に記載の方法のうちの１つを遂行するためのコンピュータプログラムを受信器に（例えば、電子的又は光学的に）転送するように構成された装置又はシステムを備える。受信器は、例えば、コンピュータ、モバイル機器、メモリデバイスなどであってもよい。装置又はシステムは、例えば、コンピュータプログラムを受信器に転送するためのファイルサーバを備えてもよい。

いくつかの実施形態では、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能のうちのいくつか又は全てを遂行してもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを遂行するために、マイクロプロセッサと協働してもよい。一般に、方法は、いかなるハードウェア装置により遂行されてもよい。

本明細書に記載の装置は、ハードウェア装置を使用して実装されても、コンピュータを使用して実装されても、又はハードウェア装置とコンピュータとの組み合わせを使用して実装されてもよい。

本明細書に記載の方法は、ハードウェア装置を使用して遂行されても、コンピュータを使用して遂行されても、又はハードウェア装置とコンピュータとの組み合わせを使用して遂行されてもよい。

本明細書に開示した寸法及び値は、記載された正確な数値に厳密に限定されるものと理解されるべきではない。むしろ、特に指示がない限り、そのような各寸法は、記載された値及びその値の周辺の機能的に同等の範囲の両方を意味するものとする。例えば、「４０ｍｍ」として開示される寸法は、「約４０ｍｍ」を意味するものとする。

上述の実施形態は、単に本発明の原理の例示である。本明細書に記載の配置及び詳細に対する変更及び変形は当業者に明らかであろうことが理解される。したがって、まもなくの特許請求の範囲によってのみ限定され、かつ本明細書に記載の実施形態の記載及び説明により提示された具体的な詳細によっては限定されないことが意図である。

参考文献
［１］Ｊ．Ｓａｒａｇｉｈ，Ｓ．Ｌｕｃｅｙ ａｎｄ Ｊ．Ｃｏｈｎ，「Ｄｅｆｏｒｍａｂｌｅ Ｍｏｄｅｌ Ｆｉｔｔｉｎｇ ｂｙ Ｒｅｇｕｌａｒｉｚｅｄ Ｌａｎｄｍａｒｋ Ｍｅａｎ−Ｓｈｉｆｔｓ」，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＪＣＶ），２０１０
［２］ＤｅＭｅｎｔｈｏｎ，Ｄ．＆ Ｄａｖｉｓ，Ｌ．Ｓａｎｄｉｎｉ，Ｇ．（Ｅｄ．）「Ｍｏｄｅｌ−ｂａｓｅｄ ｏｂｊｅｃｔ ｐｏｓｅ ｉｎ ２５ ｌｉｎｅｓ ｏｆ ｃｏｄｅ」，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ＥＣＣＶ’９２，Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ，１９９２，ｐｐ．３３５〜３４３
［３］Ｃｈｒｉｓｔｉａｎ Ｋｕｅｂｌｂｅｃｋ ａｎｄ Ａｎｄｒｅａｓ Ｅｒｎｓｔ：「Ｆａｃｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｉｎ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅｓ ｕｓｉｎｇ ｔｈｅ ｍｏｄｉｆｉｅｄ ｃｅｎｓｕｓ ｔｒａｎｓｆｏｒｍａｔｉｏｎ」，Ｊｏｕｒｎａｌ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，ｖｏｌ．２４，ｉｓｓｕｅ ６，ｐｐ．５６４〜５７２，２００６，ＩＳＳＮ ０２６２−８８５６
［４］Ｃｈｒｉｓｔｉａｎ Ｋｕｅｂｌｂｅｃｋ ａｎｄ Ａｎｄｒｅａｓ Ｅｒｎｓｔ：「Ｆａｓｔ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｐｅｃｉｅｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ａｆｒｉｃａｎ ｇｒｅａｔ ａｐｅｓ」，ＡＶＳＳ ２０１１，ＩＥＥＥ ８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ ａｎｄ Ｓｉｇｎａｌ−ｂａｓｅｄ Ｓｕｒｖｅｉｌｌａｎｃｅ，Ｋｌａｇｅｎｆｕｒｔ，２０１１．
［５］米国特許第６，５１９，５７９号；Ｒｅｌｉａｂｌｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｐｒｅｓｅｌｅｃｔｉｏｎ ａｎｄ ｒｅｊｅｃｔｉｏｎ ｃｌａｓｓ，Ｐ．Ｐｌａｎｋｅｎｓｔｅｉｎｅｒ ａｎｄ Ｕ．Ｄｉｅｃｋｍａｎｎ
［６］米国特許第８３２０６８２（Ｂ２）号；Ｅｖａｌｕａｔｉｏｎ ｏｆ ｅｄｇｅ ｄｉｒｅｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ，Ｂｅｒｎｈａｒｄ Ｆｒｏｅｂａ ａｎｄ Ｃｈｒｉｓｔｉａｎ Ｋｕｅｂｌｂｅｃｋ
［７］欧州特許第１５９３００１（Ｂ１）号；Ａｄｊｕｓｔｍｅｎｔ ｏｆ ａｎ ｉｍａｇｅ ｒｅｃｏｒｄｅｒ ｗｉｔｈ ｄｙｎａｍｉｃ ｍｅａｓｕｒｉｎｇ ｆｉｅｌｄｓ，Ｃｈｒｉｓｔｉａｎ Ｋｕｅｂｌｂｅｃｋ ａｎｄ Ｂｅｒｎｈａｒｄ Ｆｒｏｅｂａ
［８］欧州特許第２４０６６９７（Ａ１）号；Ｖｅｒｆａｈｒｅｎ ｕｎｄ Ｓｙｓｔｅｍ ｚｕｍ Ｅｒｋｅｎｎｅｎ ｅｉｎｅｓ Ｏｂｊｅｋｔｅｓ，ｕｎｄ Ｖｅｒｆａｈｒｅｎ ｕｎｄ Ｓｙｓｔｅｍ ｚｕｍ Ｅｒｚｅｕｇｅｎ ｅｉｎｅｒ Ｍａｒｋｉｅｒｕｎｇ ｉｎ ｅｉｎｅｒ Ｂｉｌｄｓｃｈｉｒｍｄａｒｓｔｅｌｌｕｎｇ ｍｉｔｔｅｌｓ ｅｉｎｅｓ ｂｅｒｕｈｒｕｎｇｓｌｏｓ Ｇｅｓｔｉｋ−ｇｅｓｔｅｕｅｒｔｅｎ Ｂｉｌｄｓｃｈｉｒｍｚｅｉｇｅｒｓ，Ｔｈｏｍａｓ Ｗｉｔｔｅｎｂｅｒｇ ａｎｄ Ｃｈｒｉｓｔｉａｎ ＭＵＮＺＥＮＭＡＹＥＲ ａｎｄ Ｃｈｒｉｓｔｉａｎ ＫＵＢＬＢＥＣＫ ａｎｄ Ａｎｄｒｅａｓ Ｅｒｎｓｔ
［９］独国特許第１０２００９０４８１１７（Ａ１）号；Ｖｅｒｆａｈｒｅｎ ｕｎｄ Ｖｏｒｒｉｃｈｔｕｎｇ ｚｕｍ Ｅｒｋｅｎｎｅｎ ｅｉｎｅｒ Ｆｅｈｌｄｅｔｅｋｔｉｏｎ ｅｉｎｅｓ Ｏｂｊｅｋｔｓ ｉｎ ｅｉｎｅｍ Ｂｉｌｄ，Ａｎｄｒｅａｓ Ｅｒｎｓｔ ａｎｄ Ｃｈｒｉｓｔｉａｎ ＫＵＢＬＢＥＣＫ ａｎｄ Ｔｏｂｉａｓ Ｒｕｆ
［１０］独国特許第１０２００９０４８１１８（Ａ１）号；Ｖｅｒｆａｈｒｅｎ ｕｎｄ Ｖｏｒｒｉｃｈｔｕｎｇ ｚｕｍ Ｖｅｒｗａｌｔｅｎ ｖｏｎ Ｏｂｊｅｋｔａｎｓｉｃｈｔｓｄａｔｅｎ ｉｎ ｅｉｎｅｒ Ｏｂｊｅｋｔｄａｔｅｎｂａｎｋ，Ａｎｄｒｅａｓ Ｅｒｎｓｔ ａｎｄ Ｃｈｒｉｓｔｉａｎ ＫＵＢＬＢＥＣＫ ａｎｄ Ｔｏｂｉａｓ Ｒｕｆ
［１１］欧州特許出願公開第１３１７８５２９．７号；出願係属中 ２０１３／０７／３０，ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｒｅｓｏｕｒｃｅ−ａｄａｐｔｉｖｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ，Ａｎｔｏｎ Ｐａｐｓｔ ａｎｄ Ａｎｄｒｅａｓ Ｅｒｎｓｔ ａｎｄ Ｔｏｂｉａｓ Ｒｕｆ ａｎｄ Ｊｅｎｓ Ｇａｒｂａｓ
［１２］Ｂｏｃｋｓｃｈ，Ｍａｒｃｕｓ；Ｓｅｉｔｚ，Ｊｏｃｈｅｎ；Ｊａｈｎ，Ｊａｓｐｅｒ：Ｐｅｄｅｓｔｒｉａｎ Ａｃｔｉｖｉｔｙ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔｏ Ｉｍｐｒｏｖｅ Ｈｕｍａｎ Ｔｒａｃｋｉｎｇ ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｄｏｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ ａｎｄ Ｉｎｄｏｏｒ Ｎａｖｉｇａｔｉｏｎ（ＩＰＩＮ），Ｍｏｎｔｂｅｌｉａｒｄ，Ｆｒａｎｃｅ，２０１３，Ｓ．６６７〜６７１
［１３］米国特許第８，７４４，１９２（Ｂ２）号

Claims (15)

1. 個人衛生デバイス（１２）を使用してユーザにより処置される前記ユーザの身体部分を判定するための装置であって、
   前記個人衛生デバイス（１２）を使用して前記身体部分を処置している間に、前記ユーザをキャプチャして、前記ユーザの絵画的表現を取得するように構成されたカメラ（１６）と、
   前記個人衛生デバイス（１２）内に存在する少なくとも１つの慣性センサ（２０）からセンサデータを受信するように構成されたインターフェース（１８）と、
   前記絵画的表現及び前記センサデータを分析して、前記身体部分を判定するように構成された分析器（２６）と、を備える、装置。
2. 前記分析器（２６）が、所定の候補身体部分の組から前記身体部分を選択することにより前記判定を遂行するように構成されている、請求項１に記載の装置。
3. 前記候補身体部分の組が、
   前記ユーザの左側に位置する第１の候補頭部部分と、
   前記ユーザの左側に位置するが、前記ユーザの縦軸に沿って前記第１の候補頭部部分に対して変位された第２の候補頭部部分と、
   前記ユーザの右側に位置する第３の候補頭部部分と、
   前記ユーザの右側に位置するが、前記ユーザの縦軸に沿って前記第３の候補頭部部分に対して変位された第４の候補頭部部分と、を少なくとも含む、請求項２に記載の装置。
4. 前記個人衛生デバイス（１２）が、歯ブラシであり、前記候補身体部分の組が、
   前記ユーザの歯列の上顎左側部分と、
   前記ユーザの歯列の下顎左側部分と、
   前記ユーザの歯列の上顎右側部分と、
   前記ユーザの歯列の下顎右側部分と、を少なくとも含む、請求項２に記載の装置。
5. 前記絵画的表現が、１つ以上の写真を含み、前記分析器が、前記センサデータの時間整列した部分を前記１つ以上の写真の各々に関連付けて、時間整列した絵画的／加速度混合データを取得し、かつ前記時間整列した絵画的／加速度混合データに基づいて前記身体部分を判定するように構成されている、請求項１〜４のいずれか一項に記載の装置。
6. 前記分析器（２６）が、
   前記絵画的表現を第１の評価分析に供して、第１の候補身体部分の組の各々についての、前記身体部分が前記第１の候補身体部分の組のそれぞれの候補身体部分である確率を示す、第１の確率値を取得し、
   前記センサデータを第２の評価分析に供して、第２の候補身体部分の組の各々の候補身体部分についての、前記身体部分が前記第２の候補身体部分の組のそれぞれの候補身体部分である確率を示す、第２の確率値を取得し、かつ
   前記第１の確率値及び前記第２の確率値に基づいて第３の候補身体部分の組から前記身体部分を選択するように構成されており、
   前記第１の候補身体部分の組、前記第２の候補身体部分の組、及び前記第３の候補身体部分の組が、人間頭部の一部分の同一の区分化又は異なる区分化を表す、請求項１〜５のいずれか一項に記載の装置。
7. 前記身体部分が、頭部部分であり、前記分析器（２６）が、
   前記ユーザの口を含み、前記ユーザの口を取り囲む口領域を、前記絵画的表現の写真から探し出し、前記写真から抽出し、前記ユーザの顔の所定の位置に対応するように前記写真内の前記ユーザの顔の位置に応じて前記口領域を歪め（５８）、かつ
   前記歪められた口領域に基づいて前記身体部分を判定する（９４、９６、９８）ように構成されている、請求項１〜６のいずれか一項に記載の装置。
8. 前記分析器（２６）が、前記センサデータに基づいて前記個人衛生デバイスのロール及びピッチを計算し、かつ前記ロール及び前記ピッチに基づいて前記身体部分を判定するように構成されている、請求項１〜７のいずれか一項に記載の装置。
9. 前記絵画的表現が、所定のタイムスタンプと各々関連付けられた写真のシーケンスを含み、前記分析器が、前記センサデータの時間整列した部分を前記写真のシーケンスの各々に関連付けて、タイムスタンプ毎に時間整列した絵画的／加速度混合データアイテムを有する時間整列した絵画的／加速度混合データアイテムのシーケンスを取得し、かつ各時間整列した絵画的／加速度混合データアイテムについての前記身体部分の判定を更新するように構成されている、請求項１〜８のいずれか一項に記載の装置。
10. 前記分析器（２６）が、前記カメラの視界内の前記ユーザの位置を連続して調べ、かつ前記カメラの前記視界又は前記カメラの対象となる所定の領域を離れるリスクを冒した場合に前記ユーザに警告するように構成されている、請求項１〜９のいずれか一項に記載の装置。
11. 現在処置されている前記身体部分を前記ユーザに対して可視化するように構成された可視化装置（２８）を更に備える、請求項１〜１０のいずれか一項に記載の装置。
12. 候補身体部分の組の各候補身体部分について、どれくらいの時間それぞれの候補身体部分が前記分析器により前記身体部分であると判定されているかの時間的尺度をログするように構成されたログモジュール（３０）と、
    各候補身体部分について、前記時間的尺度、又は前記時間的尺度に基づいて判定されたそれぞれの候補身体部分に対する残りの処置要求の尺度を、前記ユーザに対して可視化するように構成された可視化装置（２８）と、を更に備える、請求項１〜１１のいずれか一項に記載の装置。
13. 請求項１〜１２のいずれか一項に記載の装置（１０）と、
    前記個人衛生デバイス（１２）と、を備える、システム。
14. 個人衛生デバイスを使用してユーザにより処置される前記ユーザの身体部分を判定するための方法であって、
    前記個人衛生デバイスを使用して前記身体部分を処置している間に、前記ユーザをキャプチャして、前記ユーザの絵画的表現を取得する工程と、
    前記個人衛生デバイス内に存在する少なくとも１つの慣性センサからセンサデータを受信する工程と、
    前記絵画的表現及び前記センサデータを分析して、前記身体部分を判定する工程と、を含む、方法。
15. コンピュータで起動するときに、請求項１４に記載の前記方法を遂行するためのコンピュータプログラム。

Images