JP2017532076A - 適切な口腔衛生処置の検査システム - Google Patents

適切な口腔衛生処置の検査システム Download PDF

Info

Publication number
JP2017532076A
JP2017532076A JP2017506820A JP2017506820A JP2017532076A JP 2017532076 A JP2017532076 A JP 2017532076A JP 2017506820 A JP2017506820 A JP 2017506820A JP 2017506820 A JP2017506820 A JP 2017506820A JP 2017532076 A JP2017532076 A JP 2017532076A
Authority
JP
Japan
Prior art keywords
toothbrush
face
marker
user
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017506820A
Other languages
English (en)
Inventor
サラボー，デーヴィッド
マルコン，マルコ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2017532076A publication Critical patent/JP2017532076A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0006—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with a controlling brush technique device, e.g. stroke movement measuring device
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0008—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with means for controlling duration, e.g. time of brushing
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0085—Brushes provided with an identification, marking device or design
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0076—Body hygiene; Dressing; Knot tying
    • G09B19/0084—Dental hygiene
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/1066—Toothbrush for cleaning the teeth or dentures

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Medical Informatics (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Bioethics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Brushes (AREA)

Abstract

【構成】本発明の適切な口腔衛生処置をチェックするシステムは、マーカーを有する歯ブラシで歯磨きを行っている使用者の顔の画像を取得するビデオカメラ；これら画像を解析し、かつ使用者の顔の特徴点を見つけ出す処理手段；前記画像を解析し、前記歯ブラシを見つけ出す処理手段；これら特徴点の動きに追従する処理手段；前記歯ブラシの動きに追従する処理手段；前記顔と前記歯ブラシとの間の動作を計算する処理手段；および前記顔と前記歯ブラシとの前記相対動作が所定の相対動作に対応しているかどうかをチェックする処理手段；を有し、前記マーカーを複数のエリアに分割し、そして所定数の色から選択される色で前記複数のエリアそれぞれを着色して、相互に接近する前記エリア間の色コントラストを最大化することを特徴とする。【選択図】図２

Description

本発明は、適切な口腔衛生処置の検査システム、関連する方法、および関連するコンピュータプログラムに関する。
現在、子供たちにとって日々行う歯磨きは魅力に乏しく、教育者にとって適正な口腔衛生を子供たちに教えることは難しい仕事である。子供たちが好む漫画の主人公を描いた特別な歯ブラシや、魅力的な色や匂いを加えた練歯磨きを使用しても、子供たちに繰り返し歯磨きを行うよう正しく教え込むことはほとんどうまくいかない。ましてや、適切な方法で適切な時間に歯磨きを行うことについてはいうまでもない。歯磨きについては、大人も同様であり、忙しさや、その他の偶発事が理由である。
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ誌に発表されたＶｉｏｌａ Ｐ．およびＪｏｎｅｓ Ｍ．Ｊ．の"Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ"、Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ、ｐｐ．１３７−ｆ４、２００４ Ｃｏｏｔｅｓ Ｔ．Ｆ．、Ｅｄｗａｒｄｓ Ｇ．Ｊ．、Ｔａｙｌｏｒ Ｃ．Ｊ．の論文"Ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌｓ"、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｆ Ｐａｔｔｅｒｎ Ａｌａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ（２００１） Ｂ．Ｄ．Ｌｕｃａｓ ａｎｄ Ｔ．Ｋａｎａｄｅ（１９８１）、"Ａｎ ｉｔｅｒａｔｉｖｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｓｔｅｒｅｏ ｖｉｓｉｏｎ"、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｍａｇｉｎｇ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ、ｐｐ．１２１−１３０ Ｘｉａｎｇ Ｙｕ；Ｊｕｎｚｈｏｕ Ｈｕａｎｇ；Ｓｈａｏｔｉｎｇ Ｚｈａｎｇ；Ｗａｎｇ Ｙａｎ;Ｍｅｔａｘａｓ、Ｄ．Ｎ．の論文"Ｐａｓｅ−Ｆｒｅｅ Ｆａｃｉａｌ Ｌａｎｄ- ｍａｒｋ Ｆｉｔｔｉｎｇ ｖｉａ Ｏｐｔｉｍｉｚｅｄ Ｐａｒｔ Ｍｉｘｔｕｒｅｓａｎｄ Ｃａｓｃａｄｅｄ Ｄｅｆｏｒｍａｂｌｅ Ｓｈａｐｅ Ｍｏｄｅ"、Ｃｏｍ-ｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ）、２０１３ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏ- ｎａｌ Ｃｏｎｆｅｒｅｎｃｅ、ｐｐ.１９４４、１９５１、１−８ Ｄｅｃｅｍｂｅｒ Ｂ．ＨｏｒｎおよびＢ．Ｓｃｈｕｎｃｋの論文"Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ"、Ａｒｔｉｆｉｃａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、１６、１８５−２０３、１９８１
本発明の目的は、適切な口腔衛生処置をチェックするシステムを提供することである。
本発明のもう一つの目的は、インタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）なシステムを提供することである。
本発明のさらに別な目的は、魅力的であると同時に楽しいシステムを提供することである。
本発明によれば、上記目的などは、マーカーを有する歯ブラシで歯磨きを行っている使用者の顔の画像を取得するビデオカメラ；これら画像を解析し、かつ上記使用者の顔の特徴点を見つけ出す処理手段；これら画像を解析し、上記歯ブラシを見つけ出す処理手段；これら特徴点の動きに追従する処理手段；上記歯ブラシの動きに追従する処理手段；上記使用者の顔と上記歯ブラシとの間の相対動作を計算する処理手段；および上記使用者の顔と上記歯ブラシとの上記相対動作が所定の相対動作に対応しているかどうかをチェックする処理手段；を有し、上記マーカーを複数のエリアに分割し；そして所定数の色から選択される色で上記複数のエリアそれぞれを着色して、相互に接近する上記エリア間の色コントラストを最大化する適切な口腔衛生処置をチェックするシステムによって実現できる。
また、上記目的などは、マーカーを有する歯ブラシで歯磨きを行っている使用者の顔をビデオカメラで撮像するステップ；上記使用者の顔の特徴点を見つけ出すステップ；この歯ブラシを見つけ出すステップ；上記特徴点の動きに追従するステップ；上記歯ブラシの動きに追従するステップ；上記使用者の顔と上記歯ブラシとの相対動作を計算するステップ；上記使用者の顔と上記歯ブラシの上記相対動作が所定の相対動作に対応しているかどうかをチェックするステップ；上記歯ブラシが有するマーカーを複数のエリアに分割するステップ；およびこのマーカーの各エリアを着色して、異なるエリアの色コントラストを最大化するステップを有する適切な口腔衛生処置をチェックする方法によって実現できる。
また、上記目的は、請求項１に記載の方法を実行するコンピュータプログラムによって実現できる。
本発明の別な特徴については、従属請求項に記載する。
本発明の課題の解決策は、従来の解決策に対して各種の作用効果を有する。
即ち、本発明のシステムは教育者にとって、場合によっては漫画の主人公を使用するインタラクティブな方法で、日々行う歯磨きの楽しみを子供たちに諭すと同時に、その重要性を教え込む補助ツールになる。本発明システムは、従って、大人にとっても、口腔衛生に資する歯磨き方法および歯磨き時間が適切であるかどうかをチェックする補助的なツールになる。
本発明システムの場合、携帯装置によって認識でき、かつ見出すことができる適切なマーカーを有する手動式歯ブラシを使用して、使用者の顔の位置に対する歯ブラシの動きを解析し、口腔衛生に資する適切な使用方法および使用時間を評価することができる。
サイズの小さいタブレットコンピュータ、ノート型パソコンやスマートフォンなどの携帯式コンピュータが広く普及しているため、これらを歯磨きに必要な時間これらを浴室などに手軽に持ち込むことができる。特に、本発明のシステムの場合、これら装置を利用して、使用者、歯ブラシおよび適切な口腔衛生に関する適切な使用および教育についての解析を行うアプリ間のインターアクションを完璧化できるが、同様なデータ取得および処理能力をもつ他の装置も利用可能である。
本発明システムの場合、目標（ターゲット）に適切に追従することによって、所定空間に歯ブラシを適切に位置決めでき、解析すべき使用者の口腔に対する動作を可能にする。
従って、スマートフォンやタブレットの簡単なビデオカメラを使用して、適切な口腔衛生処置の正確な解析を行うことができ、また使用者が間違いを犯した場合にはこれを正すことが可能になる。
より若い使用者に対してアプリをより魅力的なものにするために、歯ブラシの３Ｄ位置および使用者の顔の向きが既知であるため、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，拡張現実）法を使用して、使用者の顔を漫画の主人公に置き換えることが可能になる。
本発明の上記以外の特徴および作用効果については、添付図面に示す非限定的な実施例によって説明する好適な実施態様に関する以下の記載から明らかになるはずである。
本発明に従ってマーカーを取り付けた歯ブラシを示す図である。 本発明に従ってタブレットコンピュータの前にある歯ブラシで歯を磨いている少年を示す概略図である。 本発明のマーカーの上半球図である。 本発明のマーカーの下半球図である。 本発明のマーカーを示す側面図である。
特別なマーカー１０については、歯ブラシ１１（マーカーは歯ブラシに予め取り付けることができる）の端部（スロットによって、あるいは接着剤によって）に固定する。このマーカーの目的は、コンピュータ、好ましくはタブレットコンピュータなどの処理装置１２がそのサイズおよび利便性を通じてタブレットコンピュータ１２の上部に位置するビデオカメラ１３によって歯ブラシ１１の空間位置（向きおよび３Ｄ位置）を見出し、（空間内の）動きの方向を解析することである。
また、タブレットコンピュータ１２の正面に位置するビデオカメラ１３によって、口腔衛生処置を行っている使用者１８の顔１４を取得し、画像１６をタブレットコンピュータ１２に表示することも可能である。
マーカー１０の歯ブラシへの取り付け位置は、歯ブラシヘッド１５の対向端部である。
本発明システムの場合、ビデオカメラ１３の画面情報である一つかそれ以上の顔を見つけ、最も近似した顔を選び取ることができる。
この操作は、従来の画像形成用デジタル式処理法、例えばＩｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ誌に発表されたＶｉｏｌａ Ｐ．およびＪｏｎｅｓ Ｍ．Ｊ．の“Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ”、Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ、ｐｐ１３７−ｆ４、２００４によって実施することができる。
ごく短く要約すると、顔があると想定される場所の画像を異なるスケールのハール変換（Ｈａａｒ ｔｒａｎｓｆｏｒｍ）から誘導される一連の二次元フィルターによってフィルター処理する。これらフィルターそれぞれはシステムのトレーニング段階で顔のすぐれた識別子として認識されているものである。特に、異なるフィルターは、例えばオクルージョン（ｏｃｃｌｕｓｉｏｎｓ）や影などの顔の位置決定のさいの各問題に対して強い。
適切な個数のフィルターが画像に適用されたさいにポジティブな結果を与える場合、これらフィルターによって処理されたエリアは、画像の寸法および拡張子が既知の顔として識別できる。
画像中にいくつかの顔が存在することもあり、本発明の場合、寸法が十分明瞭で、歯ブラシのマーカーを正確に追跡できる顔のみが有用であると考える。アルゴリズム（ａｌｇｏｒｉｔｈｍ）のオープンソース（ｏｐｅｎ ｓｏｕｒｃｅ）な処理については、http://opencv.org.でアクセスできるＯｐｅｎＣＶなどの好適なライブラリーで実施できる。
顔１４の位置が決定された後は、眼、鼻や口などの一連の特徴部分１７について識別し、画面情報の使用者１８の口に対する歯ブラシ１１の空間位置を識別する。
本システムの場合、歯ブラシ１１が存在し、手によってこれを保持するため、顔１４が部分的にオクルージョン（ｏｃｃｌｕｓｉｏｎ）することがあるが、これに対処することができる。
本発明では、顔１４の特徴部分１７の位置を決定するために、従来の方法を使用する。例えば、Ｃｏｏｔｅｓ Ｔ．Ｆ．、Ｅｄｗａｒｄｓ Ｇ．Ｊ．、Ｔａｙｌｏｒ Ｃ．Ｊ．の論文“Ａｃｔｉｖｅ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌｓ”、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｆ Ｐａｔｔｅｒｎ Ａｌａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ（２００１）などが参考になる。
この場合、画像中の顔（複数の場合もある）の位置が既知であるとする。ＡｃｔｉｖｅＡｐｐｅａｒａｎｃｅ Ｍｏｄｅｌアルゴリズムをそれぞれの顔に適用する。顔を含んでいることが確認されているエリア内部には、顔の所定のモデルを設定する。特に、所定モデルの各点を、エッジが現実の画像と交差するまで、このモデルに対して法線方向に移動する。次のステップでは、モデルの歪みパラメーター（使用者の顔を描いたマスクの自由度）を決定する必要がある。これらパラメーターがモデルポイントの新しいに位置になり、モデルの新しい構成を再評価することができる。次に、収束するまで、以上の２つのステップを順次反復する。このアルゴリズムの場合、上記のＯｐｅｎＣＶライブラリーにおいてオープンソースで利用することも可能である。
また本発明システムでは、必要に応じて、マーカーから歯ブラシを認識することができ、またこれを使用者に対応付けすることができ、対象となるシステムの使用者すべてが設定された時間に、そして設定された方法で歯磨きをおこなっているかをチェックすることができる。
使用者の口および使用者の顔を向きが決定された後は、また適用されたターゲットによる歯ブラシの位置が決定された後は、フレーム（画面情報）順に歯ブラシの空間的動きを一時的に分析し、歯ブラシの動きが適切であるかどうかをチェックする。
特に、この結果として、マーカーの回転並進（ｒｏｔｏ−ｔｒａｎｓｌａｔｉｏｎ）を知ることができ、また歯ブラシヘッド１５の空間的位置を知ることもできる。口の位置が上記Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ法によって判ると、使用者が歯の左側を磨いているかどうか、あるいは右側を磨いているかどうかを容易に識別することができる。さらに、一つかそれ以上の極（図３の半球の場合は北極、中心点、あるいは図４の半球の南極、中心点）の位置を判別でき、従ってマーカーの回転を知ることができる場合には、マーカーの極軸を定めることができ、従って歯ブラシのヘッド１５が口の横断面（上歯列弓（ｕｐｐｅｒ ｄｅｎｔａｌ ａｒｃ）を下歯列弓から分離する面）に対して直交しているかどうか、従って歯のオクルーザルテーブル（ｏｃｃｌｕｓａｌ ｔａｂｌｅ）に位置しているかどうかを決定することができ、あるいは歯ブラシヘッドが上記面にあり、従って歯の側面に位置しているかどうかを決定することができる。
歯ブラシヘッドの動きは、歯ブラシ端部のマーカーに適用されるオプティカルフロー解析アルゴリズムによって解析でき、特に、文献Ｂ．Ｄ．Ｌｕｃａｓ ａｎｄ Ｔ．Ｋａｎａｄｅ（１９８１）、“Ａｎ ｉｔｅｒａｔｉｖｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｓｔｅｒｅｏ ｖｉｓｉｏｎ”、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｍａｇｉｎｇ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ、ｐｐ．１２１−１３０に発表されているＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを選択した。
上記の微分法では、異なるフレーム間のマーカーの強度および色成分は一定と想定し、かつ２つの連続するフレーム間の動きは小さい（数個の画素）と想定する。すると、対象とする点およびこの点の周囲のエリアに関して、２つのフレーム間の異なる色成分の強度は、均一運動の映画的法則（ａ ｃｉｎｅｍａｔｉｃ ｌａｗ ｏｆ ｕｎｉｆｏｒｍ ｍｏｔｉｏｎ）に従うことになる。ここでＩが３つの色成分のうちの一つを、ΔｘおよびΔｙが画素内の動きを、そしてｎが現在のフレームを表すとする。以下の式が成立する。
Figure 2017532076
これから、以下の式が成立する。
Figure 2017532076
従って、２つの画像間の点の速度ベクトルは、以下の式を満足する必要がある。
Figure 2017532076
なお、ＩｘおよびＩｙはそれぞれ方向ｘおよびｙにおける導関数であり、ＶｘおよびＶｙは水平方向および垂直方向における速度成分を示す。
この画素周囲の画素にこの演算を拡張すると、ノイズがなくなり、またマーカーの動きの方向の評価が改善する。
マーカーの動きの解析によって評価された口の位置、歯ブラシヘッドの位置およびその動きの方向が判ると、以下の状態を評価することが可能になる。
歯ブラシヘッドが横断面に直交する平面にある場合、即ち臼歯および前臼歯のオクルーザルテーブル上に位置し、横断面で並進する場合、この動きは適切な動きである。
歯ブラシヘッドが歯列弓の横表面に位置し、回転し、垂直に並進する場合、この動きは適切な動きである。
歯ブラシヘッドが歯列弓の横表面に位置し、横断面上で回転、並進する場合、この動きは不適切な動きである。
また、歯ブラシの空間位置を解析するため、両歯列弓が歯磨き作用を受けているかどうかを、そして歯磨き時間の全量が適切な口腔衛生に必要な時間に対応しているかどうかを解析することが可能である。
本発明システムの最後のステップは、子供に対する口腔衛生処置の楽しみを増すことを目的とし、ＡＲ技術によって、パペットの一種である“アバター（ａｖａｔａｒ）”の映像をタブレットコンピュータ１２に表示するステップである。このパペットの映像は同じ空間位置にある表示されている顔の画像に重ねられ、同じジェスチャーを正確に反復する。また歯ブラシの空間位置は前のステップによって既に判っているため、歯ブラシ自体の画像は、これを子供が選択した別なオブジェクトとして、あるいはアバターに対応付けてアニメ化することによって、あるいは描くことによってＡＲ技術で描くことが可能になる。
歯磨き処置時のパペットの顔の表現およびこれが発語する言葉もまた、使用者が、歯磨き動作が正しいか、歯磨き時間が適切であるか、そして補正が必要であるかどうかを理解するのに役立つ。
使用者は、ある種の“マジックミラー”をのぞき込んでいる感覚、即ち使用者自身の顔がパペットの顔に移り込んでいる感覚を得ることになり、また歯ブラシについては、別な、ひょっとしたらアニメ化されオブジェクトに変換している感覚、即ちこれらすべてが顔および歯ブラシの動きをリアルタイムで忠実に反映している感覚を得ることになる。これら態様は使用者の注意を促し、歯磨きをインタラクティブで楽しい経験に変えることを目的としている。
マーカー１０は球形であり、ヘッド１５と対向する歯ブラシ１１の端部に取り付ける。このマーカーの場合、異なる幾何学的形状でもよいが、原理的には、ビデオカメラ画面情報によって、歯磨き時、歯ブラシのすべての空間的構成において正確に位置および空間的回転を評価できるものでなければならない。従って、立方体、円錐体でもよく、あるいは別な形状でもよい。円形を選んだ理由は、回転に関係なく、常にビデオカメラが取得した画像中に円として現れ、位置決めが簡単で、システムを子供が使用する場合には適当ではないエッジをもたないからである。
空間的位置を決定し、その動きの位置および回転に追従するために、ビデオカメラ１３の光学的中心に位置する座標軸系について説明する。
マーカー１０の場合、１６の部分または楔状部２０に分割しておくことが好ましい。このように選択すると、口腔衛生処置時、ビデオカメラによって得られる平均画面情報の各部（楔状部）の画素数をバランスよくすることができ、また角度評価または回転評価の精度が高くなる。
マーカーについては、１Ｄバーコードや２Ｄバーコードなどの他の分割方法を採用することができ、歯ブラシの３Ｄ回転並進を決定できるが、この選択は小さい寸法の画面情報マーカーの場合でも信頼性を付与できる（換言すると、マーカーがビデオカメラから離れているため、これを数百の画素数で表現することができる）。
具体的な例では、マーカーは８本の経線２０に分割しておくことができ、これらを赤道２１によって半分に分けて、上半球２２および下半球２３を形成する。経線２０間のエリアについては、異なる色で均一に着色する。
二色マーカー（例えば白黒エリアをもつ二色マーカー）を使用しているが、携帯装置に使用されているほとんどのビデオカメラはカラーであるため、平均的な背景から十分に区別でき、また相互に区別できる一組の色を利用すると、マーカーに記憶される情報の密度を二色マーカーよりも高くでき、従ってビデオカメラによる検出がより簡単なより大きな寸法の均一なエリアを採用できることになる。
マーカー１０が設定され、その回転並進は取得された画像の色成分を解析することによって評価できる。具体例では、完全飽和色のみを使用して、マーカーを着色する。その色調は、通常タブレットコンピュータ１２が装備している他の取得センサー（ＣＭＯＳ、ＣＣＤ）でできる限り見分けることができるものでなければならない。
タブレットコンピュータは、Ｂａｙｅｒマトリックスと呼ばれている色フィルターのマトリックスを介して色を感知する。ここで、１はＢａｙｅｒ色フィルターの下流側にあるセンサーのセルによって検出される最大強度値を示し、そして０は最小強度を示す。
従って、隣接画素のＲＧＢ（Ｒｅｄ, Ｇｒｅｅｎ ａｎｄ Ｂｌｕｅ）成分が画素毎に測定、あるいは評価できる。
マーカーを構成するさいに使用する色については、従って、各経線２０の色コントラストが最大化し、かつ球形マーカーをその周囲から区別する能力が最大化するように選択する。
さらに、従来の白黒マーカー（例えばバーコードやＱＲコード（登録商標）など）ではなく、色成分を使用すると、より多量の情報をコード化することができる（白黒の二値と比較して最大６の色バリアントをコード化できる）。
具体例では、完全飽和した、以下の色調をもつ色を使用する。即ち、Ｂｌｕｅ３５、Ｒｅｄ３６、Ｙｅｌｌｏｗ３７、Ｇｒｅｅｎ３８、Ｃｙａｎ３９、Ｍａｇｅｎｔａ４０である。
現実のシステムでは、マーカー色の識別性を小さく抑える一連の要素を使用することは無論であるが、各色成分の認識性を改善するために、ＲＧＢの色空間をＨＳＶ（色調、彩度、値）空間に変換することを選択した。
ＲＧＢ色空間をＨＳＶ空間に変換する変換基準について以下説明する。色調は０°〜３６０°のスケールで表し、通常０°の赤から出発し、１２０°の緑および２４０°の青を経由して、３６０°の赤に戻る。
色調値は以下のように決定する。
Ｍ＝ｍａｘ（Ｒ、Ｇ、Ｂ）
ｍ＝ｍｉｎ（Ｒ、Ｇ、Ｂ）
Ｃ＝Ｍ−ｍ
Ｈ´＝不定（ただしＣ＝０）
Ｈ´＝（（Ｇ−Ｂ）/Ｃ）ｍｏｄ６（但しＭ＝Ｒ）
Ｈ´＝（（Ｂ−Ｒ）/Ｃ）＋２（但しＭ＝Ｇ）
Ｈ´＝（（Ｒ−Ｇ）/Ｃ）＋４（但しＭ＝Ｂ）
Ｈ＝６０°・Ｈ´
従って、色調値Ｈは０°〜３６０°の値を取ることができる。
値Ｖは以下の基準で定義する。
Ｖ＝Ｍ＝ｍａｘ（Ｒ、Ｇ、Ｂ）
即ち、Ｖは強度（放射エネルギー）の適切な指標になり、また暗い色は値が低くなる。
彩度Ｓについては、以下の基準で算出する。
Ｓ＝０（但しＣ＝０）
それ以外の場合は、Ｓ＝Ｃ/Ｖ
従って、ＲＧＢ三色成分が等しい（各種濃淡の灰色）の場合、彩度Ｓはゼロになり、色成分間のギャップが高くなるほど、彩度Ｓは高くなる。即ち、色純度が高くなり、第３成分に対してＲ、Ｇ、Ｂ成分のうちの一つか二つからなる。
マーカーについては、以下の基準で着色することになる。
１． ２つの連続するエリアについては、同じ色であってはならない。
２． 各半球の色配列については、極に関して回転対称であってはならず、従って色の循環回転のみよって相違する配列については、これを拒絶する。
３． ２つの半球間の境界となるエリア間の色については、異なっていなければならない。
４． 上半球に属する色の配列については、２つの半球が見分けられるように、下半球の色の配列と混同する配列であってはならない。
５． マーカーのビデオカメラからの通常の距離およびタブレットコンピュータの通常は短い焦点を考慮して、平均して、配列全体の三色のみが見分けることができるようにする。従って、ある配列が認識可能であることが必要であり、そしてビデオカメラに対するその回転も三色のみから認識可能であることが必要である。即ち、対象となる半球およびその角度位置を直列の三色から区別できなければならない。
これらの限定要件をもつ６の色配列が考えられる。図面に、これら色配列の一つを示す。参照符号は、各色に対応する。
マーカーについては、画像のＲＧＢ空間からＨＳＶ空間への変換によって設定する。この変換の結果、マーカーが存在するエリアは（マーカーの定義のために上記した色が変化するため）、色調変化が強い高い彩度を特徴とするエリアとして容易に確認することができ、この簡単な変換によって、照明が存在するかどうかに関係なく、マーカーを設定する信頼性の高いアプローチを担保することが可能になった。
次のステップでは、ビデオカメラを基準とするシステムに対するマーカーの回転角度を認識する。特に、対流を使用して、横揺れ/縦揺れ/ヨーイング空間（Ｒｏｌｌ, Ｐｉｔｃｈ ａｎｄ Ｙａｗ ｓｐａｃｅ）における３つの角度の回転を通じて空間内の回転を定義する。
ビデオカメラの像面がＺ−Ｙ平面に対して平行であるとした場合、従って、対象となる回転は、横揺れ（軸Ｘに関する像面上の回転）、縦揺れ（垂直軸Ｚに関する回転）およびヨーイング（水平軸Ｙに関する回転）である。
回転角度については、以下の手順で評価する。マーカーを有する円周（マーカー球の像面への投影）を上記方法で設定した後に、最大値の５０％以上である強度値のみを使用して、異なる色エリアの（画素中の）面積を求める。
これらエリアを面積の降順（なお、面積は画像中に存在する、色調が同じ画素の量である）に設定し、第１エリア/第２エリア間の比および第２エリア/第３エリア間の比を求める。次に、角度を以下の基準で求める。
横揺れ角度については、上半球のエリアを下半球エリアから分離することによって得たエリアの共通重心の位置および色を評価することによって求める。即ち、均一な色エリアの異なる共通重心間の相対角度を２つの半球についてそれぞれ求める（各半球の色の配列が既知であり、従って記述した理由によって一義的であるため、この演算が可能になる）。
縦揺れ角度およびヨーイング角度については、光追跡に基づくバーチャルシーンを発生するプログラムを使用する一連の画像生成手段を使用して、カメラの焦点とマーカーの光との比、上記エリア間の比（最も大きな面積のエリアとこれより小さい面積のエリアとの比および後者と第３エリアとの面積比）を変えることによって求めることが可能になる。特に、対応表によってエリア比および縦揺れおよびヨーイング角度比を設定することが可能になる。
色の配列およびマーカーと歯ブラシとの相対位置が既知であるため、可視色を使用して縦揺れを直接的かつ近似的に求めることができ、誤差は３６０°/８＝４５°に等しく、“８”は使用した楔の個数である。
角度をさらに精度よく求めるためには、３６行×１８列（縦揺れおよびヨーイング両者で１０°の解像力に対応）からなる行列を生成する。ここでセル毎に、３つの比を一般的な色間に、即ち最も多数の画素および対応する色を含むマーカーの画像の部分間に記憶する。
認識段階で、（ユークリッド距離について）取得した比および色に最も類似した比および色を表す行列の要素を次に求め、縦揺れ角度およびヨーイング角度を評価する。
画素中のビデオカメラの焦点が既知な場合には、そのビデオカメラからの距離を三角形間の簡単な相似性によってマーカーの直径から評価する。
画面に表示されている使用者の顔の特徴点およびその動きについては、直列接続（ｃａｓｃａｄｅ）の変形可能なモデルによって決定する。
以下に示すように、顔の特徴点を決定する各種の手法がある。例えば、Ｘｉａｎｇ Ｙｕ；Ｊｕｎｚｈｏｕ Ｈｕａｎｇ；Ｓｈａｏｔｉｎｇ Ｚｈａｎｇ；Ｗａｎｇ Ｙａｎ;Ｍｅｔａｘａｓ、Ｄ．Ｎ．の論文“Ｐａｓｅ−Ｆｒｅｅ Ｆａｃｉａｌ Ｌａｎｄ- ｍａｒｋ Ｆｉｔｔｉｎｇ ｖｉａ Ｏｐｔｉｍｉｚｅｄ Ｐａｒｔ Ｍｉｘｔｕｒｅｓａｎｄ Ｃａｓｃａｄｅｄ Ｄｅｆｏｒｍａｂｌｅ Ｓｈａｐｅ Ｍｏｄｅ”、Ｃｏｍ-ｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ）、２０１３ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏ- ｎａｌ Ｃｏｎｆｅｒｅｎｃｅ、ｐｐ.１９４４、１９５１、１−８ Ｄｅｃｅｍｂｅｒを参照。
本発明の一実施態様では、対象となる顔の両眼、鼻および口を特定する所定数の点を設定しておく。具体的には、６つの点を口に、４の点を各眼に、１２の点を耳から耳までの顎線、１０の点を鼻に、そして６の点を各眉毛に設定しておく。
歯ブラシを使用する実施態様では、具体的には、歯ブラシヘッドに対するマーカーの回転および距離を知っておく必要がある。理由は、本発明の場合、使用者の歯列弓に関する歯ブラシヘッドの位置およびこれに作用する動きを決定しておく必要があるからである。これについは、他の選択肢もある。歯ブラシの北極については、図３の円周の中心において、歯ブラシヘッドのブラシの方向に対して整合している。
歯磨き時の大半を通じてビデオカメラに捉えられている歯ブラシの端部のマーカーの位置および空間回転が分かっている場合には、マーカーとは対照的に、口の中に隠れているか、あるいは歯磨き時の大半を通じて練歯磨きが付着しているヘッドの位置および空間回転を確認することが可能である。使用者の口の位置が判明している場合にも、歯ブラシヘッドがどの歯列弓に位置しているかを、また歯列弓のどの側に位置しているかを確認することが可能である。
次に、オプチカルフローアルゴリズムによって、即ち一組の特徴点について、異なる画面情報間の動きを決定できるアルゴリズムにっよって歯ブラシの動きを解析でき、従って各ベクトルが第１画像の所定ポイントの位置で発生し、そして第２画像の対応する位置で終了するベクトル場を決定することができる。
この点は、従来技術には、例えばＢ．ＨｏｒｎおよびＢ．Ｓｃｈｕｎｃｋの論文“Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ”、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、１６ １８５−２０３、１９８１に記載されている従来技術に見られない点である。なお、この従来技術は、全体として画像からのマーカーの飽和色の高い分離性においてはすぐれた技術である。
従って、各歯列弓の表面毎に使用者による歯ブラシの動きを解析することが可能になる。また、歯ブラシの回転および口の空間的配位を複合的に解析できるため、歯列弓のどの面に歯ブラシが位置している（ｔｏｏｔｈｂｒｕｓｈ ｂｒｉｓｔｌｅｓ ａｒｅ ｒｅｓｔｉｎｇ）かを確認することができ、従って歯ブラシの動きが適切であるかどうかをチェックすることが可能になる。
適切な歯ブラシの動きについては、歯列弓の垂直面における垂直な動きであり、そして臼歯および前臼歯の接触面における水平な動きである。上記とは異なる又は他の追加の処置も可能である。
当業者にとっては、本発明の機能は以上の説明、特に以下の説明から明らかなはずである。
使用者は、タブレットコンピュータ１２を手前に置き、適切な口腔衛生をチェックするプログラムを開始する。
ビデオカメラ１３がその前にある画像を撮像し、使用者の顔１８、特に口の特徴点１７を確認する。なお、顔の動きを決定するために重要な他の点についても確認する。次に、タブレットコンピュータ１２が使用者の顔を自動的に確認する。あるいは、使用者の氏名を入力することによって本人確認を行うことも可能である。
次に、使用者が歯ブラシ１１を手に取り、その位置をマーカー１０の存在により確認する。
次に、タイマーが合計の歯磨き時間の設定を開始する。
歯ブラシおよび使用者の顔の動きに追従して、顔との歯ブラシとの間の相対的な動きが一つかそれ以上の歯ブラシの決まりに対応しているかどうか、例えば歯列弓の上下面に対する上下運動および臼歯および前臼歯の接触面に対する水平な動きに対応しているかどうかをチェックする。
上記決まりに対応しない動きがある場合には、聴覚的/視覚的警告を発して使用者に警告するか、あるいは音声を発して、使用者に歯ブラシの動きが適切ではなく、適切に使用するように指示する。
これらの状況については、使用者の氏名とともに記憶しておき、さらなる解析を行う。
歯磨きが終了した後は、使用者がタブレットコンピュータ１２の特別な（バーチャルな）キーを使用してプログラムを終了する。この時点で、歯磨き時間を算出する。この時間に関しては、歯磨き操作を行った使用者の氏名とともに記憶する。
歯磨き時間およびエラーがあった場合には、このエラーも使用者毎に記憶する。
１０：マーカー
１１：歯ブラシ
１２：処理装置、タブレットコンピュータ
１３：ビデオカメラ
１４：顔
１６：画像
１５：歯ブラシヘッド
１７：特徴部分
１８：使用者
１６：部分
２０：楔状部、経線
２１：赤道線
２２：上半球
２３：下半球
３５〜４０：複数のエリア

Claims (11)

  1. マーカー（１０）を有する歯ブラシ（１１）で歯磨きを行っている使用者（１８）の顔（１４）の画像（１６）を取得するビデオカメラ（１３）；これら画像（１６）を解析し、かつ前記使用者（１８）の顔（１４）の特徴点（１７）を見つけ出す処理手段（１２）；前記画像（１６）を解析し、前記歯ブラシ（１１）を見つけ出す処理手段（１２）；これら特徴点（１７）の動きに追従する処理手段（１２）；前記歯ブラシ（１１）の動きに追従する処理手段（１２）；前記顔（１４）と前記歯ブラシ（１１）との間の動作を計算する処理手段（１２）；および前記顔（１４）と前記歯ブラシ（１１）との前記動作が所定の相対動作に対応しているかどうかをチェックする処理手段（１２）；を有し、前記マーカー（１０）を複数のエリア（３５〜４０）に分割し；そして所定数の色から選択される色で前記複数のエリア（３５〜４０）それぞれを着色して、相互に接近する前記エリア（３５〜４０）間の色コントラストを最大化することを特徴とする適切な口腔衛生処置をチェックするシステム。
  2. 歯ブラシヘッド（１５）に対向する前記歯ブラシ（１１）の端部に前記マーカー（１０）を設けた請求項１に記載のシステム。
  3. 前記マーカー（１０）を球形状に構成し、赤道線（２１）によって相互分離した経線（２０）によって定義される複数のエリア（３５〜４０）に分割した請求項１または２に記載のシステム。
  4. 前記複数のエリア（３５〜４０）のうちの２つの連続したエリアが同じ色を有しない請求項１〜３のいずれか１項に記載のシステム。
  5. 前記赤道線（２１）によって前記マーカー（１０）を２つの半球（２２、２３）に分割し；三種類の隣接色の認識に基づいて、対象となるこれら半球（２２、２３）およびその角度位置を判別する請求項１〜４のいずれか１項に記載のシステム。
  6. 歯を磨いている前記使用者（１８）と通信して、前記所定の動きに対応していない適切ではない口腔衛生処置が生じていることを前記使用者（１８）に警告する手段（１２）を有する請求項１〜５のいずれか１項に記載のシステム。
  7. 前記使用者（１８）に歯磨きを指示し、歯磨きに必要な時間を指示する記憶手段（１２）を有する請求項１〜６のいずれか１項に記載のシステム。
  8. 歯磨きを行っている前記使用者（１８）の前記顔（１４）をスクリーンに表示する手段（１２）を有する請求項１〜７のいずれか１項に記載のシステム。
  9. 歯磨きを行っている前記使用者（１８）の前記顔（１４）を他のバーチャルな顔に置き換える請求項１〜８に記載のシステム。
  10. マーカー（１０）を有する歯ブラシ（１１）で歯磨きを行っている使用者（１８）の顔（１４）をビデオカメラ（１３）で撮像するステップ；使用者（１８）の前記顔（１４）の特徴点（１７）を見つけ出すステップ；この歯ブラシ（１１）を見つけ出すステップ；前記特徴点（１７）の動きに追従するステップ；前記歯ブラシ（１１）の動きに追従するステップ；前記顔（１４）と前記歯ブラシ（１１）との相対動作を計算するステップ；前記顔（１４）と前記歯ブラシ（１１）の前記相対動作が所定の相対動作に対応しているかどうかをチェックするステップ；前記歯ブラシが有するマーカー（１０）を複数のエリア（３５〜４０）に分割するステップ；およびこのマーカー（１０）の各エリア（３５〜４０）を着色して、異なるエリアの色コントラストを最大化するステップを有することを特徴とする適切な口腔衛生処置をチェックする方法。
  11. 請求項１に記載の方法を実行するコンピュータプログラム。
JP2017506820A 2014-08-04 2015-07-30 適切な口腔衛生処置の検査システム Pending JP2017532076A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITBG20140033 2014-08-04
ITBG2014A000033 2014-08-04
PCT/IB2015/055755 WO2016020803A1 (en) 2014-08-04 2015-07-30 A system for checking a correct oral hygiene procedure

Publications (1)

Publication Number Publication Date
JP2017532076A true JP2017532076A (ja) 2017-11-02

Family

ID=51703203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017506820A Pending JP2017532076A (ja) 2014-08-04 2015-07-30 適切な口腔衛生処置の検査システム

Country Status (5)

Country Link
US (1) US20170238692A1 (ja)
EP (1) EP3192022B1 (ja)
JP (1) JP2017532076A (ja)
CN (1) CN106998900B (ja)
WO (1) WO2016020803A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190081877A (ko) * 2017-12-29 2019-07-09 동의대학교 산학협력단 미러 표시장치와 칫솔을 이용한 치아 관리 교육 시스템
JP2019533853A (ja) * 2016-09-14 2019-11-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザがパーソナルケア行為を実行することに集中するのを支援することにおいて使用されるシステム及び方法
KR20220095704A (ko) * 2020-12-30 2022-07-07 이상재 양치질과 손씻기 시간과 방법을 알려주는 도우미시스템
JP2024529959A (ja) * 2021-07-29 2024-08-14 ユニリーバー・アイピー・ホールディングス・ベスローテン・ヴェンノーツハップ ヘアケアの監視及びフィードバック
US12179100B2 (en) 2020-05-29 2024-12-31 The Pokémon Company Game program, method, information processing device, and system

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10702206B2 (en) 2015-06-29 2020-07-07 Braun Gmbh Toothbrush for oral cavity position detection
ES2964759T3 (es) 2015-09-08 2024-04-09 Braun Gmbh Determinación de una parte del cuerpo actualmente tratada de un usuario
EP3207823A1 (en) 2016-02-16 2017-08-23 Braun GmbH Interactive system setup concept
DE102016002855A1 (de) * 2016-03-09 2017-09-14 Arnulf Deinzer Vorrichtung und Verfahren zur Ortsbestimmung eines Werkzeugs zur Mundraumhygiene
RU2738074C2 (ru) * 2016-03-14 2020-12-07 Колибри Система гигиены ротовой полости с визуальным распознаванием для контроля соблюдения правил чистки зубов
WO2017178375A1 (en) 2016-04-15 2017-10-19 Koninklijke Philips N.V. System and method for detecting movement of a user of an oral health care device and providing feedback
BR112019003640B1 (pt) 2016-08-22 2023-05-02 Kolibree SAS Sistema de higiene bucal para monitoramento de conformidade e sistema de teleodontologia
KR102706396B1 (ko) * 2016-10-11 2024-09-13 삼성전자주식회사 양치 구간 결정 방법 및 이를 위한 스마트 칫솔 및 전자 장치.
US10582764B2 (en) 2016-11-14 2020-03-10 Colgate-Palmolive Company Oral care system and method
US10835028B2 (en) 2016-11-14 2020-11-17 Colgate-Palmolive Company Oral care system and method
US11213120B2 (en) 2016-11-14 2022-01-04 Colgate-Palmolive Company Oral care system and method
US11361672B2 (en) 2016-11-14 2022-06-14 Colgate-Palmolive Company Oral care system and method
US11043141B2 (en) 2016-11-14 2021-06-22 Colgate-Palmolive Company Oral care system and method
CN107423669B (zh) * 2017-04-18 2020-12-29 北京国科智途科技有限公司 一种基于视觉传感器的刷牙行为参数获取方法
KR102006610B1 (ko) 2017-07-27 2019-08-05 키튼플래닛 주식회사 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치
KR101972331B1 (ko) * 2017-08-29 2019-04-25 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
US11533986B2 (en) 2017-11-26 2022-12-27 Dentlytec G.P.L. Ltd. Tracked toothbrush and toothbrush tracking system
CN107811722B (zh) * 2017-11-29 2020-10-30 薛开国 一种智能电动牙刷、牙刷空间姿态获取系统及方法
EP3672448B1 (en) 2017-12-28 2024-09-18 Colgate-Palmolive Company Systems and methods for estimating a three-dimensional pose of an oral hygiene device with visual markers
USD855330S1 (en) 2017-12-28 2019-08-06 Colgate-Palmolive Company Toothbrush
US10646029B2 (en) 2017-12-28 2020-05-12 Colgate-Palmolive Company Oral hygiene systems and methods
US20190254413A1 (en) * 2018-02-20 2019-08-22 Dov Jacobson Toothbrush Tracking Apparatus and Method
CN108904085B (zh) * 2018-04-13 2020-09-08 深圳市力博得科技有限公司 基于智能牙刷的刷牙评价方法、装置、设备及存储介质
US11297933B2 (en) 2018-08-03 2022-04-12 Colgate-Palmolive Company Powered oral care implement including a tracking module and tracking module thereof
US11523678B2 (en) 2018-08-03 2022-12-13 Colgate-Palmolive Company Oral care system including an oral care implement and a tracking attachment, tracking attachment thereof, and method of assembling the same
CN108741612A (zh) * 2018-08-07 2018-11-06 南京林业大学 一种劝导式儿童刷牙系统和装置
US11093749B2 (en) 2018-12-20 2021-08-17 L'oreal Analysis and feedback system for personal care routines
EP3899972A2 (en) 2018-12-21 2021-10-27 The Procter & Gamble Company Apparatus and method for operating a personal grooming appliance or household cleaning appliance
EP3708312A1 (en) 2019-03-14 2020-09-16 Koninklijke Philips N.V. Determining a device location a body part
US10509991B1 (en) 2019-03-18 2019-12-17 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light
US10496862B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light
US10534948B1 (en) 2019-03-18 2020-01-14 Capital One Services, Llc Optimizing detection of images in relation to targets based on colorspace transformation techniques
US10523420B1 (en) 2019-04-18 2019-12-31 Capital One Services, Llc Transmitting encoded data along transmission mediums based on colorspace schemes
US20200388374A1 (en) * 2019-06-10 2020-12-10 The Procter & Gamble Company Method for Generating User Feedback Information From a Product Use Event and User Profile Data to Enhance Product Use Results
US12251460B2 (en) 2019-06-13 2025-03-18 The Procter And Gamble Company Kits comprising unit-dose oral care compositions
US10614635B1 (en) 2019-07-25 2020-04-07 Capital One Services, Llc Augmented reality system with color-based fiducial marker
CN110477594A (zh) * 2019-09-06 2019-11-22 王丹 一种可视化刷牙方法及牙刷
US10833852B1 (en) 2019-10-03 2020-11-10 Capital One Services, Llc Encoded data along tape based on colorspace schemes
US10867226B1 (en) 2019-11-04 2020-12-15 Capital One Services, Llc Programmable logic array and colorspace conversions
US10762371B1 (en) 2019-11-14 2020-09-01 Capital One Services, Llc Object detection techniques using colorspace conversions
US10878600B1 (en) 2019-12-10 2020-12-29 Capital One Services, Llc Augmented reality system with color-based fiducial marker utilizing local adaptive technology
US20240087142A1 (en) * 2020-03-31 2024-03-14 Conopco, Inc., D/B/A Unilever Motion tracking of a toothcare appliance
CN113729388B (zh) * 2020-05-29 2022-12-06 华为技术有限公司 控制牙刷的方法、智能牙刷及牙刷系统
CN111726580B (zh) * 2020-06-17 2022-04-15 京东方科技集团股份有限公司 智能护理镜、智能护理设备、图像显示方法及系统
WO2021262528A1 (en) * 2020-06-22 2021-12-30 Colgate-Palmolive Company Oral care system and method for promoting oral hygiene
US11302036B2 (en) 2020-08-19 2022-04-12 Capital One Services, Llc Color conversion between color spaces using reduced dimension embeddings
US20230180924A1 (en) * 2021-12-13 2023-06-15 Colgate-Palmolive Company Oral Care System Including Oral Care Implement with Motion Tracking Features
CN114387295A (zh) * 2021-12-25 2022-04-22 广州星际悦动股份有限公司 运动轨迹生成方法、装置、电动牙刷及存储介质
GB2615127B (en) * 2022-01-31 2024-10-23 Deirdre Odwyer A device
CN114841990A (zh) * 2022-05-26 2022-08-02 长沙云江智科信息技术有限公司 一种基于人工智能的自助核酸采集方法及装置
CN116912939A (zh) * 2023-07-17 2023-10-20 浙江大学台州研究院 一种刷牙检测方法、检测装置以及卫浴镜

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06147828A (ja) * 1992-11-05 1994-05-27 Toshiba Corp 位置・姿勢計測装置
US20090215015A1 (en) * 2008-02-21 2009-08-27 Raindrop Network Ltd. Method and Apparatus for Developing a Proper Tooth Brushing Technique
JP2012509508A (ja) * 2008-11-20 2012-04-19 ザ ジレット カンパニー 個人衛生機器、システム、及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0109444D0 (en) * 2001-04-17 2001-06-06 Unilever Plc Toothbrush usage monitoring system
CN101454055A (zh) * 2006-03-24 2009-06-10 安美津内森实验室有限公司 口腔护理游戏系统和方法
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
WO2011073010A1 (en) * 2009-12-17 2011-06-23 Unilever Plc Toothbrush tracking system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06147828A (ja) * 1992-11-05 1994-05-27 Toshiba Corp 位置・姿勢計測装置
US20090215015A1 (en) * 2008-02-21 2009-08-27 Raindrop Network Ltd. Method and Apparatus for Developing a Proper Tooth Brushing Technique
JP2012509508A (ja) * 2008-11-20 2012-04-19 ザ ジレット カンパニー 個人衛生機器、システム、及び方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019533853A (ja) * 2016-09-14 2019-11-21 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザがパーソナルケア行為を実行することに集中するのを支援することにおいて使用されるシステム及び方法
JP7245157B2 (ja) 2016-09-14 2023-03-23 コーニンクレッカ フィリップス エヌ ヴェ ユーザがパーソナルケア行為を実行することに集中するのを支援することにおいて使用されるシステム、方法及びコンピュータプログラム製品
KR20190081877A (ko) * 2017-12-29 2019-07-09 동의대학교 산학협력단 미러 표시장치와 칫솔을 이용한 치아 관리 교육 시스템
KR102030421B1 (ko) * 2017-12-29 2019-11-18 동의대학교 산학협력단 미러 표시장치와 칫솔을 이용한 치아 관리 교육 시스템
US12179100B2 (en) 2020-05-29 2024-12-31 The Pokémon Company Game program, method, information processing device, and system
KR20220095704A (ko) * 2020-12-30 2022-07-07 이상재 양치질과 손씻기 시간과 방법을 알려주는 도우미시스템
KR102461513B1 (ko) 2020-12-30 2022-10-31 이상재 양치질과 손씻기 시간과 방법을 알려주는 도우미시스템
JP2024529959A (ja) * 2021-07-29 2024-08-14 ユニリーバー・アイピー・ホールディングス・ベスローテン・ヴェンノーツハップ ヘアケアの監視及びフィードバック

Also Published As

Publication number Publication date
CN106998900B (zh) 2019-10-25
EP3192022A1 (en) 2017-07-19
US20170238692A1 (en) 2017-08-24
CN106998900A (zh) 2017-08-01
WO2016020803A1 (en) 2016-02-11
EP3192022B1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
JP2017532076A (ja) 適切な口腔衛生処置の検査システム
US12169276B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US10991110B2 (en) Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional
US9348950B2 (en) Perceptually guided capture and stylization of 3D human figures
CN102129152B (zh) 具有集成vcsel阵列的深度投影仪系统
JP6573907B2 (ja) ３ｄスキャンされるオブジェクトに関する色情報を収集するためのシステム、方法、装置、及びコンピュータ可読記憶媒体
US20140254939A1 (en) Apparatus and method for outputting information on facial expression
JP5778967B2 (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
CN108876886B (zh) 图像处理方法、装置和计算机设备
WO2020133862A1 (zh) 游戏角色模型的生成方法、装置、处理器及终端
KR20070048752A (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법
CN106447604B (zh) 一种变换视频中面部画面的方法和装置
CN101968891A (zh) 用于游戏的照片自动生成三维图形系统
CN110211222B (zh) 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
US11676357B2 (en) Modification of projected structured light based on identified points within captured image
Marcon et al. Toothbrush motion analysis to help children learn proper tooth brushing
JP2012221260A (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
CN115398492A (zh) 牙齿护理器具的运动跟踪
WO2017124870A1 (zh) 一种处理多媒体信息的方法及装置
KR20230096360A (ko) 멀티 카메라를 이용한 스포츠 동작 분석 시스템
US20240155093A1 (en) Device, system, camera device, and method for capturing immersive images with improved quality
Magdin Simple mocap system for home usage
CN105893452A (zh) 一种呈现多媒体信息的方法及装置
CN116958353B (zh) 一种基于动态捕捉的全息投影方法及相关装置
Yoon Metaverse in the Wild: Modeling, Adapting, and Rendering of 3D Human Avatars from a Single Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191028

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200331