JP2020054633A - 判定装置、判定方法及び判定プログラム - Google Patents

判定装置、判定方法及び判定プログラム Download PDF

Info

Publication number
JP2020054633A
JP2020054633A JP2018187505A JP2018187505A JP2020054633A JP 2020054633 A JP2020054633 A JP 2020054633A JP 2018187505 A JP2018187505 A JP 2018187505A JP 2018187505 A JP2018187505 A JP 2018187505A JP 2020054633 A JP2020054633 A JP 2020054633A
Authority
JP
Japan
Prior art keywords
unit
information value
user
biological information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018187505A
Other languages
English (en)
Other versions
JP7230409B2 (ja
JP2020054633A5 (ja
Inventor
大塚 利彦
Toshihiko Otsuka
利彦 大塚
高弘 冨田
Takahiro Tomita
高弘 冨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2018187505A priority Critical patent/JP7230409B2/ja
Priority to CN201910897648.6A priority patent/CN110993051B/zh
Priority to US16/583,092 priority patent/US11545048B2/en
Publication of JP2020054633A publication Critical patent/JP2020054633A/ja
Publication of JP2020054633A5 publication Critical patent/JP2020054633A5/ja
Application granted granted Critical
Publication of JP7230409B2 publication Critical patent/JP7230409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0439Pixel structures
    • G09G2300/0456Pixel structures with a reflective area and a transmissive area combined in one pixel, such as in transflectance pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザにとって適切なタイミングで表示装置の表示制御を行なう。【解決手段】表示装置1は、生体情報値取得部113と、比較部116と、被写体状態判定部117と、を備える。生体情報値取得部113は、被写体の生体情報値を逐次取得する。比較部116は、生体情報値取得部113により逐次取得された第1の生体情報値と、生体情報値取得部113により逐次取得された第1の生体情報値とは異なる第2の生体情報値とを比較する。被写体状態判定部117は、比較部116による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する。【選択図】図5

Description

本発明は、判定装置、判定方法及び判定プログラムに関する。
従来、ユーザから取得した生体情報に基づいて、所定の判定を行なう判定装置が知られている。例えば、特許文献1には、取得した生体情報に基づいて、ユーザの体調を定量化判定する技術が開示されている。
特開2009−153609号公報
しかしながら、上述した特許文献1等の一般的な技術では、或る時点でのユーザの体調等が判定できるのみであり、時間の経過に伴うユーザの変化について判定することはできなかった。例えば、施術の実行等の何らかの要因に伴い、ユーザの体調等が変化することについて判定することはできなかった。
本発明はこのような問題点に鑑みてなされたものであり、ユーザの変化に関する判定を行なうことを目的とする。
上記目的を達成するため、本発明の一態様の表示装置は、
被写体の生体情報値を逐次取得する生体情報値取得手段と、
前記生体情報値取得手段により逐次取得された第1の生体情報値と、前記生体情報値取得手段により逐次取得された前記第1の生体情報値とは異なる第2の生体情報値とを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定手段と、
を備えることを特徴とする。
本発明によれば、ユーザの変化に関する判定を行なうことができる。
本発明の一実施形態に係る表示システムの構成を示す構成図である。 本発明の一実施形態に係る表示装置の前面の外観構成を示す構成図である。 本発明の一実施形態に係る表示装置の側面の外観構成を示す構成図である。 本発明の一実施形態に係る表示装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る表示装置の機能的構成のうち、表示制御処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る表示装置が実行する表示制御処理における施術に伴うユーザの変化について示す模式図である。 本発明の一実施形態に係る表示装置が実行する表示制御処理における施術前の脈波データを示す模式図である。 本発明の一実施形態に係る表示装置が実行する表示制御処理における施術後の脈波データを示す模式図である。 本発明の一実施形態に係る表示装置が実行する表示制御処理の流れを説明するフローチャートである。 本発明の一実施形態に係る表示装置が実行する表示制御処理での表示例の遷移を示す模式図である。
以下、本発明の実施形態について、図面を用いて説明する。
[実施形態の概略]
本発明の実施形態に係る表示装置1は、ユーザが携帯可能な自立式の鏡として構成される。そして、表示装置1は、鏡を視認するユーザに対して、鏡部に反射する鏡像と、表示部に表示したガイド画像等の所定の情報とを重畳することにより、ユーザに対するガイダンスを行う。ユーザは、このガイダンスと、自身の顔の鏡像を参照しながら、ガイダンスに対応する施術等(例えば、マッサージやツボ押しや笑顔のトレーニング)を行なうことができる。
この場合に、表示装置1は、ユーザを被写体として撮像し、撮像したユーザに対してフェイストラッキングを行うことにより、ユーザの顔の各部の座標と、各部に対応するユーザの画像とを検出する。また、表示装置1は、検出したユーザの画像を解析することにより、ユーザの生体情報値を取得する。更に、表示装置1は、この生体情報値の変化に基づいて、ユーザが所定の状態となったか否かを判定する。そして、表示装置1は、この判定結果に基づいて表示制御を行なう。
一例として、表示装置1は、ユーザの画像に基づいて脈波を測定する。そして、第1の所定期間において測定した脈波の波形の平均値と、第2の所定期間において測定した脈波の波形の平均値を比較する。ここで、例えば、ユーザが顔の頬の施術を行うことで顔全体の血流量が増えるため、施術前と後を比べると脈波の波形の平均値がプラス方向に変化する(以下、この変化を「DC(Direct Current)オフセット」と称する。)。このDCオフセットを測定し、変化分が規定のレベル以上プラス分に変化した場合、施術が行われたと判定する。
そのために、表示装置1は、第1の所定期間において測定した脈波の波形の平均値を、規定のレベル以上プラス分に補正する。そして、表示装置1は、補正後の第1の所定期間において測定した脈波の波形の平均値と、第2の所定期間において測定した脈波の波形の平均値が略同一となった場合に、施術が終了したと判定する。そして、表示装置1は、既に終了した施術に対応する情報(例えば、既に終了した施術のやり方についてのガイダンス情報)から、新たな施術に対応する情報(例えば、新たな施術のやり方についてのガイダンス情報)を表示するように、表示制御を行なう。
このような表示装置1によれば、生体情報値の変化に基づいて、被写体となったユーザが処理の状態となったか否かを判定できる。すなわち、ユーザの変化に関する判定を行なうことができる。そして、このような判定結果に基づいて、表示制御を行なうことができる。
つまり、表示装置1によれば、ユーザにとって適切なタイミングで表示装置の表示制御を行なうことができる。
[システム構成]
図1は、本実施形態に係る表示装置1が含まれる表示システムSの全体構成を示す構成図である。図1に示すように、表示システムSは、複数の表示装置1、ネットワーク2及びサーバ群3を含む。
表示装置1の台数には、特に制限はなく、n台(nは、任意の自然数)の表示装置1が表示システム1に含まれていてよい。なお、以下の説明において、n台の表示装置1を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「表示装置1」と称する。
表示装置1は、上述したとおり、ユーザにとって適切なタイミングで表示制御を行なう表示装置である。表示装置1は、ネットワーク2を介して、サーバ群3に含まれる各サーバと、相互に通信可能に接続されている。
ネットワーク2は、例えば、インターネットや、LAN(Local Area Network)や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
サーバ群3には、表示装置1と協働する各種のサーバが含まれる。例えば、サーバ群3には、表示装置1のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群3には、表示装置1の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群3には、ユーザに関する設定情報やユーザによる表示装置1の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。
ただし、これは一例に過ぎず、他の機能を有するサーバがサーバ群3に含まれていてもよい。また、サーバ群3に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
[外観構成]
図2は、本発明の一実施形態に係る表示装置1の前面の外観構成を示す構成図である。また、図3は、表示装置1の側面の外観構成を示す構成図である。表示装置1の前面の大きさは、例えば、国際規格であるISO(International Organization for Standardization)216で規定されるA4サイズに形成される。
図2及び図3に示すように、表示装置1は、本体部30と、脚部31と、ヒンジ部32を含んで構成される。本体部30は、鏡部18や表示部19、及びその他のハードウェアを含む本体部分である。また、脚部31とヒンジ部32は、表示装置1を自立させるための部材である。脚部31は、ヒンジ部32によって本体部30に対して回動可能に接合される。
図3(A)に示すように、ユーザは、表示装置1を携帯する際に、本体部30の側面と、脚部31の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図3(B)に示すように、ユーザは、表示装置1を机等に設置して利用する際には、ヒンジ部32を中心点として脚部31を回動させることにより、表示装置1を自立させることができる。なお、表示装置1を自立可能とするために、ヒンジ部32は、脚部31が所定の角度を保った状態で保持するための機構を有する。
本体部30は、鏡部18と表示部19とを含む。
鏡部18は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーである。鏡部18は、図示するように本体部30の前面に配置される。
表示部19は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部19は、例えば、マッサージ等のガイダンスを行うためのガイド画像や、文字等のメッセージや、ユーザの生体情報等を表示する。
表示装置1では、鏡部18の反射面と、表示部19の表示面とが、鏡部18に正対するユーザから同時に視認可能に、ユーザの視認方向に重畳して配置される。例えば、液晶ディスプレイにより構成された表示部19が、ハーフミラーにより構成された鏡部18の視認方向における奥側に、並行に重ねて配置される。
このような配置により、ユーザは、例えば、鏡部18により反射された自身の顔(図中の鏡像41に相当)と、表示部19に表示されると共に鏡部18を透過した各種の情報(図中のガイド画像42に相当)とを同時に視認することができる。
図2に示すように、表示装置1は、外観構成として、更に、撮像部16及び入力部17を備えている。
撮像部16は、表示装置1の利用時に、鏡部18に正対するユーザを被写体として撮像する部分である。撮像部16は、鏡部18に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、撮像部16は、図中に示すように、本体部30の前面であって、鏡部18の上部に配置される。
入力部17は、ユーザによる操作入力を受け付ける部分である。入力部17は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、表示装置1の電源のオン/オフの切り替えを行うためのボタンを図示する。
以上、表示装置1の外観構造について説明をした。ただし、この構造は一例に過ぎず、表示装置1の外観構造は、この例に限定されない。
例えば、表示装置1は、鏡部18に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、表示装置1は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、鏡部18の上部や下部に配置されてもよく、鏡部18の周辺全体に配置されてもよい。
また、例えば、入力部17の数や配置が変更されてもよい。また、例えば、表示部19の一部がタッチパネルとして構成され、入力部17と表示部19とが一体に構成されてもよい。
更に、例えば、上述したようにハーフミラーにより鏡部18を構成し、一般的な液晶ディスプレイにより表示部19を構成するのではなく、一般的な鏡により鏡部18を構成し、透過型の液晶ディスプレイにより表示部19を構成するようにしてもよい。この場合、一般的な鏡により構成された鏡部18が、透過型の液晶ディスプレイにより構成された表示部19の視認方向における奥側に、並行に重ねて配置されるようにするとよい。
[ハードウェア構成]
図4は、表示装置1のハードウェアの構成を示すブロック図である。
図4に示すように、表示装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、鏡部18と、表示部19と、記憶部20と、通信部21と、ドライブ22と、リムーバブルメディア100と、を備えている。
CPU11は、ROM12に記録されているプログラム、又は、記憶部20からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16と、入力部17と、表示部19と、記憶部20と、通信部21と、ドライブ22とが接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部16にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号は、CPU11等に適宜供給される。
入力部17は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。
鏡部18は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーである。鏡部18は、表示部19による表示がなされている領域において、表示部19による表示を透過する。一方で、鏡部18は、表示部19による表示がなされていない領域において、表示装置1に生体するユーザ等の像を、鏡像として反射する。
表示部19は、液晶ディスプレイ等で構成され、CPU11が出力する画像データに対応する画像を表示する。これら表示部19と、鏡部18の配置については、図2を参照して上述した通りである。
記憶部20は、DRAM(Dynamic Random Access Memory)等の半導体メモリで構成され、各種データを記憶する。
通信部21は、CPU11が、ネットワーク2を介して他の装置(例えば、サーバ群3に含まれる各サーバ)との間で通信を行うための通信制御を行う。
ドライブ22は、リムーバブルメディア100が装着可能なインターフェースにより構成される。ドライブ22には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア100が適宜装着される。リムーバブルメディア100には、後述の表示制御処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ22によってリムーバブルメディア100から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部20にインストールされる。
なお、表示装置1は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、表示装置1は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えていてもよい。
[機能的構成]
図5は、表示装置1の機能的構成のうち、表示制御処理を実行するための機能的構成を示す機能ブロック図である。
表示制御処理とは、表示装置1が、ユーザから取得した生体情報値の変化に基づいて、表示制御を行なう一連の処理である。
表示制御処理が実行される場合、図5に示すように、CPU11において、設定処理部111と、表示制御部112と、生体情報値取得部113と、平均値算出部114と、補正部115と、比較部116と、被写体状態判定部117とが機能する。
また、記憶部20の一領域には、ガイダンス情報記憶部201と、比較基準値記憶部202とが設定される。
ガイダンス情報記憶部201には、表示制御処理におけるガイダンスに関する各種のデータが格納される。例えば、ガイダンス情報記憶部201には、表示制御処理において表示されるガイダンス情報を生成するための、ガイド画像のデータ、テキストデータ、及び音データ等が格納される。また、ガイダンス情報記憶部201には、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件や、各種ユーザインタフェースを生成するためのデータ等も格納される。更に、ガイダンス情報記憶部201には、表示制御処理に関して生成されたユーザのプロファイル情報が格納される。なお、ガイド画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるCG(Computer graphics)等であってもよい。
比較基準値記憶部202には、後述の生体情報値取得部113、平均値算出部114、及び補正部115が作成した、比較部116が比較を行なうための情報(以下、「比較基準値」と称する。)が格納される。比較基準値については、これら機能ブロックの説明において後述する。
なお、上述したようなガイダンス情報記憶部201や比較基準値記憶部202に格納される各情報は、記憶部20にのみ格納されていてもよいが、ドライブ22によってリムーバブルメディア100に適宜格納されるようにしてもよい。更に、ガイダンス情報記憶部201や比較基準値記憶部202に格納される各情報は、サーバ群3に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。
また、以下に説明する各機能ブロックでは、表示制御処理を行う前提として座標情報が設定されている。座標情報は、例えば、撮像部16において撮像された画像についての座標系である撮像座標系、鏡部18の反射面についての座標系である鏡部座標系、及び表示部19の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、及び各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。以下に説明する各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより表示制御処理を行うことができる。これら各座標系の対応関係は、例えば、表示装置1の製造時に、撮像部16における撮像レンズの方向調整や、ズーム率の調整等による、対応関係の補正を伴うキャリブレーションを行うことにより設定される。例えば、ズーム率の調整は、撮像部16のレンズ位置の調整によって行われる所謂光学ズーム、及び、画像処理における所謂デジタルズーム、の双方又は何れかを用いて行われる。
設定処理部111は、表示制御処理に関する設定等の制御を行う部分である。設定処理部111は、例えば、サーバ群3に含まれるアプリケーション配信サーバから、表示制御処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部111は、例えば、サーバ群3に含まれる認証サーバと通信を行うことにより、表示制御処理を行うユーザを認証する。更に設定処理部111は、例えば、サーバ群3に含まれる測定データ格納サーバと通信を行うことにより、表示制御処理におけるユーザのプロファイル情報を更新する。
また、設定処理部111は、表示制御処理を行うためのアプリケーションソフトウェアに基づいて、ガイダンスを行うためのメニューを表示する。例えば、ガイダンスに基づいて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク(化粧)」を行う等の、ガイダンスの内容を選択するための選択肢を含んだメニューを表示する。また、設定処理部111は、メニューを参照したユーザから、入力部17等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、表示制御処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。
表示制御部112は、表示制御処理において、各種の情報(例えば、ガイダンス情報)の表示を制御する部分である。また、表示制御部112は、後述の被写体状態判定部117の判定結果に基づいて、ガイダンス情報を切り替えて表示部19に表示をさせることによって、一連のガイダンスを実現する。
そのために、表示制御部112はガイダンス情報記憶部201からガイダンス情報を読み込む。そして、表示制御部112は、後述の被写体状態判定部117の判定結果に基づいて、読み込んだガイダンス情報に定められた順番で、読み込んだガイダンス情報に定められた位置に、ガイド画像情報を表示する。
そして、表示制御部112は、例えば、後述の被写体状態判定部117の判定結果が、施術を継続中であることを示す判定結果であった場合には、現在継続中の施術についてのガイダンス情報の表示を継続する。一方で、表示制御部112は、例えば、後述の被写体状態判定部117の判定結果が、施術が終了したことを示す判定結果であった場合には、既に終了した施術に対応するガイダンス情報から、新たな施術に対応するガイダンス情報を表示するように、表示制御を行なう。
また、表示制御部112は、更に他の条件に基づいてガイダンス情報の表示を切り替えてもよい。例えば、表示制御部112は、或る施術のガイダンス情報の表示を開始してから所定時間が経過したにも関わらず、後述の被写体状態判定部117の判定結果が、施術を継続中であることを示す判定結果であった場合には、自動的にガイダンス情報の表示を切り替えたり、終了したりしてもよい。また、表示制御部112は、ユーザの切り替え指示操作や、終了指示操作に基づいて、ガイダンス情報の表示を切り替えたり、終了したりしてもよい。
具体的なガイダンス情報の表示方法として、表示制御部112は、例えば、鏡部18によりユーザの顔等の所定の部位領域の鏡像が反射している位置に重畳するように、ガイド画像を表示する。例えば、マッサージについてのガイダンスを行うタイミングで、マッサージの際の手の動きを示す矢印のガイド画像を、ユーザの顔のマッサージを行う部位領域の鏡像が反射している位置に重畳するように表示する。ユーザは、この重畳された表示を参照することにより、マッサージを行う部位領域や、マッサージの方向等を、自身の鏡像と重畳して、分かりやすく視認することができる。
なお、このような重畳表示を行う場合、例えば、生体情報値取得部113は、フェイストラッキングにより、撮像部16が撮像したユーザの所定の部位領域を検出する。そして、上述した各座標系の対応関係に基づいて、検出した部位領域の撮像座標系における座標に対応する、表示部座標系の座標を取得する。そして、表示制御部112は、表示部19の生体情報値取得部113が取得した表示部座標系の座標に、前記加工後ガイド画像を表示することにより、重畳表示を行うことができる。
また、表示制御部112は、ユーザの顔等の鏡像と重複しない領域に(すなわち、ユーザの顔と重畳しない領域に)、一連のガイダンスにおいてユーザが向くべき方向や、マッサージの方法を画像やテキストで自動配置し表示するようにしてもよい。他にも、表示制御部112は、例えば、ユーザの顔等の鏡像と重複しない領域に(すなわち、ユーザの顔と重畳しない領域に)、生体情報を表示するための波形データや必要な文字、画像情報を自動配置し表示するようにしてもよい。
また、表示制御部112は、これらの表示を組み合わせるようにしてもよい。例えば、表示制御部112は、マッサージの際の手の動きを示す矢印はユーザの顔等の鏡像と重複する領域に重畳して表示し、マッサージの内容を示すテキストはユーザの顔等の鏡像と重複しない領域に表示するようにしてもよい。
表示制御部112が、このような情報を、後述の被写体状態判定部117の判定結果に基づいてリアルタイムに表示することで、一連のガイダンスを、ユーザに伝わりやすく、適切に行うことができる。
なお、表示制御部112は、表示に加えて、他の方法でガイダンス情報を出力するようにしてもよい。例えば、表示制御部112は、音データを含んだガイダンス情報を読み出し、読み出したガイダンス情報から生成される音声や音楽をスピーカから出力してもよい。また、他にも、例えば、表示制御部112は、発光部による発光状態を変化させるようにしてもよい。
生体情報値取得部113は、表示制御処理において、撮像部16による撮像の被写体となったユーザに関する情報(以下、「被写体情報」と称する。)を取得する部分である。被写体情報とは、例えば、ユーザの顔等における各部位の位置を示す座標や、ユーザの顔等における各部位の色や、ユーザの生体情報等である。
被写体情報の取得のために、生体情報値取得部113は、撮像部16が撮像した、被写体としてユーザを含む画像を解析して、画像に含まれるユーザの状態を検出する。
例えば、生体情報値取得部113は、ユーザの顔を含む顔画像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェイストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。そして、生体情報値取得部113は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザの顔の角度(すなわち、ユーザの顔の向き)といった状態を検出する。
また、生体情報値取得部113は、他にも、実際にユーザに触れることなく、ユーザに対しては非接触で生体情報値(バイタルデータと呼ばれることもある。)の計測を逐次行うことにより、生体情報値を逐次取得する。この場合、上記の検出された検出された所定の領域は、非接触で生体情報を取得するための関心領域(ROI:Region of interest)に相当する。この場合に、生体情報値取得部113は、1つの関心領域の画像を対象として計測を行ってもよいが、複数の関心領域の画像を対象として計測を行ってもよい。例えば、生体情報値取得部113は、ユーザの顔画像中の、例えば輪郭と眼の位置を検出して、それらとの相対位置に基づき、自動的に、額、瞼、頬、鼻周辺、唇周り、顎、首、デコルテ等の複数の領域を関心領域として認識する。
そして、生体情報値取得部113は、例えば、この関心領域における皮下の血液中ヘモグロビンが吸収する緑色信号に基づいて、心拍周波数近傍の成分を分析することにより計測を行う。例えば、生体情報値取得部113は、生体情報値取得部113は、脈拍の遅延がわかる離れた2点(例えば頬と額、又は、額か頬と手のひら等)の関心領域を対象として測定を行なうことにより、緑色信号に基づいて血液量の変化分を求め、この変化分に基づいて、脈拍、脈波、及び血流等の生体情報を求める。あるいは、生体情報値取得部113は、脈波伝播速度や、脈波伝播速度と相関する血圧変動を測定することができる。この場合に、生体情報値取得部113は、測定した生体情報に対してノイズ除去等を行うようにしてもよい。また、他にも赤外線カメラを使用した肌の表面温度差を測定するようにしてもよい。
本実施形態では、一例として、生体情報値取得部113は、脈拍の遅延がわかる離れた2点の関心領域を対象として皮下の血液中ヘモグロビンが吸収する緑色信号の輝度の測定を逐次行なうことにより、脈波に対応する波形を逐次取得する。
なお、生体情報値取得部113による生体情報の取得は、例えば、下記の参考文献に記載の技術を利用することにより行うことができる。
<参考文献>
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、[online]、平成28年9月27日、[平成30年9月27日検索]、インターネット<URL:http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf>
生体情報値取得部113は、このようにして逐次取得した、生体情報値(ここでは、脈波に対応する波形を示す緑色信号の輝度)を、後述の処理を行なうために平均値算出部114に対して出力する。また、その他の被写体情報を、表示制御部112による表示制御のために表示制御部112に対して出力する。
平均値算出部114は、生体情報値取得部113が逐次取得した生体情報値の平均値を算出する。例えば、平均値算出部114は、所定期間(例えば、数秒程度の複数の脈波の波形が含まれる期間)の生体情報値の平均値を算出する。そのために平均値算出部114は、所定期間において、所定の周期で生体情報値をサンプリングし、このサンプリングした値を平均することにより所定期間の生体情報値の平均値として算出する。
あるいは、平均値算出部114は、所定期間連続してサンプリングを行なうことにより、所定期間に含まれる脈波の波形のプラスのピークにおける生体情報値と、マイナスのピークにおける生体情報値とを検出する。そして、平均値算出部114は、検出した脈波の波形のプラスのピークにおける生体情報値と、マイナスのピークにおける生体情報値とを平均することにより所定期間の生体情報値の平均値を算出する。
そして、平均値算出部114は、このようにして算出した所定期間における生体情報値の平均値を後述の補正部115及び比較部116に対して出力する。
補正部115は、平均値算出部114が出力した第1の所定期間(例えば、ガイダンス開始時の所定期間)の生体情報値の平均値を補正する。例えば、補正部115は、平均値算出部114が出力した第1の所定期間の生体情報値の平均値をプラス方向に補正する。そして、補正部115は、補正後の第1の所定期間の生体情報値の平均値を、比較基準値として比較基準値記憶部202に格納する。
比較部116は、比較基準値記憶部202に格納された比較基準値(すなわち、補正後の第1の所定期間の生体情報値の平均値)と、平均値算出部114が出力した第2の所定期間(例えば、ガイダンス開始時から数分経過後に、周期的に訪れる所定期間)の生体情報値の平均値とを比較する。そして、比較部116は、比較結果を被写体状態判定部117に対して出力する。
被写体状態判定部117は、比較部116の比較結果に基づいて、ユーザが所定の状態となったか否かを判定する。例えば、被写体状態判定部117は、比較部116による比較において比較基準値と、第2の所定期間の生体情報値の平均値とが略同一となった場合にユーザが所定の状態となったと判定する。一方で、被写体状態判定部117は、比較部116による比較において比較基準値と、第2の所定期間の生体情報値の平均値とが略同一となっていない場合には、ユーザが所定の状態となっていないと判定する。なお、補正部115による補正量や、被写体状態判定部117の判定における略同一となった基準は、測定対象とする生体情報値の種類や、ガイダンスの内容に応じて適宜設定することができる。また、各ユーザの生体情報値の測定履歴の平均値や、複数ユーザの生体情報値の測定履歴の平均値等に応じて、適宜設定を変更することができる。
このようにして判定を行った被写体状態判定部117は、判定結果を表示制御部112に対して出力する。上述したように表示制御部112は、この被写体状態判定部117による判定結果に基づいて、表示部19における表示の表示制御を行なう。例えば、表示制御部112は、ユーザが所定の状態となっていない場合には、現在表示しているガイダンス情報の表示を継続する。一方で、表示制御部112は、ユーザが所定の状態となっている場合には、現在表示しているガイダンス情報の表示を切り替えて、新たなガイダンス情報の表示を開始する。
[比較判定の考え方]
以上、各機能ブロックについて説明をした。次に、図6、図7、及び図8を参照して、上述した各機能ブロックが協働することにより行われる、比較判定の考え方について説明をする。ここで、図6は、表示制御処理における施術に伴うユーザの変化について示す模式図である。また、図7は、表示制御処理における施術前の脈波データを示す模式図である。更に、図8は、表示制御処理における施術後の脈波データを示す模式図である。
上述したように、本実施形態では、ユーザの画像に基づいて脈波を測定する。ここで、ユーザが顔の頬の施術(例えば、マッサージ)を行うことで、時間の経過と共に顔全体の血流量が増えるため、施術前と後を比べると脈波の波形の平均値がプラス方向に変化する。すなわち、DCオフセットが生じる。例えば、図6(A)、図6(B)、及び図6(C)として示すように、マッサージ開始後、時間の経過と共に、顔全体の血流量を示す、皮下の血液中ヘモグロビンが吸収する緑色信号の輝度が高くなる。なお、図示の都合上、図中では、輝度をハッチングの濃度にて示している。
これを、生体情報値取得部113が取得する生体情報値が示す波形(ここでは、脈波の波形)として捉えると、図7に示すような時間と共に変化する波形となる。図7に示すのは施術前の脈波の波形であり、すなわち、第1の所定期間における波形である。なお、図中では、波形を模式的に正弦波として示しているが、これは説明の便宜のためであり、必ずしもこのような正弦波にはならない。この波形を平均値算出部114により平均化した値を、図中に脈波平均値として示す。
同様にして、図8に、施術後の脈波の波形、すなわち、第2の所定期間における波形を示す。また、この波形を平均値算出部114により平均化した値も、図7と同様に図中に脈波平均値として示す。
ここで、施術前後の脈波平均値は、DCオフセット分だけ変化している。本実施形態では、このDCオフセットを測定し、変化分が規定のレベル以上プラス分に変化した場合、施術が行われたと判定する。
そのために、上述したように、補正部115は、第1の所定期間において測定した脈波の波形の平均値を、規定のレベル以上プラス分に補正することにより比較基準値とする。そして、被写体状態判定部117は、比較部116の比較結果に基づいて、比較基準値と、第2の所定期間において測定した脈波の波形の平均値が略同一となった場合に、施術が終了したと判定する。そして、表示制御部112は、この判定結果に基づいて、既に終了した施術に対応する情報(例えば、既に終了した施術のやり方についてのガイダンス情報)から、新たな施術に対応する情報(例えば、新たな施術のやり方についてのガイダンス情報)を表示するように、表示制御を行なう。
以上が、本実施形態における比較判定の考え方である。
なお、施術の種類及び生体情報値の種類によっては、DCオフセットがマイナス分に生じることがある。例えば、ユーザをリラックスさせる施術であって、生体情報値がリラックスに伴い低下する血圧や脈拍の場合には、DCオフセットがマイナス分に生じることがある。このような場合には、第1の所定期間において測定した脈波の波形の平均値を、規定のレベル以上マイナス分に補正することにより比較基準値とすればよい。
[表示制御処理]
図9は、図5の機能的構成を有する図1の表示装置1が実行する表示制御処理の流れを説明するフローチャートである。また、図10は、表示制御処理での表示例の遷移を示す模式図である。
表示制御処理は、例えば、表示装置1の電源投入や、ユーザによる表示制御処理の開始時操作と共に開始される。
ステップS11において、設定処理部111は、初期設定を行う。例えば、設定処理部111は、サーバ群3に含まれるアプリケーション配信サーバから、表示制御処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部111は、アプリケーションソフトウェアの動作に伴い、撮像部16等の各ハードウェアに対して、アプリケーションソフトウェアに応じた設定を行う。そして、設定処理部111は、撮像部16による撮像を開始させる。
ステップS12において、設定処理部111は、メニュー選択を行なう。例えば、ユーザの選択操作に応じて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク(化粧)」を行う等の、ガイダンスの内容を選択する。
ステップS13において、生体情報値取得部113は、トラッキング等を行い被写体情報の取得を開始する。この場合、鏡部18及び表示部19における重畳表示としては、例えば、図10(A)に示すように、ユーザの顔の鏡像に、トラッキング用のガイド情報が表示される。ユーザは、このガイド情報に基づいて顔の位置を調整する。これにより、迅速にトラッキングを行なうことができる。
ステップS14において、生体情報値取得部113は、所定期間の生体情報値を取得する。これは、上述した第1の所定期間に相当する。この場合、鏡部18及び表示部19における重畳表示としては、例えば、図10(B)に示すように、ユーザの顔の鏡像に、ROIの位置と、測定されている生体情報値(ここでは、緑色信号の輝度)が表示される。ユーザは、この表示を参照することにより、生体情報値を取得中であることを認識することができる。
ステップS15において、表示制御部112は、ステップS12おけるメニュー選択に基づいて、新たなガイダンス情報を表示する。この場合、鏡部18及び表示部19における重畳表示としては、例えば、図10(C)に示すように、ユーザの顔の鏡像に、施術を行なうためのガイダンス情報が表示される。ユーザは、このガイダンス情報を参照して、適切に施術を行なうことができる。
ステップS16において、平均値算出部114は、ステップS14において取得した第1の所定期間の生体情報値の平均値を算出する。
ステップS17において、補正部115は、補正により比較基準値を算出する。
ステップS18において、生体情報値取得部113は、ステップS15におけるガイダンス情報の表示から(すなわち、ユーザによる施術開始から)所定時間が経過し、第2の所定期間となったか否かを判定する。所定時間が経過し、第2の所定期間となった場合は、ステップS18においてYesと判定され、処理はステップS19に進む。一方で、所定時間が経過し、第2の所定期間となっていない場合は、ステップS18においてNoと判定され、ステップS18の判定は繰り返される。
ステップS19において、生体情報値取得部113は、所定期間の生体情報値を取得する。これは、上述した第2の所定期間に相当する。
ステップS20において、平均値算出部114は、ステップS19において取得した第2の所定期間の生体情報値の平均値を算出する。
ステップS21において、比較部116は、ステップS17において補正部115により算出された比較基準値と、ステップS20において平均値算出部114により算出された第2の所定期間の生体情報値とを比較する。
ステップS22において、被写体状態判定部117は、比較部116による比較の結果に基づいて、比較基準値と、第2の所定期間において測定した脈波の波形の平均値が略同一となったか否かを判定する。略同一となった場合は、ステップS22においてYesと判定され、処理はステップS24に進む。一方で、略同一となっていない場合は、ステップS23においてNoと判定され、処理はステップS23に進む。
ステップS23において、表示制御部112は、所定の条件が満たされたか否かを判定する。所定の条件とは、表示制御部112の機能ブロックの説明の際に上述したように、ガイダンス情報の表示を開始してから所定時間が経過したことや、ユーザの切り替え指示操作があったことである。所定の条件が満たされた場合は、ステップS23においてYesと判定され、処理はステップS24に進む。一方で、所定の条件が満たされない場合は、ステップS23においてNoと判定され、処理はステップS18に戻り、再度所定時間が経過し、次回の第2の所定の期間が訪れるまで判定を繰り返すに進む。この場合、鏡部18及び表示部19における重畳表示としては、例えば、図10(C)に示す表示が継続される。
ステップS24において、表示制御部112は、次に表示すべきガイダンス情報が有るか否かを判定する。次に表示すべきガイダンス情報が有る場合は、ステップS24においてYesと判定され、処理はステップS15に戻る。そして、表示制御部112は、次に表示すべきガイダンス情報を新たに表示し、ステップS16以後の処理が繰り返される。この場合、鏡部18及び表示部19における重畳表示としては、例えば、図10(D)に示すように、ユーザの顔の鏡像に、新たな施術を行なうための新たなガイダンス情報が表示される。ユーザは、この新たなガイダンス情報を参照して、適切に新たな施術を行なうことができる。
一方で、次に表示すべきガイダンス情報が無い場合は、ステップS24においてNoと判定され、本表示制御処理は終了する。
以上説明した表示制御処理によれば、生体情報値の変化に基づいて、被写体となったユーザが処理の状態となったか否かを判定できる。そして、このような判定結果に基づいて、表示制御を行なうことができる。すなわち、ユーザの変化に関する判定を行なうことができる。
つまり、表示装置1が表示制御処理を行なうことにより、ユーザにとって適切なタイミングで表示装置の表示制御を行なうことができる。
なお、次回以降に行われる表示制御処理では、ステップS11におけるアプリケーションの取得等の処理を省略してよい。
以上のように構成される表示装置1は、生体情報値取得部113と、比較部116と、被写体状態判定部117と、を備える。
生体情報値取得部113は、ユーザの生体情報値を逐次取得する。
比較部116は、生体情報値取得部113により逐次取得された第1の生体情報値と、生体情報値取得部113により逐次取得された第1の生体情報値とは異なる第2の生体情報値とを比較する。
被写体状態判定部117は、比較部116による比較結果に基づいて、ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する。
これにより、生体情報値の変化に基づいて、被写体となったユーザが処理の状態となったか否かを判定できる。すなわち、ユーザに対する施術により当該ユーザが所定の改善が得られたか否かを判定できる。このような判定を行なうことから、ユーザにとって適切なタイミングで表示装置の表示制御を行なうことができる。
表示装置1は、補正部115を更に備える。
補正部115は、第1の生体情報値に対して所定の補正を行なうことにより、補正後の第1の生体情報値とする。
比較部116は、補正後の第1の生体情報値と、第2の生体情報値とを比較する。
これにより、生体情報値の変化に基づいて、被写体となったユーザが処理の状態となったか否かを判定できる。
被写体状態判定部117は、比較部116による比較において補正後の第1の生体情報値と、第2の生体情報値とが略同一となった場合にユーザに対する施術により当該ユーザが所定の改善が得られたと判定する。
これにより、2つの生体情報が略同一となったか否かという定量的な基準に基づいて、ユーザに対する施術により当該ユーザが所定の改善が得られたか否かを判定することができる。
表示装置1は、表示部19と、表示制御部112を更に備える。
表示制御部112は、被写体状態判定部117による判定結果に応じて第1の報知情報を表示部19に表示する。
これにより、判定結果に応じて、ユーザにとって適切なタイミングで、所定の報知情報を表示することができる。
表示部19は、被写体状態判定部117によりユーザに対する施術により当該ユーザが所定の改善が得られたと判定された場合に、第1の報知情報とは異なる第2の報知情報を表示部19に表示する。
これにより、判定結果に応じて、ユーザにとって適切なタイミングで、所定の報知情報を切り替えて表示することができる。
表示装置1は、表示部19と表示方向に対して重畳する鏡部18を更に備える。
表示制御部112は、被写体状態判定部117による判定結果に応じて、鏡部18に反射される鏡像に重畳する表示部19の所定の位置の表示を制御する。
これにより、鏡像と、表示部における表示とを、適切に重畳することができる。
第1の生体情報値はユーザに対する所定の処置の開始時の値である。
これにより、所定の処置(例えば、マッサージ)の開始時との比較を行なうことができる。
第1の生体情報値及び第2の生体情報値は、生体情報値取得部113により生体情報が取得されている所定の時間若しくは周期の範囲である所定期間に取得される。
これにより、例えば、脈波等の瞬時値を観察するのみでは把握しにくい生体情報に基づいて判定ができる。
表示装置1は、平均値算出部114を更に備える。
平均値算出部114は、生体情報値から平均値を算出する。
生体情報値取得部113により逐次取得された第1の生体情報値及び第2の生体情報値は、所定期間に取得された平均値である。
これにより、平均値同士を比較して、判定をすることができる。
表示装置1は、撮像部16を更に備える。
生体情報値取得部113は、撮像部16により取得されたユーザを含む画像から生体情報値を逐次取得する。
これにより、ユーザに直接接触することなく判定をすることができる。
被写体状態判定部117は、比較部116による比較において、第1の生体情報値が取得されてから所定の時間以内にユーザに対する施術により当該ユーザが所定の改善が得られたと判定できない場合であっても、所定の条件が満たされたならばユーザに対する施術により当該ユーザが所定の改善が得られたと判定する。
これにより、ユーザの操作や規定時間の経過等の所定の条件が満たされた場合に、判定を行なうことができる。
[変形例]
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。
<ハーフミラーを省略した変形例>
鏡部18を省略した構造の装置によって表示装置1を実現するようにしてもよい。
この場合、撮像部16によりユーザを撮像し、撮像したユーザの画像を表示部19に表示するようにすればよい。例えば、上述したガイダンス情報や、生体情報や生体情報から生成される情報と、撮像したユーザの画像を合成し、表示部19に表示するようにすればよい。この場合には、撮像したユーザの画像と、他の情報との配置を適切に行い、重畳するべき情報(例えば、ユーザのツボの位置と、ツボに対応するユーザの画像部分)はユーザの画像の対応する場所に重畳して表示し、重畳すべきでない情報(例えば、生体情報と、ユーザの顔の中央部等)はユーザの画像と重畳しないように表示してもよい。
このようにしても、上述した実施形態と同様の効果を奏することができる。
<比較基準値を用いない変形例>
上述の実施形態では、被写体状態判定部117は、比較部116による比較において比較基準値と、第2の所定期間の生体情報値の平均値とが略同一となったか否かに基づいて、ユーザが所定の状態となったか否かを判定していた。これに限らず、被写体状態判定部117は、比較部116による比較において、第1の所定期間の生体情報値の平均値と、第2の所定期間の生体情報値の平均値との変化(すなわち、DCオフセット)の量が所定値以上となったか否かに基づいて、ユーザが所定の状態となったか否かを判定するようにしてもよい。すなわち、比較基準値を用いずに、第1の所定期間の生体情報値の平均値と、第2の所定期間の生体情報値の平均値とを直接比較して、ユーザが所定の状態となったか否かを判定するようにしてもよい。
<生体センサを用いた変形例>
上述の実施形態では、生体情報値取得部113はユーザに対して非接触で生体情報の計測を行うとしたが、これに限らない。例えば、生体情報値取得部113は、ユーザに接触する生体センサを用いて生体情報の計測を行ってもよい。
このようにしても、上述した実施形態と同様の効果を奏することができる。
<他の変形例>
例えば、上述の実施形態において、表示装置1と、サーバ群3に含まれる各サーバとが協働することを想定していたが、各サーバの機能を表示装置1に追加して、表示装置1のみで全ての処理を行うようにしてもよい。
また、上述の実施形態では、本発明が適用される表示装置1は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図5の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が表示装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図5の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図4のリムーバブルメディア100により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア100は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD,Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図4のROM12や、図4、5の記憶部20に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
ユーザの生体情報値を逐次取得する生体情報値取得手段と、
前記生体情報値取得手段により逐次取得された第1の生体情報値と、前記生体情報値取得手段により逐次取得された前記第1の生体情報値とは異なる第2の生体情報値とを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定手段と、
を備えることを特徴とする判定装置。
[付記2]
前記前記第1の生体情報値に対して所定の補正を行なうことにより、補正後の第1の生体情報値とする補正手段を更に備え、
前記比較手段は、前記補正後の第1の生体情報値と、前記第2の生体情報値とを比較する、
ことを特徴とする付記1に記載の判定装置。
[付記3]
前記判定手段は、前記比較手段による比較において前記補正後の第1の生体情報値と、前記第2の生体情報値とが略同一となった場合に前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する、
ことを特徴とする付記2に記載の判定装置。
[付記4]
表示手段を備え、
前記判定手段による判定結果に応じて第1の報知情報を前記表示手段に表示する表示制御手段を更に備えることを特徴とする付記1乃至3の何れか1に記載の判定装置。
[付記5]
前記表示制御手段は、前記判定手段により前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定された場合に、前記第1の報知情報とは異なる第2の報知情報を前記表示手段に表示する、
ことを特徴とする付記4に記載の判定装置。
[付記6]
前記表示手段と表示方向に対して重畳する反射手段を更に備え、
前記表示制御手段は、前記判定手段による判定結果に応じて、前記反射手段に反射される鏡像に重畳する前記表示手段の所定の位置の表示を制御する、
ことを特徴とする付記4又は5に記載の判定装置。
[付記7]
前記第1の生体情報値は前記ユーザに対する所定の処置の開始時の値である、
ことを特徴とする付記1乃至6の何れか1に記載の判定装置。
[付記8]
前記第1の生体情報値及び前記第2の生体情報値は、前記生体情報値取得手段により生体情報が取得されている所定の時間若しくは周期の範囲である所定期間に取得される、
ことを特徴とする付記1乃至7の何れか1に記載の判定装置。
[付記9]
生体情報値から平均値を算出する算出手段を更に備え、
前記生体情報値取得手段により逐次取得された第1の生体情報値及び第2の生体情報値は、前記所定期間に取得された平均値である、
ことを特徴とする付記8に記載の判定装置。
[付記10]
撮像手段を更に備え、
前記生体情報値取得手段は、前記撮像手段により撮像された被写体を含む画像から前記生体情報値を逐次取得する、
ことを特徴とする付記1乃至8の何れか1に記載の判定装置。
[付記11]
画像取得手段を更に備え、
前記生体情報値取得手段は、前記画像取得手段により取得されたユーザを含む画像から前記生体情報値を逐次取得する、
ことを特徴とする付記1乃至10の何れか1に記載の判定装置。
[付記12]
前記判定手段は、前記比較手段による比較において、前記第1の生体情報値が取得されてから所定の時間以内に前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定できない場合であっても、所定の条件が満たされたならば前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する、
ことを特徴とする付記1乃至11の何れか1に記載の判定装置。
[付記13]
コンピュータが行う判定方法であって、
ユーザの生体情報値を逐次取得する生体情報値取得ステップと、
前記生体情報値取得ステップにより逐次取得された第1の生体情報値と、前記生体情報値取得ステップにより逐次取得された前記第1の生体情報値とは異なる第2の生体情報値とを比較する比較ステップと、
前記比較ステップによる比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定ステップと、
を備えることを特徴とする判定方法。
[付記14]
ユーザの生体情報値を逐次取得する生体情報値取得機能と、
前記生体情報値取得機能により逐次取得された第1の生体情報値と、前記生体情報値取得機能により逐次取得された前記第1の生体情報値とは異なる第2の生体情報値とを比較する比較機能と、
前記比較機能による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定機能と、
をコンピュータに実現することを特徴とする判定プログラム。
[符号の説明]
1・・・表示装置,2・・・ネットワーク,3・・・サーバ群,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・入力部,18・・・鏡部,19・・・表示部,20・・・記憶部,21・・・通信部,22・・・ドライブ,30・・・本体部,31・・・脚部,32・・・ヒンジ部,100・・・リムーバブルメディア,111・・・設定処理部,112・・・表示制御部,113・・・生体情報値取得部,114・・・平均値算出部,115・・・補正部,116・・・比較部,117・・・被写体状態判定部,201・・・ガイダンス情報記憶部,202・・・比較基準記憶部,S・・・表示システム

Claims (14)

  1. ユーザの生体情報値を逐次取得する生体情報値取得手段と、
    前記生体情報値取得手段により逐次取得された第1の生体情報値と、前記生体情報値取得手段により逐次取得された前記第1の生体情報値とは異なる第2の生体情報値とを比較する比較手段と、
    前記比較手段による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定手段と、
    を備えることを特徴とする判定装置。
  2. 前記前記第1の生体情報値に対して所定の補正を行なうことにより、補正後の第1の生体情報値とする補正手段を更に備え、
    前記比較手段は、前記補正後の第1の生体情報値と、前記第2の生体情報値とを比較する、
    ことを特徴とする請求項1に記載の判定装置。
  3. 前記判定手段は、前記比較手段による比較において前記補正後の第1の生体情報値と、前記第2の生体情報値とが略同一となった場合に前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する、
    ことを特徴とする請求項2に記載の判定装置。
  4. 表示手段を備え、
    前記判定手段による判定結果に応じて第1の報知情報を前記表示手段に表示する表示制御手段を更に備えることを特徴とする請求項1乃至3の何れか1項に記載の判定装置。
  5. 前記表示制御手段は、前記判定手段により前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定された場合に、前記第1の報知情報とは異なる第2の報知情報を前記表示手段に表示する、
    ことを特徴とする請求項4に記載の判定装置。
  6. 前記表示手段と表示方向に対して重畳する反射手段を更に備え、
    前記表示制御手段は、前記判定手段による判定結果に応じて、前記反射手段に反射される鏡像に重畳する前記表示手段の所定の位置の表示を制御する、
    ことを特徴とする請求項4又は5に記載の判定装置。
  7. 前記第1の生体情報値は前記ユーザに対する所定の処置の開始時の値である、
    ことを特徴とする請求項1乃至6の何れか1項に記載の判定装置。
  8. 前記第1の生体情報値及び前記第2の生体情報値は、前記生体情報値取得手段により生体情報が取得されている所定の時間若しくは周期の範囲である所定期間に取得される、
    ことを特徴とする請求項1乃至7の何れか1項に記載の判定装置。
  9. 生体情報値から平均値を算出する算出手段を更に備え、
    前記生体情報値取得手段により逐次取得された第1の生体情報値及び第2の生体情報値は、前記所定期間に取得された平均値である、
    ことを特徴とする請求項8に記載の判定装置。
  10. 撮像手段を更に備え、
    前記生体情報値取得手段は、前記撮像手段により撮像された被写体を含む画像から前記生体情報値を逐次取得する、
    ことを特徴とする請求項1乃至8の何れか1項に記載の判定装置。
  11. 画像取得手段を更に備え、
    前記生体情報値取得手段は、前記画像取得手段により取得されたユーザを含む画像から前記生体情報値を逐次取得する、
    ことを特徴とする請求項1乃至10の何れか1項に記載の判定装置。
  12. 前記判定手段は、前記比較手段による比較において、前記第1の生体情報値が取得されてから所定の時間以内に前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定できない場合であっても、所定の条件が満たされたならば前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する、
    ことを特徴とする請求項1乃至11の何れか1項に記載の判定装置。
  13. コンピュータが行う判定方法であって、
    ユーザの生体情報値を逐次取得する生体情報値取得ステップと、
    前記生体情報値取得ステップにより逐次取得された第1の生体情報値と、前記生体情報値取得ステップにより逐次取得された前記第1の生体情報値とは異なる第2の生体情報値とを比較する比較ステップと、
    前記比較ステップによる比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定ステップと、
    を備えることを特徴とする判定方法。
  14. ユーザの生体情報値を逐次取得する生体情報値取得機能と、
    前記生体情報値取得機能により逐次取得された第1の生体情報値と、前記生体情報値取得機能により逐次取得された前記第1の生体情報値とは異なる第2の生体情報値とを比較する比較機能と、
    前記比較機能による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定機能と、
    をコンピュータに実現することを特徴とする判定プログラム。
JP2018187505A 2018-10-02 2018-10-02 判定装置、判定方法及び判定プログラム Active JP7230409B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018187505A JP7230409B2 (ja) 2018-10-02 2018-10-02 判定装置、判定方法及び判定プログラム
CN201910897648.6A CN110993051B (zh) 2018-10-02 2019-09-20 判定装置、判定方法以及记录介质
US16/583,092 US11545048B2 (en) 2018-10-02 2019-09-25 Advising apparatus, advising method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018187505A JP7230409B2 (ja) 2018-10-02 2018-10-02 判定装置、判定方法及び判定プログラム

Publications (3)

Publication Number Publication Date
JP2020054633A true JP2020054633A (ja) 2020-04-09
JP2020054633A5 JP2020054633A5 (ja) 2021-10-28
JP7230409B2 JP7230409B2 (ja) 2023-03-01

Family

ID=69946024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018187505A Active JP7230409B2 (ja) 2018-10-02 2018-10-02 判定装置、判定方法及び判定プログラム

Country Status (3)

Country Link
US (1) US11545048B2 (ja)
JP (1) JP7230409B2 (ja)
CN (1) CN110993051B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4075776B1 (en) * 2021-04-12 2023-11-01 Nokia Technologies Oy Mapping pulse propagation
DE102021117532A1 (de) * 2021-07-07 2023-01-12 Bundesdruckerei Gmbh Vorrichtung und Verfahren zur Erzeugung eines biometrischen Bildes eines Gesichts einer Person

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005028016A (ja) * 2003-07-11 2005-02-03 Family Co Ltd マッサージシステム、マッサージ機及び制御プログラムデータベース
JP2005065812A (ja) * 2003-08-21 2005-03-17 Nec Fielding Ltd 健康診断システム,方法およびプログラム
JP2008011994A (ja) * 2006-07-04 2008-01-24 Shiseido Co Ltd シミの再発鑑別法
JP2008086781A (ja) * 2007-10-05 2008-04-17 Pola Chem Ind Inc エステティック施術の効果の評価法
WO2015098977A1 (ja) * 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
JP2016190022A (ja) * 2015-03-30 2016-11-10 国立大学法人東北大学 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法
WO2018088358A1 (ja) * 2016-11-10 2018-05-17 シャープ株式会社 脈波検出装置、画像解析装置および生体情報生成システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6696092B2 (en) * 1992-02-07 2004-02-24 Vasogen Ireland Limited Endothelial lining effects and treatment of vasospastic disorders
JPH10201806A (ja) 1997-01-24 1998-08-04 Mitsubishi Electric Corp 椅子式電動マッサージ機
ATE376222T1 (de) * 2002-04-23 2007-11-15 Activcard Ireland Ltd Biometrisches sicherheitssystem
US7842808B2 (en) * 2002-06-05 2010-11-30 Bristol-Myers Squibb Company Anti-migraine spirocycles
JP5204477B2 (ja) 2007-12-25 2013-06-05 パナソニック株式会社 健康管理システム
WO2010009557A1 (en) * 2008-07-25 2010-01-28 Sanomune Inc. Tissue kallikrein for the treatment of parkinson's disease
WO2014136310A1 (ja) * 2013-03-08 2014-09-12 富士フイルム株式会社 脈波伝播速度の測定方法及びシステム並びに撮像装置
ES2602078T3 (es) * 2013-03-15 2017-02-17 Lonza Cologne Gmbh Composiciones y métodos para mejorar el potencial terapéutico de las células madre
JP2015058096A (ja) * 2013-09-18 2015-03-30 カシオ計算機株式会社 運動支援装置及び運動支援方法、運動支援プログラム
JP6376588B2 (ja) * 2014-03-28 2018-08-22 Necエンベデッドプロダクツ株式会社 生体情報測定装置、生体情報測定システム及び生体情報測定方法
ES2871089T3 (es) * 2014-05-16 2021-10-28 Corcept Therapeutics Inc Sistemas y métodos de gestión del tratamiento de la enfermedad de Cushing mediante el seguimiento de síntomas
JP6493680B2 (ja) * 2014-10-09 2019-04-03 パナソニックIpマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
EP3121744A1 (en) * 2015-07-24 2017-01-25 Persais, LLC System and method for virtual treatments based on aesthetic procedures
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
CN107960989B (zh) * 2016-10-20 2022-02-08 松下知识产权经营株式会社 脉搏波计测装置以及脉搏波计测方法
US10302923B2 (en) * 2016-10-26 2019-05-28 Molecular Devices, Llc Trans-illumination imaging with use of interference fringes to enhance contrast and find focus
CN107239671A (zh) * 2017-06-27 2017-10-10 京东方科技集团股份有限公司 一种皮肤状态的管理方法、装置和系统
CN107863156A (zh) * 2017-12-26 2018-03-30 桂林电子科技大学 一种高血压筛查与管理方法与装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005028016A (ja) * 2003-07-11 2005-02-03 Family Co Ltd マッサージシステム、マッサージ機及び制御プログラムデータベース
JP2005065812A (ja) * 2003-08-21 2005-03-17 Nec Fielding Ltd 健康診断システム,方法およびプログラム
JP2008011994A (ja) * 2006-07-04 2008-01-24 Shiseido Co Ltd シミの再発鑑別法
JP2008086781A (ja) * 2007-10-05 2008-04-17 Pola Chem Ind Inc エステティック施術の効果の評価法
WO2015098977A1 (ja) * 2013-12-25 2015-07-02 旭化成株式会社 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
JP2016190022A (ja) * 2015-03-30 2016-11-10 国立大学法人東北大学 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法
WO2018088358A1 (ja) * 2016-11-10 2018-05-17 シャープ株式会社 脈波検出装置、画像解析装置および生体情報生成システム

Also Published As

Publication number Publication date
CN110993051B (zh) 2023-11-07
JP7230409B2 (ja) 2023-03-01
CN110993051A (zh) 2020-04-10
US20200105158A1 (en) 2020-04-02
US11545048B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
US11029830B2 (en) Display control apparatus, display controlling method and display control program for providing guidance using a generated image
US11521575B2 (en) Electronic device, electronic device control method, and medium
US11800989B2 (en) Electronic device, control method for the electronic device, and storage medium
JP7230409B2 (ja) 判定装置、判定方法及び判定プログラム
US20220087547A1 (en) Electronic device, control method for electronic device, and recording medium
JP7135466B2 (ja) 表示装置、表示方法及び表示プログラム
JP7139638B2 (ja) 報知装置、報知方法及び報知プログラム
US10915617B2 (en) Image processing apparatus, image processing method, and recording medium
JP7415318B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020057153A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP7392806B2 (ja) 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP7225749B2 (ja) 報知装置、報知方法及びプログラム
WO2021060250A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7485114B2 (ja) 報知装置、報知方法及びプログラム
JP2019208906A (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R150 Certificate of patent or registration of utility model

Ref document number: 7230409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150