JP2015192844A - 脳機能障害者生活支援装置 - Google Patents

脳機能障害者生活支援装置 Download PDF

Info

Publication number
JP2015192844A
JP2015192844A JP2014171358A JP2014171358A JP2015192844A JP 2015192844 A JP2015192844 A JP 2015192844A JP 2014171358 A JP2014171358 A JP 2014171358A JP 2014171358 A JP2014171358 A JP 2014171358A JP 2015192844 A JP2015192844 A JP 2015192844A
Authority
JP
Japan
Prior art keywords
face image
support device
life support
motion portrait
created
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014171358A
Other languages
English (en)
Other versions
JP6149230B2 (ja
Inventor
志信 中川
Yukinobu Nakagawa
志信 中川
藤田　純一
Junichi Fujita
純一 藤田
千加 伊豆田
Chika Izuta
千加 伊豆田
俊雄 坂本
Toshio Sakamoto
俊雄 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka Univ Of Arts
Original Assignee
Osaka Univ Of Arts
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka Univ Of Arts filed Critical Osaka Univ Of Arts
Priority to JP2014171358A priority Critical patent/JP6149230B2/ja
Priority to PCT/JP2015/069972 priority patent/WO2016031405A1/ja
Publication of JP2015192844A publication Critical patent/JP2015192844A/ja
Application granted granted Critical
Publication of JP6149230B2 publication Critical patent/JP6149230B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nursing (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Telephone Function (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】介護老人ホームなどの介護施設で手軽に扱えて脳機能障害者の生活を支援する脳機能障害者生活支援装置を提供する。
【解決手段】通話機能を有するタブレット端末に、所要数の基本表情を組み合わせて擬似三次元化した画像を作成するモーションポートレート画像作成手段１０を構築し、通話時に近親者の顔画像を対話内容に合わせて変化させたモーションポートレート顔画像を作成するようにし、脳機能障害高齢者の脳機能の回復を図るようにした脳機能障害者生活支援装ＬＳである。
【選択図】図２

Description

本発明は、脳機能障害者生活支援装置に関する。さらに詳しくは、認知症患者などの脳機能障害を有する高齢者(以下、単に脳機能障害高齢者という)に家族と電話を介して会話を楽しませるなどして日常生活を支援する脳機能障害者生活支援装置に関する。
従来より、脳機能障害高齢者の治療の一環として回想法が取り入れられている。この回想法においては、話相手はその高齢者の人生における思い出を共感的な態度で聞くことが必要とされている。かかる脳機能障害高齢者と共感的な態度で話相手になれる相手としては、家族などの近親者が最も相応しい。
しかしながら、核家族化が進展している現在、脳機能障害高齢者は、有料介護老人ホームなどの介護施設に入所しているのが一般的であるため、家族が常時、脳機能障害高齢者の話相手となるのは、事実上不可能である。
かかる状況を改善しようとして、特許文献１には、遠隔対話支援装置および遠隔対話支援方法が提案されている。
しかしながら、特許文献１の提案にかかるものにあっては、設備が複雑であるため、手軽に扱えないという問題がある。
特開２０１３−１６７９８７号公報
本発明はかかる従来技術の課題に鑑みなされたものであって、有料介護老人ホームなどの介護施設で手軽に扱えて脳機能障害者の生活を支援する脳機能障害者生活支援装置を提供することを目的としている。
本発明の脳機能障害者生活支援装置は、通話機能を有するタブレット端末にモーションポートレート画像を作成するモーションポートレート画像作成手段を構築してなる脳機能障害者の生活を支援する脳機能障害者生活支援装置であって、前記支援装置は、当該支援装置を使用する脳機能障害者の近親者の顔画像データと、前記近親者の音声データとを同近親者の電話番号と関連づけて有し、通話時に受信した電話番号から当該近親者を特定し、前記特定した近親者の顔画像データを同近親者の音声データに基づいてモーションポートレート顔画像を作成し、当該通話時に表示入力部に表示することを特徴とする。
本発明の脳機能障害者生活支援装置においては、通話相手の音声を選択的に録音して同通話相手の音声データを作成し、前記音声データに基づいてモーションポートレート顔画像を作成するようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、作成したモーションポートレート顔画像を再生時に再生音声に同期させて表示入力部に表示するようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、音声データにキーワードが付与されてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、音楽や歌が格納され、格納された音楽や歌の再生時にその音楽や歌に合わせてモーションポートレート顔画像が作成されるようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、音声データが想定対話に基づいて作成され、前記音声データによりモーションポートレート顔画像が作成され、作成されたモーションポートレート顔画像が、当該音声データが音声として出力されると想定されるタイミングに一致させ表示入力部に表示されるようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、通話時の通話内容をサーチして所定のキーワードを検出し、検出したキーワードに基づいて格納されている音声データ群から該当するキーワードを含む音声データを選択するようされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、通話時における近親者の感性度合を自動的に判定する感性制御技術手段を有し、前記判定された感性度合に基づいてモーションポートレート顔画像を修正するようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、動物の顔画像が表示されるようにされ、かつ、前記表示された動物の顔画像のモーションポートレート顔画像が作成されるようにされてなるのが好ましい。
しかして、本発明の脳機能障害者生活支援装置は、例えばロボットに配設される。
その場合、ロボットが走行ロボットとされてなるのが好ましく、またロボットが接触式センサと、該センサからの接触信号に応答して動作する動作部を有してなるのも好ましい。
また、ロボットが表示された動物の顔画像がタッチされると動作する可動体を有してなるのも好ましい。
本発明は、前記の如く構成されているので、脳機能障害者のベッド上やベッド上のテーブルに載置することができ、脳機能障害者がベッドに居ながらにして近親者との対話を楽しむなどして生活の質を向上できるという優れた効果を奏する。
本発明の実施形態１に係る脳機能障害者生活支援装置のブロックである。 同脳機能障害者生活支援装置のモーションポートレート画像作成手段の機能ブロック図である。 本発明の実施形態２に係る同脳機能障害者生活支援装置のモーションポートレート画像作成手段の機能ブロック図である。 同脳機能障害者生活支援装置の待ち受け画面を示す図である。 本発明の実施形態３に係る脳機能障害者生活支援装置のブロックである。 通常のモーションポートレート画像を示す図である。 感性制御技術により喜びを強調したモーションポートレート画像を示す図である。 感性制御技術により目の喜びを強調したモーションポートレート画像を示す図である。 感性制御技術により口の喜びを強調したモーションポートレート画像を示す図である。 本発明の実施形態４に係る脳機能障害者生活支援装置のモーションポートレート画像作成手段のブロックである。 本発明の実施形態５に係る脳機能障害者生活支援装置のブロックである。 同実施形態の動物顔画像加工手段のブロック図である。 本発明の応用例１のブロックである。 同応用例１の要部概略図である。 同応用例のロボットのブロック図である。 同応用例１のロボットコントローラのブロック図である。 本発明の応用例２の概略図である。 本発明の変形例の概略図である。
以下、添付図面を参照しながら本発明を実施形態に基づいて説明するが、本発明はかかる実施形態のみに限定されるものではない。
実施形態１
本発明の実施形態１に係る脳機能障害者生活支援装置(以下、単に支援装置という)を図１に概略図で示す。
支援装置ＬＳは、図１に示すように、通話機能を有するタッチパネル式表示入力部(以下、単に表示入力部という)ＴＰを備えたタブレット端末(以下、単に端末という)に、モーションポートレート画像を作成するモーションポートレート画像作成手段１０を構築してなるものとされる。
ここで、モーションポートレート画像とは、二次元画像データを演算処理して作成される擬似三次元画像をいう。より具体的には、幾つかの基本表情、例えば３２の基本表情を任意の割合で混合することにより、様々な表情として作成された擬似三次元画像をいう。
モーションポートレート画像作成手段１０は、図２に示すように、脳機能障害高齢者の家族などの近親者(以下、近親者で代表する)の電話番号を格納する電話番号格納部１１と、受信した電話番号から当該近親者を特定する近親者特定部１２と、近親者の顔の二次元画像データを格納する二次元顔画像データ格納部１３と、特定した近親者(以下、特定近親者という)の二次元顔画像データを抽出する二次元顔画像データ抽出部１４と、想定対話時音声データ格納部１５と、想定対話時音声データ選択部１６と、選択された想定対話時音声データに基づいて二次元顔画像データを所定の処理基準により演算処理してモーションポートレート顔画像を作成する画像演算部１７と、画像演算部１７により作成されたモーションポートレート顔画像を蓄積する顔画像蓄積部１８と、顔画像蓄積部１８に蓄積された顔画像を所定のタイミングで順次出力する顔画像出力部１９と、を有するものとされる。
想定対話時音声データ格納部１５に格納される想定対話時音声データは、脳機能障害高齢者と電話で対話する可能性のある全ての近親者について事前に作成される。可能性のある近親者全員について音声データを作成するのは、作成されるモーションポートレート顔画像を対話の状況に応じた顔にできるだけ近づけるためである。
想定対話には、近況を尋ねるもの、誕生日を祝うもの、病気からの快復を喜ぶものなどが含まれる。また、想定対話に基づいて作成された想定対話時音声データは、想定対話時音声データ選択部１６の選択の便宜のために当該近親者名が付されるとともに、適当な検索キーワードが付されて想定対話時音声データ格納部１５に格納される。例えば、近況を尋ねるものにあっては、「近況」、誕生日を祝うものにあっては、「誕生日」、病気からの快復を喜ぶものにあっては、「病気」というような検索キーワードが付される。
想定対話時音声データ選択部１６は、特定近親者名およびキーワードに基づいて特定近親者の想定対話時音声データ群から所望の想定対話時音声データを選択して抽出するものとされる。
次に、かかる構成とされたモーションポートレート画像作成手段１０によるモーションポートレート顔画像の作成について説明する。
処理１：受信した電話番号から通話の主を特定する。すなわち、近親者特定部１２は、電話番号格納部１１に格納されている電話番号を参照して電話の主を特定する。つまり、電話してきた近親者を特定する。
処理２：特定近親者の顔画像データを抽出する。すなわち、二次元顔画像データ抽出部１４は、二次元顔画像データ格納部１３に格納されている二次元顔画像データから特定近親者の顔画像データを抽出する。
処理３：特定近親者が話す最初の数フレーズからキーワードを抽出し、ついで抽出したキーワードに基づいて特定近親者の想定対話時音声データ群から該当する音声データを選択して抽出する。すなわち、想定対話時音声データ選択部１６は、特定近親者が話す最初の数フレーズをサーチしてその中に含まれるキーワードを抽出し、ついで抽出したキーワードに基づいて想定対話時音声データ格納部１５に格納されている特定近親者の想定対話時音声データ群から該当する音声データを選択して抽出する。
処理４：抽出した音声データに基づいて抽出した二次元顔画像データに対して所定の演算処理をなしてモーションポートレート顔画像を作成する。すなわち、画像演算部１７は、抽出された音声データに基づいて抽出された二次元画像データに対して予め規定されている幾つかの基本表情、例えば３２の基本表情を任意の割合で混合するという画像処理をしてモーションポートレート顔画像を逐次作成する。
処理５：逐次作成されたモーションポートレート顔画像を逐次蓄積する。すなわち、顔画像蓄積部１８は、画像演算部１７により逐次作成されたモーションポートレート顔画像を作成された順に記憶する。
処理６：蓄積された顔画像を表示入力部ＴＰに作成された順に所定のタイミングで表示させる。すなわち、顔画像出力部１９は、顔画像蓄積部１８に蓄積されている顔画像を作成された順に表示入力部ＴＰに逐次出力する。この出力は、想定対話時音声データが音声として出力されると想定されるタイミングにマッチさせてなされるものとされる。というのは、そうすることにより、対話内容と表示される顔画像とのずれを少なくすることができるからである。
なお、かかる機能を有するモーションポートレート画像作成手段１０は、端末に前記処理を実行できるようプログラムを格納することにより実現される。
このように、本実施形態によれば、脳機能障害高齢者と近親者との電話による対話において、表示入力部ＴＰに表示される近親者の顔を対話内容にほぼマッチさせて変化させることができる。そのため、脳機能障害高齢者の脳機能の回復に貢献する度合が大きい。
実施形態２
本発明の実施形態２に係る支援装置ＬＳのモーションポートレート画像作成手段２０を図３に機能ブロック図で示す。
実施形態２は、実施形態１を改変してなるものであって、実施形態１のモーションポートレート画像作成手段１０の機能を拡張して、通話時の近親者の音声を選択的に録音して、当該近親者名およびキーワードを付与して音声データとして格納できるよう実対話時音声データ格納部２１を付加して拡張モーションポートレート画像作成手段２０としてなるものとされ、格納された実対話時音声データは、後述する再生モードにおけるモーションポートレート顔画像作成時に音声データとして利用するものとされる。
ここで、通話時の近親者の音声を選択的に録音するのは、本発明者らの実験によって、脳機能障害高齢者は録音された通話によっても対話を充分に楽しめることが確認されたことによる。
このように、本実施形態によれば、モーションポートレート顔画像作成時に実際の通話時の音声データを利用しているので、対話内容にモーションポートレート顔画像が完全にマッチするという実施形態１では得られない効果が得られる。
ｖ
次に、かかる構成とされた支援装置ＬＳによる脳機能障害高齢者の生活支援について説明する。なお、以下において「直接モード」とは、支援装置ＬＳにより脳機能障害高齢者が近親者と直接対話する態様をいい、「再生モード」とは、支援装置ＬＳに録音した近親者の通話内容を再現して対話する態様をいう。
事前準備
近親者の顔画像(顔画像データ)、近親者の顔アイコン、近親者の電話番号、および近親者の想定対話時音声データを支援装置ＬＳに格納する。
直接モードによる場合(実施形態１における使用態様)
手順１：支援装置ＬＳを待つ受け状態とする。すなわち、表示入力部ＴＰに近親者の顔アイコンを表示させる。図４に待ち受け画面の一例を示す。図中、丸で囲まれた符号Ａ，Ｂ，Ｃはそれぞれ近親者Ａ，Ｂ，Ｃを表す。
手順２：近親者からの着信があると、受信した電話番号から近親者を特定する。
手順３：着信音を鳴らすとともに、特定近親者の顔アイコンを変化させて特定近親者からの電話であることを知らせる。例えば、顔アイコンをハイライトさせる。
手順４：通話が開始されると、特定近親者の顔画像を表示入力部ＴＰに大きく表示する。例えば、特定近親者の顔画像ウインドウを開く。
手順５：通話内容からキーワードを検出し、そのキーワードに基づいて想定対話時音声データを選択する。
手順６：選択された音声データに基づいて表示されている顔画像を変化させる。つまり、その音声データに基づいてモーションポートレート顔画像を作成して表示入力部ＴＰに表示する。
手順７：通話が終了すると、特定近親者の顔画像ウインドウを閉じて待ち受け画面に戻す。
このように、直接モードによる場合は、近親者は脳機能障害高齢者と直接対話ができるので、脳機能障害高齢者が元気でいることが確認できる。一方、脳機能障害者は、対話時に顔画像が対話の内容にほぼマッチして変化するので、対話時における脳への刺激の増大が図られて症状を改善することができる。
再生モードによる場合(実施形態２における使用態様)
手順１１：再生モードを起動する。この起動はタイマーを設定しておいて、設定された時刻になされてもよい。
手順１２：対話させる近親者を選択する。この選択は、例えば、表示されている近親者の顔画像をボタンとし、再生する近親者の顔画像をタッチすることによりなされる。
手順１３：選択された近親者の顔画像ウインドウを開く。
手順１４：選択した近親者の実対話時音声データ群から脳機能障害高齢者の状況にマッチした実対話時音声データを選択する。例えば、病気からの快復を喜ぶ「病気」のキーワードが付与された実対話時音声データを検索して選択する。
手順１５：選択された音声データに基づいて表示されている顔画像を変化させる。つまり、その音声データに基づいてモーションポートレート顔画像を作成して表示入力部ＴＰに表示する。
手順１６：実対話時音声データの再生が終了すると、選択した近親者の顔画像ウインドウを閉じて待ち受け画面に戻す。
このように、再生モードによる場合、近親者に負担をかけることなく、脳機能障害高齢者は対話により脳機能の活性化を図ることができる。
実施形態３
本発明の実施形態３を図５にブロック図で示す。
実施形態３は、実施形態１および実施形態２を改変してなるものであって、モーションポートレート画像作成手段１０，２０に感性制御技術手段３０を付加してなるものとされる。
ここで、感性制御技術とは、韻律情報からロバストな基本周波数を検出し、音声と情動と脳活動との整合性を確認しながら求めるパラメータにより、人の情動を１０段階でマグニチュードを検知し、そこから感情レベル（感性度合）を自動的に付与する技術をいう。
しかして、本実施形態では、感性制御技術手段３０から得られた感性度合に応じてモーションポートレート画像作成の際に、基本画像の混合割合を変化させてモーションポートレート画像を作成するものとされる。
図６に、通常のモーションポートレート画像を示す。図７に、感性制御技術手段３０から得られた喜びの度合を基に、「喜び」を強調して作成されたモーションポートレート画像を対比して示す。
この場合、混合割合を適宜調節することにより、図８に示すように「目の喜び」や、図９に示すように「口の喜び」を強調したモーションポートレート画像とすることもできる。
このように、本実施形態では、感性制御技術手段３０により得られた感性度合により標準的なモーションポートレート画像を修正しているので、作成された顔画像を通話中(録音再生におけるものも含む)の近親者の感情にマッチしたものとすることができる。
実施形態４
本発明の実施形態４のモーションポートレート画像作成手段１０を図１０にブロック図で示す。
実施形態４は、実施形態１を改変してなるものであって、モーションポートレート画像作成手段１０にバックグランドミュージック格納部(以下、ＢＧＭ格納部という)４０を付加してなるものとされる。
ＢＧＭ格納部４０は、主として脳機能障害高齢者が若い頃に好きだった曲を格納するものとされ、格納された曲は通話時にバックグランドミュージックとして出力されるものとされる。この場合、通話してきた近親者は、バックグランドミュージックに合わせて歌うこともできる。また、歌に合わせてモーションポートレート顔画像が作成され、作成されたモーションポートレート顔画像は表示入力部ＴＰに表示されるようにされてもよい。
このように、本実施形態によれば、通話してきた近親者は、脳機能障害高齢者が若い頃に好きだったバックグランドミュージックに合わせて歌うことができ、しかもその歌に合わせてモーションポートレート顔画像を作成することができるので、脳機能障害者の脳機能の回復を促進することができる。
実施形態５
本発明の実施形態５を図１１にブロック図で示す。
実施形態５は、実施形態２を改変してなるものであって、動物顔画像加工手段５０と表示切替手段６０とを付加し、支援装置ＬＳにペット的機能を付与してなるものとされる。
動物顔画像加工手段５０は、動物の二次元顔画像を画像処理してモーションポートレート顔画像とするものであって、図１２に示すように、動物顔加工指示部５１と、動物顔画像データ格納部５２と、動物顔画像データ抽出部５３と、動物顔画像演算部５４と、動物顔画像蓄積部５５と、動物顔画像出力部５６とを含むものとされる。
動物顔加工指示部５１は、例えば表示入力部ＴＰに表示されている動物の顔へのタッチに応答して、表示入力部ＴＰに表示されている動物の顔画像の加工を指示するものとされる。
動物顔画像データ格納部５２は、表示入力部ＴＰに表示される動物の顔画像データを格納するものとされる。格納される顔画像データは、例えば脳機能障害高齢者が若い頃に飼っていた動物、例えば猫や犬の顔画像データとされる。また、顔画像データの格納は、動物顔画像データ抽出部５３の抽出の便宜を考慮して識別番号を付して格納される。
動物顔画像データ抽出部５３は、動物顔画像データ格納部５２に格納されている動物の顔画像データから指定された顔画像データを抽出するものとされる。顔画像データの指定は、例えば介護者が識別番号を指定することによりなされる。
動物顔画像演算部５４は、予め規定されている幾つかの基本表情、例えば１６の基本表情を任意の割合で混合するという画像処理をし、動物の顔のモーションポートレート画像を逐次作成する。例えば、猫が笑っているような画像を作成する。
動物顔画像蓄積部５５は、動物顔画像演算部５４により逐次作成された動物の顔のモーションポートレート画像を逐次蓄積する。
動物顔画像出力部５６は、動物顔画像蓄積部５５に蓄積された動物の顔のモーションポートレート画像を適宜間隔で表示入力部ＴＰに出力する。例えば、一定間隔で出力する。
表示切替手段６０は、入力に応答して、例えば近親者からの電話に応答して、表示入力部ＴＰに表示されている顔画像を近親者の顔画像に切り替えるものとされる。なお、表示入力部ＴＰに切替ボタンを表示しておき、切替ボタンがタッチされることにより、表示画面が切り替えられるようにされてもよい。
このように、本実施形態では、表示入力部ＴＰに動物、例えば脳機能障害者がかつて飼っていた猫などの顔を表示するとともに、そのモーションポートレート画像を表示するようにされているので、支援装置ＬＳの玩具化、例えばペットおもちゃ化することができ、脳機能障害者の脳機能改善に寄与する効果が大きくなる。
次に、本実施形態の支援装置ＬＳをロボットに組み込んだ応用例について説明する。
応用例１
本発明の応用例を図１３にブロック図で示し、図１４に要部を概略図で示す。
ロボットＲは、図１５に示すように、下部ＲＬと上部ＲＵとからなるものとされ、スピーカー１４０と下部ＲＬに上部ＲＵを傾動させる傾動機構１５０とが設けられ、上部ＲＵに触覚センサ(接触式センサ)ＴＳと、腕(動作部)１０２と、その腕１０２を動作させる腕動作機構１６０が設けられるとともに、支援装置ＬＳを収納する収納凹部１０４も設けられてなるものとされる。収納凹部１０４は、例えば正面中央部に設けられる。ここで、ロボットＲの形態は、架空の動物に似せられている。
スピーカー１４０は、本応用例ではステレオタイプとされている。
傾動機構１５０は、サーボモータ(図示省略)を中心的構成要素として備えてなるものとされ、例えば下部ＲＬの中央に設けられる。傾動機構１５０は、公知の傾動機構を好適に用いることができ、その構成に特に限定はない。例えば、サーボモータの回転軸に上部ＲＵ底部に下部ＲＬ側に突出させて設けられた傾動部材を係合することにより、回転軸を回動させて傾動させることができる。
触覚センサＴＳは、例えば金属ワイヤからなる静電容量式タッチセンサとされ、上部ＲＵの適宜位置、例えば両脇に配設される。
腕１０２は右腕１０２Ｒと左腕１０２Ｌとを含むものとされる。また、腕動作機構１６０はサーボモータ(図示省略)を中心的構成要素として備えてなるものとされ、右腕１０２Ｒを動作させる右腕動作機構１６０Ｒと、左腕１０２Ｌを動作させる左腕動作機構１６０Ｌとを含む。腕動作機構１６０による腕１０２の動作は、本応用例では、腕１０２を上下に振るような動作とされる。かかる腕１０２の動作は、例えばサーボモータの回転軸を腕１０２の基端部と係合させることにより実現される。
ロボットコントローラＲＣは、図１６に示すように、入力部１７１と、メモリ１７２と、演算処理部１７３と、出力部１７４と、電源処理部１７５とを備えてなるものとされる。ロボットコントローラＲＣは、具体的には、後述する機能を実現するためのプログラムが格納されたマイコンを中心に構成される。
入力部１７１には、支援装置ＬＳからの音声入力信号、触覚センサＴＳからの検知信号が入力される。
メモリ１７２には、入力部１７１に入力された音声入力信号、触覚センサＴＳからの検知信号、演算処理部１７３の演算処理に必要なデータなどが格納される。
演算処理部１７３は、スピーカー制御信号演算処理手段と、サーボモータ制御信号演算処理手段とを含むものとされる。
スピーカー制御信号演算処理手段は、音声入力信号に基づいて演算処理をしてスピーカーを制御する制御信号を生成するものとされる。
サーボモータ制御信号演算処理手段は、触覚センサＴＳからの検知信号に基づいて演算処理をしてサーボモータの制御信号を生成するものとされる。
例えば、右側の触覚センサＴＳがタッチされた場合には、右腕１０２Ｒを動作させる右腕動作機構１６０Ｒのサーボモータに右腕１０２Ｒを上下に動かす制御信号を生成し、両方の触覚センサＴＳがタッチされた場合には、右腕１０２Ｒを動作させる右腕動作機構１６０Ｒのサーボモータおよび左腕１０２Ｌを動作させる左腕動作機構１６０Ｌのサーボモータに右腕１０２Ｒおよび左腕１０２Ｌを同時に上下に動かす制御信号を生成し、左側の触覚センサＴＳが上方に移動させられた場合には、傾動機構１５０のサーボモータに上部ＲＵを右側に傾動させる制御信号を生成する。
出力部１７４は、演算処理部１７３により生成された制御信号をスピーカー１４０、サーボモータなどに出力するものとされる。
電源処理部１７５は、商用電源からの交流電流を処理してロボットコントローラＲＣ内で必要とされる直流電流、スピーカー用直流電流、サーボモータ駆動電流を生成するものとされる。より具体的には、電源処理部１７５は、ＡＣ／ＤＣコンバータおよびＤＣ／ＤＣコンバータを有していて、１００Ｖの交流電流から１２Ｖの直流電流を生成し、さらに１２Ｖの直流電流(駆動電流)から５Ｖの直流電流(制御電流)などを生成するものとされる。
このように、本応用例では支援装置ＬＳをロボットＲに組み込んだ上に、ロボットＲが脳機能障害高齢者の触覚センサＴＳへのタッチに応じて反応するので、癒し効果を発生するとともにロボットＲがペット的な役割も果たす、という支援装置ＬＳ単独では得られない効果も奏する。
応用例２
本発明の応用例２を図１７に示す。応用例２は応用例１のロボットＲを簡略化してなるものであって、ロボットＲを箱状体とし、上辺部に耳状の可動体Ｅを配設してなるものとされる。
耳状の可動体Ｅは、サーボモータ駆動とされ、ロボットＲの正面中央に設けられた収納凹部に収納された支援装置ＬＳからの指令により動作するようにされている。例えば、根本を起点として左右方向に動くようにされている。
支援装置ＬＳは、例えば実施形態５に係るものとされ、表示入力部ＴＰに表示されている動物の顔がタッチされることにより、耳状の可動体Ｅに対する動作指令が生成されるようにされている。
このように、本応用例では、支援装置ＬＳの表示入力部ＴＰに表示されている動物の顔をタッチすることにより、耳状の可動体Ｅが左右方向に動くようにされているので、癒し効果が増大する。また、ロボットＲが箱状体に簡素化されているので、その取扱いも容易となる。
以上、本発明を実施形態を中心説明してきたが、本発明はかかる実施形態および応用例に限定されるものではなく、種々改変が可能である。
例えば、支援装置ＬＳに脳機能障害高齢者が好きな歌を収録して、モーションポートレート画像作成手段１０や拡張モーションポートレート画像作成手段２０にフェイスシング(株式会社タカラトミー商品名)を搭載しておき、脳機能障害者が触覚センサＴＳをタッチすると、近親者が曲に合わせて歌うような仕草をするようにされてもよい。こうすることにより、脳機能障害高齢者の機能回復がより一層促進される。
また、図１８に示すように、支援装置ＬＳは移動ロボット(走行ロボット)ＭＲに搭載されるようにさてもよい。こうすることにより、脳機能障害高齢者の車椅子による移動の際にも近親者と電話による対話を楽しむことができる。
本発明は、介護産業やロボット産業に適用できる。
ＬＳ 脳機能障害者生活支援装置
Ｒ ロボット
Ｅ 可動体
ＲＣ ロボットコントローラ
ＲＬ 下部
ＲＵ 上部
ＭＳ 移動ロボット、走行ロボット
ＴＰ タッチパネル式表示入力部
ＴＳ 触覚センサ、接触式センサ
１０ モーションポートレート画像作成手段
１１ 電話番号格納部
１２ 近親者特定部
１３ 二次元顔画像データ格納部
１４ 二次元顔画像データ抽出部
１５ 想定対話時音声データ格納部
１６ 想定対話時音声データ選択部
１７ 画像演算部
１８ 顔画像蓄積部
１９ 顔画像出力部
２０ 拡張モーションポートレート画像作成手段
２１ 実対話時音声データ格納部
３０ 感性制御技術手段
４０ バックグランドミュージック格納部
５０ 動物顔画像加工手段
６０ 表示切替手段
１０２ 腕、動作部
１０２Ｒ 右腕
１０２Ｌ 左腕
１０４ 収納凹部
１４０ スピーカー
１５０ 傾動機構
１６０ 腕動作機構
１６０Ｒ 右腕動作機構
１６０Ｌ 左腕動作機構
１７１ 入力部
１７２ メモリ
１７３ 演算処理部
１７４ 出力部
１７５ 電源処理部

Claims (13)

  1. 通話機能を有するタブレット端末にモーションポートレート画像を作成するモーションポートレート画像作成手段を構築してなる脳機能障害者の生活を支援する脳機能障害者生活支援装置であって、
    前記支援装置は、当該支援装置を使用する脳機能障害者の近親者の顔画像データと、前記近親者の音声データとを同近親者の電話番号と関連づけて有し、
    通話時に受信した電話番号から当該近親者を特定し、
    前記特定した近親者の顔画像データを同近親者の音声データに基づいてモーションポートレート顔画像を作成し、当該通話時に表示入力部に表示する
    ことを特徴とする脳機能障害者生活支援装置。
  2. 通話相手の音声を選択的に録音して同通話相手の音声データを作成し、前記音声データに基づいてモーションポートレート顔画像を作成するようにされてなることを特徴とする請求項１記載の脳機能障害者生活支援装置。
  3. 作成したモーションポートレート顔画像を再生時に再生音声に同期させて表示入力部に表示するようにされてなることを特徴とする請求項２記載の脳機能障害者生活支援装置。
  4. 音声データにキーワードが付与されてなることを特徴とする請求項１または２記載の脳機能障害者生活支援装置。
  5. 音楽や歌が格納され、格納された音楽や歌の再生時にその音楽や歌に合わせてモーションポートレート顔画像が作成されるようにされてなることを特徴とする請求項１記載の脳機能障害者生活支援装置。
  6. 音声データが想定対話に基づいて作成され、前記音声データによりモーションポートレート顔画像が作成され、作成されたモーションポートレート顔画像が、当該音声データが音声として出力されると想定されるタイミングに一致させ表示入力部に表示されるようにされてなることを特徴とする請求項１記載の脳機能障害者生活支援装置。
  7. 通話時の通話内容をサーチして所定のキーワードを検出し、検出したキーワードに基づいて格納されている音声データ群から該当するキーワードを含む音声データを選択するようされてなることを特徴とする請求項４記載の脳機能障害者生活支援装置。
  8. 通話時における近親者の感性度合を自動的に判定する感性制御技術手段を有し、前記判定された感性度合に基づいてモーションポートレート顔画像を修正することを特徴とする請求項１記載の脳機能障害者生活支援装置。
  9. 動物の顔画像が表示されるようにされ、かつ、前記表示された動物の顔画像のモーションポートレート顔画像が作成されるようにされてなることを特徴とする請求項１記載の脳機能障害者生活支援装置。
  10. 請求項１ないし請求項９のいずれか一項に記載の脳機能障害者生活支援装置が配設されてなることを特徴とするロボット。
  11. ロボットが走行ロボットとされてなることを特徴とする請求項１０記載のロボット。
  12. ロボットが接触式センサと、該センサからの接触信号に応答して動作する動作部を有してなることを特徴とする請求項１０記載のロボット。
  13. 請求項９記載の脳機能障害者生活支援装置が配設されてなるロボットであって、表示された動物の顔画像がタッチされると動作する可動体を有してなることを特徴する請求項１０記載のロボット。
JP2014171358A 2014-03-28 2014-08-26 脳機能障害者生活支援装置 Expired - Fee Related JP6149230B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014171358A JP6149230B2 (ja) 2014-03-28 2014-08-26 脳機能障害者生活支援装置
PCT/JP2015/069972 WO2016031405A1 (ja) 2014-08-26 2015-07-02 脳機能障害者生活支援装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014068874 2014-03-28
JP2014068874 2014-03-28
JP2014171358A JP6149230B2 (ja) 2014-03-28 2014-08-26 脳機能障害者生活支援装置

Publications (2)

Publication Number Publication Date
JP2015192844A true JP2015192844A (ja) 2015-11-05
JP6149230B2 JP6149230B2 (ja) 2017-06-21

Family

ID=55400939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014171358A Expired - Fee Related JP6149230B2 (ja) 2014-03-28 2014-08-26 脳機能障害者生活支援装置

Country Status (2)

Country Link
JP (1) JP6149230B2 (ja)
WO (1) WO2016031405A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066190A1 (ja) * 2016-10-07 2018-04-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN111128400A (zh) * 2019-11-26 2020-05-08 泰康保险集团股份有限公司 医学护理资料的处理方法及装置、存储介质、电子设备
US11003894B2 (en) 2016-06-27 2021-05-11 Sony Corporation Information processing system, storage medium, and information processing method to make a response to a user on a basis of an episode constructed from an interaction with a user

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999067067A1 (fr) * 1998-06-23 1999-12-29 Sony Corporation Robot et systeme de traitement d'information
JP2004164649A (ja) * 2002-11-14 2004-06-10 Eastman Kodak Co 刺激に応じてポートレート画像を変更するシステム及び方法
JP2004214895A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 通信補助装置
JP2005208367A (ja) * 2004-01-23 2005-08-04 Matsushita Electric Ind Co Ltd 音声再生処理装置及び電話端末
JP2009009351A (ja) * 2007-06-28 2009-01-15 Sanyo Electric Co Ltd 電子機器及びそのメニュー画面表示方法
JP2009033255A (ja) * 2007-07-24 2009-02-12 Ntt Docomo Inc 制御装置、移動通信システム及び通信端末
JP2012174197A (ja) * 2011-02-24 2012-09-10 So-Net Entertainment Corp 似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラム
WO2013019402A1 (en) * 2011-08-02 2013-02-07 Microsoft Corporation Finding a called party
WO2014045676A1 (ja) * 2012-09-20 2014-03-27 株式会社インターリンク パズルゲームプログラムおよびコンピュータ
JP2014072772A (ja) * 2012-09-28 2014-04-21 Nec Corp 通信システム
JP2014095753A (ja) * 2012-11-07 2014-05-22 Hitachi Systems Ltd 音声自動認識・音声変換システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176632A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 携帯電話機及び画像伝送方法
US20080165195A1 (en) * 2007-01-06 2008-07-10 Outland Research, Llc Method, apparatus, and software for animated self-portraits
JP5407069B2 (ja) * 2009-11-02 2014-02-05 株式会社国際電気通信基礎技術研究所 傾聴対話持続システム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999067067A1 (fr) * 1998-06-23 1999-12-29 Sony Corporation Robot et systeme de traitement d'information
JP2004164649A (ja) * 2002-11-14 2004-06-10 Eastman Kodak Co 刺激に応じてポートレート画像を変更するシステム及び方法
JP2004214895A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 通信補助装置
JP2005208367A (ja) * 2004-01-23 2005-08-04 Matsushita Electric Ind Co Ltd 音声再生処理装置及び電話端末
JP2009009351A (ja) * 2007-06-28 2009-01-15 Sanyo Electric Co Ltd 電子機器及びそのメニュー画面表示方法
JP2009033255A (ja) * 2007-07-24 2009-02-12 Ntt Docomo Inc 制御装置、移動通信システム及び通信端末
JP2012174197A (ja) * 2011-02-24 2012-09-10 So-Net Entertainment Corp 似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラム
WO2013019402A1 (en) * 2011-08-02 2013-02-07 Microsoft Corporation Finding a called party
WO2014045676A1 (ja) * 2012-09-20 2014-03-27 株式会社インターリンク パズルゲームプログラムおよびコンピュータ
JP2014072772A (ja) * 2012-09-28 2014-04-21 Nec Corp 通信システム
JP2014095753A (ja) * 2012-11-07 2014-05-22 Hitachi Systems Ltd 音声自動認識・音声変換システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003894B2 (en) 2016-06-27 2021-05-11 Sony Corporation Information processing system, storage medium, and information processing method to make a response to a user on a basis of an episode constructed from an interaction with a user
US12073653B2 (en) 2016-06-27 2024-08-27 Sony Group Corporation Information processing system, storage medium, and information processing method
WO2018066190A1 (ja) * 2016-10-07 2018-04-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN109891362A (zh) * 2016-10-07 2019-06-14 索尼公司 信息处理装置、信息处理方法及程序
JPWO2018066190A1 (ja) * 2016-10-07 2019-07-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11212882B2 (en) 2016-10-07 2021-12-28 Sony Corporation Information processing apparatus and information processing method for presentation of a cooking situation based on emotion of a user
CN109891362B (zh) * 2016-10-07 2022-05-27 索尼公司 信息处理装置、信息处理方法及程序
CN111128400A (zh) * 2019-11-26 2020-05-08 泰康保险集团股份有限公司 医学护理资料的处理方法及装置、存储介质、电子设备
CN111128400B (zh) * 2019-11-26 2023-09-12 泰康保险集团股份有限公司 医学护理资料的处理方法及装置、存储介质、电子设备

Also Published As

Publication number Publication date
WO2016031405A1 (ja) 2016-03-03
JP6149230B2 (ja) 2017-06-21

Similar Documents

Publication Publication Date Title
JP4595436B2 (ja) ロボット、その制御方法及び制御用プログラム
CN109463004A (zh) 数字助理服务的远场延伸
US20110202842A1 (en) System and method of creating custom media player interface for speech generation device
JP4946200B2 (ja) エージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法
CN109257941A (zh) 数字助理的同步和任务委派
JP2009104020A (ja) 音声認識装置
CN109262606B (zh) 装置、方法、记录介质以及机器人
CN105190607A (zh) 通过智能数字助理的用户培训
JP6149230B2 (ja) 脳機能障害者生活支援装置
JP6158179B2 (ja) 情報処理装置および情報処理方法
CN110503968A (zh) 一种音频处理方法、装置、设备及可读存储介质
JP2018176383A (ja) 相互作用装置、相互作用方法、相互作用プログラム及びロボット
JP2005335053A (ja) ロボット、ロボット制御装置およびロボットの制御方法
JP6833209B2 (ja) 発話促進装置
US20160125295A1 (en) User-interaction toy and interaction method of the toy
JP2012226695A (ja) 誘導指示装置、誘導指示方法及びそのプログラム
JP2010079103A (ja) 音声対話装置及びそのプログラム並びに音声対話処理方法
TW201104465A (en) Voice songs searching method
JPWO2014087571A1 (ja) 情報処理装置および情報処理方法
CN110097883A (zh) 用于在主设备处访问配套设备的呼叫功能的语音交互
JP2007334251A (ja) エージェント装置、プログラム、及び音声供給方法
JPH04338817A (ja) 電子機器の制御装置及び制御方法
JPWO2019235013A1 (ja) 情報処理装置および情報処理方法
Ramadas et al. Hypnotic computer interface (hypCI) using GEORGIE: An approach to design discrete voice user interfaces
JP6217003B2 (ja) 端末装置、睡眠言動記録方法及び睡眠言動記録プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170414

R150 Certificate of patent or registration of utility model

Ref document number: 6149230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees