JP2016218946A - Display device, display method, and program - Google Patents
Display device, display method, and program Download PDFInfo
- Publication number
- JP2016218946A JP2016218946A JP2015106205A JP2015106205A JP2016218946A JP 2016218946 A JP2016218946 A JP 2016218946A JP 2015106205 A JP2015106205 A JP 2015106205A JP 2015106205 A JP2015106205 A JP 2015106205A JP 2016218946 A JP2016218946 A JP 2016218946A
- Authority
- JP
- Japan
- Prior art keywords
- person
- display
- unit
- face
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000001514 detection method Methods 0.000 claims abstract description 113
- 238000003384 imaging method Methods 0.000 description 43
- 238000004891 communication Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 230000001815 facial effect Effects 0.000 description 10
- 230000009977 dual effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 101100058698 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cln3 gene Proteins 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、表示装置、表示方法及びプログラムに関する。 The present invention relates to a display device, a display method, and a program.
医師、看護師、または管理栄養士等の医療従事者が患者と面談を行う際に、患者の健康状態や生活習慣を改善するための情報を参考にしながら説明等を行う場面が想定される。例えば、医療従事者および患者は、ディスプレイ等の表示装置に表示された患者に関する情報を閲覧することにより、より効果的な面談を行うことができる。 When a medical staff such as a doctor, nurse, or registered dietitian interviews a patient, a situation is assumed in which explanations are made with reference to information for improving the patient's health condition and lifestyle. For example, a medical worker and a patient can conduct a more effective interview by browsing information on the patient displayed on a display device such as a display.
しかしこの場合、表示端末に表示される情報は、医療従事者にとっては必要な情報であるが、患者にとっては不必要な情報、または患者には開示すべきではない情報が含まれている可能性が存在する。 However, in this case, the information displayed on the display terminal may be necessary information for medical professionals, but may include information that is unnecessary for patients or information that should not be disclosed to patients. Exists.
そのため、近年、一の表示装置において、医療従事者または患者のいずれか一方に対して適切な情報を表示する技術が開発されてきた。例えば、下記特許文献1には、視点に応じて異なる情報を表示することが可能なデュアルビューディスプレイを用いた表示装置であって、各々人物の存在する方向にそれぞれ対応する人物向けの情報を表示する制御を行う技術が開示されている。かかる構成により、医療従事者と患者は、所定の位置に座ることで、一の表示装置を用いて互いに異なる情報を閲覧することができる。
For this reason, in recent years, a technique has been developed for displaying appropriate information to either a medical worker or a patient on one display device. For example,
しかし、デュアルビューディスプレイによる表示の視野角は限られている。そのため、表示装置に対して限られた位置において情報を閲覧する必要があるので、利用時における空間的な制約が大きくなる。よって、表示装置に表示された情報の閲覧を閲覧者が任意の場所で行うことが困難であった。 However, the viewing angle of display by the dual view display is limited. Therefore, since it is necessary to browse information at a limited position with respect to the display device, a spatial restriction during use increases. Therefore, it is difficult for the viewer to browse the information displayed on the display device at an arbitrary place.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、閲覧者ごとに適した情報を任意の場所で閲覧することが可能な、新規かつ改良された表示装置を提供することにある。 Therefore, the present invention has been made in view of the above problems, and the object of the present invention is a new and improved information which can be browsed at any place for information suitable for each viewer. It is to provide a display device.
上記課題を解決するために、本発明のある観点によれば、面談を支援するための表示装置において、撮像画像に含まれる人物の顔を検出する画像検出部と、上記画像検出部により上記顔が検出された場合、検出された上記顔を有する人物が第1の人物か否かを判定する判定部と、上記画像検出部による検出結果、および上記判定部による判定結果に応じて、上記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、を備える、表示装置が提供される。 In order to solve the above problems, according to an aspect of the present invention, in a display device for supporting an interview, an image detection unit that detects a human face included in a captured image, and the face by the image detection unit Is detected, the determination unit determines whether the detected person having the face is the first person, the detection result by the image detection unit, and the determination result by the determination unit, There is provided a display device including a display control unit that performs control for switching presence / absence of display for presentation to one person.
上記画像検出部は人物の顔の数を検出し、上記表示制御部は、上記画像検出部が検出する顔の数に応じて、上記第1の人物に提示するための表示の有無を切り替える制御を行ってもよい。 The image detection unit detects the number of faces of the person, and the display control unit switches the presence or absence of display for presentation to the first person according to the number of faces detected by the image detection unit. May be performed.
上記表示制御部は、上記顔の数が1であり、かつ、検出された上記顔を有する人物が上記第1の人物であると判定された場合、上記第1の人物に提示するための画面を表示する制御を行ってもよい。 When the number of the faces is 1 and it is determined that the person having the detected face is the first person, the display control unit is a screen for presenting the first person You may perform control which displays.
上記判定部は、上記画像検出部により検出された顔と上記第1の人物の顔とを比較することにより検出された上記顔を有する人物が第1の人物か否かを判定してもよい。 The determination unit may determine whether or not the person having the face detected by comparing the face detected by the image detection unit and the face of the first person is the first person. .
上記表示装置は、上記表示装置の移動を検出する移動検出部をさらに備え、上記表示制御部は、上記検出結果、上記判定結果、および上記移動検出部により検出された上記表示装置の移動量に応じて、上記第1の人物のための情報の表示の有無を切り替える制御を行ってもよい。 The display device further includes a movement detection unit that detects movement of the display device, and the display control unit determines the detection result, the determination result, and the movement amount of the display device detected by the movement detection unit. Accordingly, control for switching the presence / absence of display of information for the first person may be performed.
上記表示装置は、上記人物の識別情報を含む識別体を読み取る識別体読取部をさらに備え、上記判定部は、読み取られた上記識別体に含まれる識別情報が上記第1の人物の識別情報であるか否かを判定してもよい。 The display device further includes an identification body reading unit that reads an identification body including the identification information of the person, and the determination unit includes the identification information included in the read identification body as the identification information of the first person. It may be determined whether or not there is.
上記判定部は、上記画像検出部により検出された顔と、上記識別体読取部により読み取られた上記第1の人物の識別体に含まれる識別情報に対応する上記第1の人物の顔とを比較することにより、検出された上記顔を有する人物が第1の人物か否かを判定してもよい。 The determination unit includes the face detected by the image detection unit and the face of the first person corresponding to the identification information included in the identification body of the first person read by the identification body reading unit. By comparing, it may be determined whether or not the detected person having the face is the first person.
上記判定部は、上記人物の識別情報を含む識別体において、上記撮像画像に含まれる上記識別体の上記識別情報を表示する識別表示部を検出し、検出された上記識別表示部の表示する識別情報に基づいて、上記撮像画像に含まれる人物が上記第1の人物であるか否かを判定してもよい。 The determination unit detects an identification display unit that displays the identification information of the identification unit included in the captured image in an identification unit including the identification information of the person, and the identification displayed by the detected identification display unit Based on the information, it may be determined whether the person included in the captured image is the first person.
上記判定部は、上記識別表示部の表示する識別情報が上記第1の人物の識別情報と同一であるか否かを判定してもよい。 The determination unit may determine whether the identification information displayed by the identification display unit is the same as the identification information of the first person.
上記判定部は、上記画像検出部により検出された顔と、上記識別表示部により表示される上記第1の人物の識別情報に対応する上記第1の人物の顔とを比較することにより、検出された上記顔を有する人物が第1の人物か否かを判定してもよい。 The determination unit detects the face detected by the image detection unit by comparing the face detected by the identification display unit with the face of the first person corresponding to the identification information of the first person. It may be determined whether or not the person having the face is the first person.
上記画像検出部は上記人物の顔の位置を検出し、上記判定部は、上記顔の位置に基づいて設定される検出領域において、上記識別表示部を検出してもよい。 The image detection unit may detect the position of the person's face, and the determination unit may detect the identification display unit in a detection region set based on the position of the face.
上記識別表示部は二次元コードを含んでもよい。 The identification display unit may include a two-dimensional code.
上記識別表示部は発光体を含み、上記判定部は、上記発光体の示す発光パタンを検出し、検出された上記発光パタンに対応する上記識別情報が上記第1の人物の識別情報であるか否かを判定してもよい。 The identification display unit includes a light emitter, and the determination unit detects a light emission pattern indicated by the light emitter, and whether the identification information corresponding to the detected light emission pattern is the identification information of the first person. It may be determined whether or not.
上記表示制御部は、上記第1の人物に提示するための画面、または第2の人物に提示するための画面のいずれかを表示する制御を行ってもよい。 The display control unit may perform control to display either a screen for presenting to the first person or a screen for presenting to the second person.
また、上記課題を解決するために、本発明の別の観点によれば、面談を支援するための表示装置を用いる表示方法において、撮像画像に含まれる人物の顔を検出するステップと、上記顔が検出された場合、検出された上記顔を有する人物が第1の人物か否かを判定するステップと、上記検出結果、および上記判定結果に応じて、上記第1の人物に提示するための表示の有無を切り替える制御を行うステップと、を含む、表示方法が提供される。 In order to solve the above problem, according to another aspect of the present invention, in a display method using a display device for supporting an interview, a step of detecting a human face included in a captured image, and the face Is detected, the step of determining whether or not the detected person having the face is the first person, the detection result, and for presenting to the first person according to the determination result And a step of performing control for switching presence / absence of display.
また、上記課題を解決するために、本発明の別の観点によれば、面談を支援するためのプログラムにおいて、コンピュータを、撮像画像に含まれる人物の顔を検出する画像検出部と、上記画像検出部により上記顔が検出された場合、検出された上記顔を有する人物が第1の人物か否かを判定する判定部と、上記画像検出部による検出結果、および上記判定部による判定結果に応じて、上記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、として機能させるための、プログラムが提供される。 In order to solve the above problem, according to another aspect of the present invention, in a program for supporting an interview, a computer includes an image detection unit that detects a human face included in a captured image, and the image. When the detection unit detects the face, the determination unit determines whether or not the person having the detected face is the first person, the detection result by the image detection unit, and the determination result by the determination unit In response, a program is provided for functioning as a display control unit that performs control to switch the presence or absence of display for presentation to the first person.
以上説明したように本発明によれば、閲覧者ごとに適した情報を任意の場所で閲覧することが可能である。 As described above, according to the present invention, it is possible to browse information suitable for each viewer at an arbitrary place.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
<1.表示システムの概要>
図1は、本発明の一実施形態に係る表示システム1の概要を示す図である。図1を参照すると、表示システム1は、サーバ2、および表示装置10を備える。表示装置10は、人物P1およびP2により使用される装置である。また、人物P1は、カード3を所持している。なお、本明細書においては、人物P1を管理栄養士P1、および、人物P2を患者P1として説明する。管理栄養士P1、および人物P2は、それぞれ第1の人物、および第2の人物に対応する。表示システム1は、例えば、医療機関等において、管理栄養士P1と患者P2とが、患者P2の健康状態や今後の健康管理等について面談する際に用いられるシステムである。なお、本明細書に係る表示システム1においては、管理栄養士P1、および人物P2の2人の人物により表示システム1が利用されることが想定されるが、表示システム1を利用する人物の数は限定されない。例えば、1人、または3人以上の人物により表示システム1が利用されてもよい。
<1. Overview of display system>
FIG. 1 is a diagram showing an overview of a
サーバ2は、ネットワーク上の一または複数の情報処理装置によって構成される。サーバ2を構成する情報処理装置は、処理回路と、通信装置を含み得る。例えば、サーバ2は、通信装置を用いて表示装置10から管理栄養士P1の識別情報等を受信し、処理回路によって画面データの生成や管理栄養士P1のデータ照会等に関する処理を実行し、処理結果を通信装置によって表示装置10に送信してもよい。
The server 2 is configured by one or a plurality of information processing devices on the network. The information processing device constituting the server 2 can include a processing circuit and a communication device. For example, the server 2 receives identification information or the like of the registered dietitian P1 from the
本発明の各実施形態に係るサーバ2は、例えば、表示装置10に表示するための情報を含む画面データを生成し、生成した画面データを表示装置10に送信する。例えば、サーバ2は、管理栄養士P1の操作により表示装置10を介してログイン処理が実施された場合、管理栄養士P1または患者P2の少なくともいずれかに提示するための情報を含む画面データを、管理栄養士P1に関する情報に基づいて生成し、生成した画面データを表示装置10に送信してもよい。
For example, the server 2 according to each embodiment of the present invention generates screen data including information to be displayed on the
なお、画面データは、管理栄養士P1および患者P2に個別に提示するための情報を含む一対の画面から構成されてもよい。つまり、表示装置10がサーバ2から取得した画面データには、管理栄養士P1向けの情報を含む画面データと、患者P2向けの情報を含む画面データとが含まれる。表示装置10は、上記画面データのうち、いずれか一方の人物向けの情報を含む画面のみを表示する。上記画面データに含まれる情報は、詳しくは後述するが、例えば、管理栄養士P1の業務に関連した情報であってもよい。例えば、画面データに含まれる情報は、管理栄養士P1が担当している患者P2の健康に関する情報等を含む画面データであってもよい。
In addition, screen data may be comprised from a pair of screen containing the information for showing separately to the registered dietitian P1 and the patient P2. That is, the screen data acquired from the server 2 by the
カード3は、管理栄養士P1が勤務する医療機関により発行され、上記医療機関により登録される管理栄養士P1に係る各種データを格納することが可能なカードであり、識別体の一例である。例えば、カード3は、管理栄養士P1を識別する識別情報、管理栄養士P1の顔画像データ、または管理栄養士P1の業務に関するデータを格納してもよい。カード3は、例えば非接触IDチップを搭載したカードであってもよい。なお、識別情報とは、管理栄養士P1がサーバ2にログインするために必要な情報である。例えば、管理栄養士P1が識別情報を用いてサーバ2にログインすることにより、サーバ2は、管理栄養士P1の業務に関連した情報を含む画面データを生成し、表示装置10へ画面データを送信することができる。また、カード3の表面には、管理栄養士P1の顔写真、氏名、所属、職名等が記載されていてもよい。
The
表示装置10は、情報処理装置の一例である。表示装置10は、タブレット端末、スマートフォン、パーソナルコンピュータ、およびゲーム機等の装置を含み得る。本発明の一実施形態においては、表示装置10として、タブレット端末が用いられる。図1に示されるように、管理栄養士P1および患者P2がお互い表示装置10を使用することが想定されるので、表示装置10は、小型のハードウェア端末であることが好ましい。表示装置10は、処理回路と、通信装置と、出力装置とを含み得る。例えば、表示装置10では、通信装置がサーバ2から画面データを受信し、出力装置は、処理回路の処理結果に応じて画面データを出力してもよい。また、表示装置10は、管理栄養士P1または患者P2等の人物の操作を受け付けるためのボタンやタッチパネルなどの入力装置などをさらに含んでもよい。また、表示装置10は、上述したように、管理栄養士P1がカード3を用いてサーバ2にログインするためのインタフェースとしての機能を有してもよい。
The
本発明に係る表示装置10は、管理栄養士P1と患者P2との面談を行うに際して、管理栄養士P1または患者P2に提示するための情報を表示することにより面談を支援する装置である。ここで、表示装置10により管理栄養士P1または患者P2に対して提示される画面について説明する。図2および図3は、それぞれ、管理栄養士P1に提示するための情報を含む表示画面、および患者P2に提示するための情報を含む表示画面の一例を示す図である。まず、図2を参照すると、表示部140に表示された画面には、患者P2に提示するための情報を含む画面A1、管理栄養士P1が患者P2に問診するための情報を含む画面A2、および患者P2に関する情報を含む画面A3、並びに、画面を切り替えるためのボタンBtn1およびBtn2が配置されている。ボタンBtn1またはBtn2を押下することにより、画面A1〜A3の少なくともいずれかに表示されている内容を切り替えることが可能である。なお、ボタンBtn1またはBtn2の押下により新たに表示される画面は、一時的に記憶部120に記憶された画面データから呼び出してもよいし、押下の都度サーバ2から新たに画面データを取得してもよい。また、画面A2およびA3には、それぞれ、画面をスクロールするためのスクロールボタンScr1〜Scr4が配置されている。管理栄養士P1は、画面A1〜A3を閲覧しながら、患者P2に対して生活習慣等のアドバイスを行うことが可能である。これにより、患者P2に対するアドバイスを、より効率的に行うことができる。
The
一方、図3を参照すると、表示部140に表示された画面には、患者P2に提示するための情報を含む画面B1が配置されている。画面A1に含まれる情報と画面B1に含まれる情報は同一である。患者P2は、画面B1に含まれる情報を閲覧しながら管理栄養士P1の問診を受けることにより、管理栄養士P1による診断の内容について、より効率的に把握することができる。図2に示した表示画面と図3に示した表示画面はそれぞれ対応しており、一対の画面データとしてサーバ2において生成される。
On the other hand, referring to FIG. 3, a screen B <b> 1 including information to be presented to the patient P <b> 2 is arranged on the screen displayed on the
ここで、図2に示したように、画面A2に含まれる情報には、管理栄養士P1が患者P2に問診するために必要な事項(食生活の変化について確認してください等)が列記されているので、患者P2にとっては不要な画面である。また、画面A3に含まれる情報には、患者P2が抱える潜在的な罹患リスク(糖尿病罹患のリスクあり)、または患者P2の生活習慣改善に関する観察結果(食事療法を勧めるも、意欲に問題あり、要観察等)など、患者P2に対して開示すべきでない情報も多く含まれ得る。そのため、患者P2が誤って管理栄養士P1に提示するための情報を閲覧することを防ぐことが求められる。 Here, as shown in FIG. 2, the information included in the screen A2 lists items necessary for the dietitian P1 to ask the patient P2 (please confirm changes in dietary habits, etc.). Therefore, the screen is unnecessary for the patient P2. In addition, the information included in the screen A3 includes the potential morbidity risk of the patient P2 (there is a risk of developing diabetes), or observation results regarding lifestyle improvement of the patient P2 (recommend diet, but there is a problem with motivation, A lot of information that should not be disclosed to the patient P2, such as observation required), may also be included. Therefore, it is required to prevent the patient P2 from browsing information for presenting to the registered dietitian P1 by mistake.
ここで、特開2012−42717号公報においては、視点に応じて異なる情報を表示することが可能なデュアルビューディスプレイを用いた表示装置であって、カメラによって撮像された人物の顔情報に応じて、上記人物の存在する方向に上記人物向けの情報を表示する制御を行う技術が開示されている。しかしながら、デュアルビューディスプレイによる表示の視野角は限られている。そのため、表示装置に対して限られた位置において表示情報を閲覧する必要があるので、利用時における空間的な制約が大きくなる。また、デュアルビューディスプレイを実現するためには、表示装置に視差バリア等の特殊な加工を施す必要がある。そのため、専用の表示装置を導入する必要があるので、その導入コストが大きくなる。 Here, in Japanese Patent Application Laid-Open No. 2012-42717, a display device using a dual view display capable of displaying different information depending on the viewpoint, according to face information of a person imaged by a camera. A technique for performing control to display information for the person in the direction in which the person exists is disclosed. However, the viewing angle of display by the dual view display is limited. Therefore, since it is necessary to browse display information at a limited position with respect to the display device, a spatial restriction during use increases. In order to realize a dual view display, it is necessary to perform special processing such as a parallax barrier on the display device. Therefore, since it is necessary to introduce a dedicated display device, the introduction cost increases.
そこで、上記事情を一着眼点にし、表示装置10を創作するに至った。本発明の実施形態に係る表示装置10では、撮像画像に含まれる人物の顔を検出し、その顔の人物が管理栄養士P1か否かを判定することにより、管理栄養士P1に提示するための情報、または患者P2に提示するための情報の表示を切り替える制御を行う。例えば、表示装置10に備えられる撮像部150により撮像される人物の顔が管理栄養士P1の顔であったと判定された場合において、表示装置10は管理栄養士P1に提示するための情報を表示し、それ以外の場合において、表示装置10は患者P2に提示するための情報を表示する。そのため、表示装置10は、管理栄養士P1が表示装置10を閲覧している場合において管理栄養士P1に適した情報を提示することが可能である。これにより、管理栄養士P1または患者P2のいずれかに適した情報を、任意の場所で閲覧することが可能である。また、表示装置10はデュアルビューディスプレイを用いない構成であるため、表示装置10を低コストで導入することが可能である。以下、本発明の第1の実施形態および第2の実施形態に係る表示装置10(11、12)について説明する。
Thus, the
<2.第1の実施形態>
[2−1.構成例]
図4は、本発明の第1の実施形態に係る表示装置11の構成を示すブロック図である。図4を参照すると、表示装置11は、通信部110、記憶部120、操作入力部130、表示部140、撮像部150、カード読取部160、移動検出部170、および制御部200(本実施形態においては、制御部201)を備える。
<2. First Embodiment>
[2-1. Configuration example]
FIG. 4 is a block diagram showing a configuration of the
通信部110は、表示装置11が備える通信手段であり、ネットワークNWを介して(あるいは直接的に)、外部装置と無線または有線により各種通信を行う。例えば、図2を参照すると、通信部110は、サーバ2とネットワークNWを介して通信を行ってもよい。具体的には、通信部110は、サーバ2と無線または有線により接続されている場合、サーバ2から画面データを受信し、受信した画面データを制御部201に提供してもよい。また、通信部110は、サーバ2以外の外部装置と通信を行ってもよい。例えば、通信部110は、外部装置から受信した情報を制御部201に提供してもよいし、制御部201から取得した情報を外部装置に送信してもよい。
The
記憶部120は、表示装置11が備える記憶手段であり、各種データを記憶する。記憶部120は、制御部201が使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、制御部201が行う処理において使用するプログラムや、その処理において適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)、データ等を記憶するHDD(Hard Disk Drive)装置などのデータ格納用記憶装置等で構成される。例えば、記憶部120は、サーバ2やカード3から取得した各種データを記憶してもよい。また、記憶部120は、後述する制御部201の有する各機能部により得られたデータ等を記憶してもよい。また、記憶部120に記憶されたデータが制御部200により呼び出されてもよい。
The memory |
操作入力部130は、表示装置11が備える入力手段であり、ユーザからの入力操作を取得する。また、操作入力部130は、取得した入力操作を制御部201に出力する。例えば、操作入力部130は、表示部140に表示された画面の遷移を行う操作を取得してもよい。操作入力部130は、表示装置11が備えるボタンやタッチパネル等の入力装置により実現される。
The
表示部140は、表示装置11が備える出力手段であり、ユーザに対して情報を表示する。また、表示部140は、制御部201による制御に従って、各種情報の表示を行う。例えば、表示部140は、サーバ2から取得した画面データのうち、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示してもよい。表示部140は、表示装置11が備えるディスプレイ等の出力装置により実現される。また、表示部140は、操作入力部130と一体となって構成されるタッチディスプレイ等により実現されてもよい。
The
撮像部150は、例えば、管理栄養士P1や患者P2等の人物を被写体として撮像することにより撮像画像を生成する。生成される撮像画像は、撮像画像に含まれる人物の検出や判定に用いられる。なお、撮像部150は、表示装置11が備える撮像モジュール等により実現されてもよく、表示部140を閲覧する人物の顔を撮像することができる位置に配置されてもよい。これにより、後述する制御部201において、表示部140を閲覧している人物の顔の検出処理や判定処理が可能となる。撮像部150は、生成した撮像画像を制御部201に出力する。
For example, the
カード読取部160は、管理栄養士P1が有するカード3のICチップや磁気ストライプ等に格納されている情報やデータを読み取る。例えば、カード読取部160は、管理栄養士P1がサーバ2にログインするために必要な識別情報、管理栄養士P1の顔画像に係るデータ、または管理栄養士P1の業務に係るデータを読み取ってもよい。カード3が非接触型ICカードである場合は、カード読取部160は、表示装置11が備える非接触カードリーダ等により実現されてもよい。カード読取部160は、読み取った情報やデータを制御部201に出力する。
The
移動検出部170は、表示装置11が備える移動検出手段であり、表示装置11の移動量を算出する機能を有する。移動検出部170は、算出した移動量を制御部201に出力する。移動検出部170は、例えば、ピエゾ素子によるピエゾ抵抗効果を利用した半導体加速度センサなど、表示装置11の位置および姿勢の変化により生じる3軸の加速度を計測することが可能である加速度センサにより実現されてもよい。なお、本明細書において移動量とは、例えば、移動検出部170により計測される表示装置11の加速度の変化等により算出される、単位時間あたりの表示装置11の移動距離、または表示装置11の姿勢の変化に伴う角度の変化量であってもよい。
The
制御部201は、通信部110、記憶部120、操作入力部130、表示部140、撮像部150、カード読取部160、および移動検出部170、並びに、表示装置11の有するその他の機能部の動作制御等を行う。より具体的には、制御部201は、通信部110、記憶部120、操作入力部130、撮像部150、カード読取部160、および/または移動検出部170から取得した各種情報に基づき処理を実行し、処理結果を通信部110、記憶部120、および/または表示部140に出力する。制御部201は、表示装置11に含まれるCPU(Central Processing Unit)等の処理回路によって実現される。
The
[2−2.制御部の構成例]
続いて、表示装置11による表示制御処理について説明する。本実施形態においては、表示装置11による表示制御処理は、制御部201に含まれる各機能部により実現される。図5は、本発明の第1の実施形態に係る制御部201の有する構成を示すブロック図である。図5を参照すると、制御部201は、顔検出部211、顔判定部221、および表示制御部231を含み得る。
[2-2. Example of control unit configuration]
Next, display control processing by the
(顔検出部)
顔検出部211は、撮像部150により生成された撮像画像に含まれる人物の顔を検出する機能を含む。より具体的には、顔検出部211は、撮像画像に含まれる人物の顔の位置、または顔の数を検出する。検出された顔の位置は、例えば、撮像画像を構成する画素の座標により特定されてもよい。顔の検出のために顔検出部211により用いられるアルゴリズムは、例えばViola−Jones法などの公知のアルゴリズムであってもよい。顔検出部211は、検出した顔の位置に関する情報を顔判定部221に出力し、また、検出した顔の検出数を示すデータを顔判定部221および表示制御部231に出力する。なお、顔検出部211が人物の顔を検出しなかった場合は、顔検出部211は、顔の位置に関する情報を顔判定部221に出力せず、顔の検出数が0であることを顔判定部221および表示制御部231に出力してもよい。
(Face detection unit)
The
(顔判定部)
顔判定部221は、撮像部150により生成された撮像画像に含まれる人物が、特定の人物であるか否かを判定する機能を含む。例えば、顔判定部221は、撮像画像に含まれる人物の顔が、特定の人物の顔と同一であるか否かを判定してもよい。本実施形態においては、特定の人物は、例えば管理栄養士P1であるとして説明する。撮像画像に含まれる人物の顔が、管理栄養士P1の顔と同一であるか否かを判定することにより、表示装置11を使用している人物が管理栄養士P1であるか否かを判別することができる。なお、顔判定部221による判定の比較対象となる管理栄養士P1の顔は、カード読取部160により読み取られたカード3に格納されている管理栄養士P1の顔画像データに示される顔であってもよい。これにより、表示装置11は、複数の管理栄養士の顔画像データを保持する必要がなくなる。また、管理栄養士P1の顔画像データは、表示装置11の記憶部120に予め記憶されてもよい。この場合、顔判定部221は、記憶部120に記憶されている顔画像データのうち、カード3に格納された管理栄養士P1の識別情報とひも付けられている管理栄養士P1の顔画像データを呼び出してもよい。また、管理栄養士P1の顔画像データは、サーバ2に格納されてもよい。この場合、顔判定部221は、判定処理において、カード3に格納された管理栄養士P1の識別情報とひも付けられている管理栄養士P1の顔画像データをサーバ2から呼び出してもよい。
(Face determination part)
The
また、顔判定部221は、上記の撮像画像について、顔検出部211により検出された顔の位置に存在する顔が、管理栄養士P1の顔と同一であるか否かを判定してもよい。これにより、顔判定部221は改めて撮像画像から人物の顔を検出する処理を省くことができる。また、検出された顔の数が算出されているので、判定処理が実施される回数を制限することができる。これにより、顔判定部221による処理の負荷を軽減させることができる。
Moreover, the
また、顔判定部221は、撮像画像に含まれる顔の特徴量を算出し、算出された特徴量とカード3に格納されている管理栄養士P1の顔画像データに示される顔の特徴量とを比較することにより、撮像画像に含まれる人物の顔が、管理栄養士P1の顔と同一であるか否かを判定してもよい。本実施形態においては、カード3に格納されている管理栄養士P1の顔画像データにおける顔の特徴量は、予め特徴量データとしてカード3に格納されているが、他の実施形態においては、顔判定部221は、カード3に格納されている管理栄養士P1の顔画像データについて、顔の特徴量を逐一算出してもよい。なお、顔判定部221は、公知の技術を用いて顔の特徴量の算出を行ってもよい。例えば、顔判定部221は、上述したViola-Jones法におけるHaar-like特徴を算出することにより、顔の特徴量の算出を行ってもよい。
In addition, the
また、顔判定部221は、顔検出部211により検出された顔について、顔の同一性の判定を行う。撮像画像に含まれる人物の顔のうち、一の顔が管理栄養士P1の顔と同一であると判定された場合、顔判定部221は、撮像画像内に管理栄養士P1が含まれていることを示す「管理栄養士あり」という判定結果を表示制御部231に出力する。一方で、撮像画像に含まれる人物の顔がいずれも管理栄養士P1の顔と同一でないと判定された場合、顔判定部221は、撮像画像内に管理栄養士P1が含まれていないことを示す「管理栄養士なし」という判定結果を表示制御部231に出力する。なお、顔判定部221は、公知の技術を用いて顔の同一性の判定を行ってもよい。例えば、顔判定部221は、例えば、主成分分析法による固有顔のスコア間距離の算出により、顔の同一性の判定を行ってもよい。また、顔判定部221は、撮像画像に含まれる人物が特定の人物だけではなく、特定の職種であるか否かを判定してもよい。なお、顔判定部221は、顔検出部211により検出された人物の数が0である場合、顔の同一性の判定処理を実施せずに、撮像画像内に管理栄養士P1が含まれていないという判定結果を表示制御部231に出力してもよい。
In addition, the
(表示制御部)
表示制御部231は、顔検出部211から取得した顔の検出数、顔判定部221による判定結果、または移動検出部170から取得した表示装置11の移動量の少なくともいずれかに基づいて、管理栄養士P1に提示するための表示の有無を切り替える制御を行う。例えば、表示制御部231は、サーバ2から取得した一対の画面を含む画面データのうち、管理栄養士P1または患者P2のいずれかに提示するための画面を表示部140に表示する制御を、上述した検出数、判定結果または移動量の少なくともいずれかに基づいて行ってもよい。具体的な表示制御については、後述する。
(Display control unit)
The
[2−3.表示制御例]
表示制御部231による表示制御例について説明する。まず、表示制御部231による表示制御の処理フローについて説明する。
[2-3. Display control example]
An example of display control by the
図6は、本発明の第1の実施形態に係る表示制御部231による表示制御の処理フローを示すフローチャートである。まず、表示制御部231は、顔検出部211により検出された顔の検出数が1であるか否かを判定する(S101)。顔の検出数が1である場合(YES)、表示制御部231は、顔判定部221から出力された判定結果が「管理栄養士あり」か「管理栄養士なし」かを判定する(S102)。判定結果が「管理栄養士あり」である場合(YES)、表示制御部231は、移動検出部170により取得した表示装置11の移動量が所定の閾値以下であるか否かを判定する(S103)。所定の閾値の大きさについては特に制限されない。例えば、所定の閾値の大きさは、表示装置11を管理栄養士P1から患者P2に手渡す際の動作における表示装置11の速度や姿勢の変化に基づいて機械学習等の手法により決定されてもよい。また、所定の閾値の大きさは、予め設定された値であってもよい。移動量が所定の閾値以下である場合(YES)、表示制御部231は、表示部140を介して、管理栄養士P1に提示するための画面を表示する(S104)。一方、判定結果が「管理栄養士なし」である場合(S101のNO)、顔の検出数が1でない場合(S102のNO)、または移動量が所定の閾値を超える場合(S103のNO)、表示制御部231は、表示部140を介して、患者P2に提示するための画面を表示する(S105)。
FIG. 6 is a flowchart showing a display control processing flow by the
次に、実際の表示装置11について想定される使用例における表示制御部231の表示制御処理について、図7〜図11を参照しながら説明する。図7は、本発明の第1の実施形態に係る表示装置11の第1の使用例を示す図である。図7は、管理栄養士P1が表示装置11を使用しながら患者P2と面談している場合において、表示装置11の撮像部150が管理栄養士P1を撮像している状況を示している。また、表示装置11は静止しており、移動検出部170から取得した移動量は所定の閾値以下であるとする。なお、撮像部150の両端から延びている破線は、撮像部150の撮像範囲を示す。この場合、撮像部150は、管理栄養士P1のみを撮像しているので、顔検出部211は顔の検出数として1を出力し、顔判定部221は人物の顔が管理栄養士P1の顔と同一であると判定する。また、移動検出部170から取得した移動量は所定の閾値以下であるので、図6のフローチャートにおけるステップS101〜S103の判定は全てYESとなる。よって、表示制御部231は、図7に示した使用例においては、管理栄養士P1に提示するための情報を含む画面を表示する制御を行う。
Next, display control processing of the
図8は、本発明の第1の実施形態に係る表示装置11の第2の使用例を示す図である。図8は、管理栄養士P1が表示装置11を使用しながら患者P2と面談している場合において、撮像部150は管理栄養士P1のみを撮像しているが、表示装置11が、管理栄養士P1から患者P2へと矢印Dの方向へ移動している状況を示している。このとき、移動検出部170から取得した移動量は所定の閾値を超えているとする。この場合、撮像部150は、管理栄養士P1のみを撮像しているので、顔検出部211は顔の検出数として1を出力し、顔判定部221は人物の顔が管理栄養士P1の顔と同一であると判定する。しかし、移動検出部170から取得した移動量は上記の通り所定の閾値を超えている。そのため、表示制御部231は、表示装置11の移動量が所定の閾値を超えていると判定する(図6におけるステップS103のNO)。よって、表示制御部231は、図8に示した使用例においては、患者P2に提示するための情報を含む画面を表示する制御を行う。これにより、表示装置11が管理栄養士P1から患者P2へと急に移動する場合においても、表示部140に表示された画面を管理栄養士P1に提示するための画面から、患者P2に提示するための画面に切り替えることができる。したがって、表示装置11の表示部140の位置や向きを急に変えたとしても、患者P2が管理栄養士P1に提示するための情報を含む画面を閲覧してしまうことを防ぐことができる。
FIG. 8 is a diagram showing a second usage example of the
図9は、本発明の第1の実施形態に係る表示装置11の第3の使用例を示す図である。図9は、管理栄養士P1および患者P2が面談している場合において、撮像部150の撮像範囲に人物が含まれていない状況を示している。この場合、顔検出部211は顔の検出数として0を出力する。そのため、表示制御部231は、顔の検出数が1ではないと判定する(図6におけるステップS101のNO)。また、この場合においては、そもそも人物の顔が検出されていないため、表示制御部231は、顔判定部221の判定結果が「管理栄養士なし」であると判定してもよい(図6におけるステップS102のNO)。よって、表示制御部231は、図9に示した使用例においては、患者P2に提示するための情報を含む画面を表示する制御を行う。これにより、撮像部150の撮像範囲外に管理栄養士P1が存在する場合において、患者P2が管理栄養士P1に提示するための情報を含む画面を誤って閲覧してしまうことを防ぐことができる。
FIG. 9 is a diagram showing a third usage example of the
図10は、本発明の第1の実施形態に係る表示装置11の第4の使用例を示す図である。図10は、患者P2が表示装置11を使用しながら管理栄養士P1と面談している場合において、表示装置11は静止しており、撮像部150は患者P2のみを撮像している状況を示している。この場合、顔検出部211は顔の検出数として1を出力するが、顔判定部221は撮像画像に含まれる人物の顔が管理栄養士P1の顔と同一ではないと判定する。そのため、表示制御部231は、顔判定部221による判定結果が「管理栄養士なし」であるので(図6におけるステップS102のNO)、図10に示した使用例においては、患者P2に提示するための情報を含む画面を表示する制御を行う。これにより、表示装置11を患者P2が使用している場合において、患者P2は患者P2に提示するための情報を含む画面を閲覧することが可能である。
FIG. 10 is a diagram showing a fourth usage example of the
図11は、本発明の第1の実施形態に係る表示装置11の第5の使用例を示す図である。図11は、管理栄養士P1および患者P2がともに表示装置11を使用しながら面談している場合において、表示装置11は静止しており、撮像部150は管理栄養士P1および患者P2を撮像している状況を示している。この場合、撮像範囲には管理栄養士P1および患者P2の二人が含まれるので、顔判定部221は撮像画像に含まれる人物の顔のうち一の顔が管理栄養士P1の顔と同一であると判定するが、顔検出部211は顔の検出数として2を出力する。そのため、表示制御部231は、顔判定部221による判定結果が「管理栄養士あり」であるが、顔の検出数が2であるため、顔の検出数が1ではないと判定する(図6におけるステップS101のNO)。よって、表示制御部231は、図11に示した使用例においては、患者P2に提示するための情報を含む画面を表示する制御を行う。これにより、管理栄養士P1と患者P2がともに表示装置11を使用する場合において、患者P2が管理栄養士P1に提示するための情報を含む画面を誤って閲覧してしまうことを防ぐことができる。
FIG. 11 is a diagram showing a fifth usage example of the
以上、本発明の第1の実施形態に係る表示装置11の使用例における表示制御部231の表示制御処理について説明した。なお、表示制御部231による表示制御処理の例は、図7〜図11に示した使用例に限られるものではない。例えば、表示装置11を使用する人物の数、人物の属性(管理栄養士および患者の他に、医師、看護師、または患者の家族等)、または人物間の面談内容等に応じて、表示制御部231は、顔検出部211および顔判定部221から取得した情報について行う判定の基準を変更してもよい。
The display control process of the
[2−4.動作例]
図12は、本発明の第1の実施形態に係る表示装置11の動作例を示すフローチャートである。図12を参照すると、ステップS301およびS302は、表示装置11の起動処理に係る動作を示し、ステップS303〜S306は、表示装置11の表示制御処理に係る動作を示す。
[2-4. Example of operation]
FIG. 12 is a flowchart showing an operation example of the
表示装置11は、最初に起動処理に係る動作を行う(S301、S302)。まず、カード読取部160が管理栄養士P1の有するカード3に記憶された識別情報を読み取り、通信部110が上記識別情報をサーバ2に送信する(S301)。サーバ2は、受信した識別情報が管理栄養士P1であると判定した場合、管理栄養士P1のログイン処理を実施する。サーバ2においてログイン処理が実施されると、通信部110はサーバ2から画面データを受信する(S302)。取得された画面データは記憶部120に一時的に記憶されてもよい。
The
次に、表示装置11は、表示制御処理に係る動作を行う(S303〜S306)。まず、表示装置11は、表示装置11を使用する人物の撮像、および表示装置11の移動量の検出を行う(S303)。具体的には、撮像部150は、表示部140を閲覧する人物を撮像し、撮像画像を生成する。また、移動検出部170は、表示装置11の移動量を検出する。次に、表示装置11は、撮像画像および移動量に基づいて、表示制御処理を実施する(S304)。具体的には上述した通り、顔検出部211により検出される顔の検出数、顔判定部221による判定結果、または上記移動量と所定の閾値との比較結果の少なくともいずれかに基づいて、表示制御部231が上記サーバ2から取得した画面データのうち、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示する制御を行う。
Next, the
次に、表示部140は、表示制御部231の表示制御の処理結果に応じて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示する(S305)。表示装置11は、画面の表示が継続されるか否かを単位時間ごとに判定する(S306)。例えば、表示装置11は、管理栄養士P1または患者P2の少なくともいずれかによる操作により表示装置11の画面の表示が終了されたか否かを単位時間ごとに判定する。なお、単位時間は任意の値であってよい。画面の表示が終了された場合(NO)、表示装置11は動作を終了する。一方、ステップS306において引き続き画面の表示が継続される場合(YES)、表示装置11は再度ステップS303〜S305の処理を行う。
Next, the
[2−5.効果]
以上、本発明の第1の実施形態に係る表示装置11について説明した。本実施形態によれば、表示装置11は、撮像部150により生成された撮像画像に含まれる人物の顔の検出結果および判定結果、並びに移動検出部170から取得した移動量に基づいて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面の表示制御処理を実施する。これにより、表示装置11は、撮像部150により表示部140を閲覧する人物を撮像し、移動検出部170により表示装置11の移動や姿勢の変化を検出することで、容易に表示部140に表示する画面の切り替えを行うことができる。したがって、表示装置11は、従来のディスプレイを用いて情報を表示することが可能であるので、デュアルビューディスプレイのように表示視野が限られることがない。そのため、管理栄養士P1および患者P2は、空間上の制約なしに、任意の場所で、管理栄養士P1または患者P2のいずれかに提示するための情報を閲覧することができる。例えば、管理栄養士P1および患者P2は、面談における各々の位置や姿勢、面談を行う場所にかかわらず、表示装置11を使用することが可能である。
[2-5. effect]
The
また、表示装置11はデュアルビューディスプレイを用いずに閲覧者ごとに適した情報を表示する制御を行うことができるので、例えば、デュアルビューディスプレイ機能を有する特別な表示装置を用意する必要はない。そのため、表示装置11の導入コストを低く抑えることが可能である。また、表示装置11は任意のタブレット端末やスマートフォン等により実現可能であるため、表示装置の小型化が可能である。これにより、閲覧者の利便性を向上させることが可能である。
Further, since the
<3.第2の実施形態>
[3−1.構成例]
続いて、本発明の第2の実施形態に係る表示装置12について説明する。なお、表示装置12の構成は、図4に示した第1の実施形態に係る表示装置11の構成と、制御部202の内部構成を除いて同一であるため、説明を省略する。なお、本実施形態によれば、カード読取部160により読み取られたカード3に格納された顔画像データは、表示装置12において用いられない。しかし、上述したように、表示装置12は管理栄養士P1がサーバ2にログインするためのインタフェースであるため、本実施形態においてもカード読取部160は表示装置12に備えられてもよい。以下、表示装置12の制御部202の内部構成例について説明する。
<3. Second Embodiment>
[3-1. Configuration example]
Subsequently, a display device 12 according to a second embodiment of the present invention will be described. The configuration of the display device 12 is the same as the configuration of the
図13は、本発明の第2の実施形態に係る制御部202の有する構成を示すブロック図である。図13を参照すると、制御部202は、顔検出部212、カード判定部222、および表示制御部232を含み得る。本実施形態に係る顔検出部212および表示制御部232は、第1の実施形態に係る顔検出部211および表示制御部231とそれぞれ同一であるので、詳細な説明は省略する。顔検出部212は、検出した顔の位置に関する情報をカード判定部222に出力し、また、検出した顔の検出数を示すデータをカード判定部222および表示制御部232に出力する。また、表示制御部232は、顔検出部212から取得した顔の検出数、カード判定部222による判定結果、または移動検出部170から取得した表示装置12の移動量の少なくともいずれかに基づいて、管理栄養士P1に提示するための表示の有無を切り替える制御を行う。
FIG. 13 is a block diagram showing a configuration of the
(カード判定部)
カード判定部222は、撮像部150により生成された撮像画像に含まれる識別情報を表示する識別表示部を検出し、検出された識別情報が管理栄養士P1の識別情報と同一であるか否かを判定する機能を含む。ここで、識別表示部とは、例えば管理栄養士P1の有するカード3に付加されている模様や表示を示す。例えば、識別表示部は、バーコード、、もしくは二次元コード等の模様、または、赤外線LED等の発光体であってもよい。
(Card judgment part)
The
図14は、本発明の第2の実施形態に係るカード3−1の一例を示す図である。図14を参照すると、カード3−1には、二次元コード31、管理栄養士P1の顔写真Fp1、並びに、管理栄養士P1の勤務先、職名、および氏名等を含む職員情報Nm1が記載されている。二次元コード31は上述した識別表示部の一例であり、公知の二次元コードであってもよい。二次元コード31は、例えば、管理栄養士P1の識別情報等の情報を含むコードであってもよい。
FIG. 14 is a diagram illustrating an example of a card 3-1 according to the second embodiment of the present invention. Referring to FIG. 14, the card 3-1 includes a two-
図15は、本発明の第2の実施形態に係る撮像部150により生成された撮像画像の一例を示す図である。図15を参照すると、撮像画像CPには管理栄養士P1の画像が含まれている。カード判定部222は、例えば、撮像画像CPについて、顔検出部211により検出された顔の位置に基づいて二次元コード31を検出してもよい。より具体的に言うと、カード判定部222は、まず、顔検出部211から取得した顔の位置に関する情報に基づき、撮像画像CPにおける人物の顔の領域Faを特定してもよい。ここで、管理栄養士P1等の職員が所有するカード3−1は、例えば、人物の首からストラップ等により吊り下げられていたり、人物の被服の胸あたりに係止されることが多い。そのため、カード判定部222は、撮像画像CP内における人物の顔の領域Faよりも下部の領域を特定し、特定した領域内において、カード3−1に記載された二次元コード31を検出してもよい。検出領域の大きさは特に限定されない。図15に示した例においては、カード判定部222は、顔の領域Faの下部において検出領域Daを特定し、検出領域Da内において二次元コード31を検出する。これにより、二次元コード31の検出処理にかかる負荷を低減させることができる。なお、カード判定部222は、撮像画像CPの全領域を検出領域として特定してもよい。これにより、例えば管理栄養士P1がカード3−1を上述した検出領域Da以外の位置において携行している場合においても、二次元コード31を検出することができる。
FIG. 15 is a diagram illustrating an example of a captured image generated by the
二次元コード31を検出したカード判定部222は、二次元コード31の画像解析処理を行うことにより識別情報を取得する。なお、画像解析処理については、公知の技術が用いられてもよい。そして、カード判定部222は、二次元コード31から取得した識別情報に基づいて、撮像画像に含まれる人物について判定してもよい。例えば、カード判定部222は、取得した識別情報に基づいて、撮像画像に含まれる人物が、所定の条件を満たす人物であるか否かを判定してもよい。所定の条件を満たす人物とは、例えば、管理栄養士P1のように、管理栄養士の職位にある人物であってもよい。この場合、カード判定部222は、取得した識別情報に、カード3−1の所有者が管理栄養士の職位であるか否かを判定してもよい。カード3−1の所有者が管理栄養士の職位であると判定された場合、カード判定部222は、撮像画像内に管理栄養士の職位を有する人物が含まれていることを示す「管理栄養士あり」という判定結果を表示制御部232に出力する。一方で、二次元コード31が検出されなかった場合、または、二次元コード31の解析結果、カード3−1の所有者が管理栄養士の職位でない人物であった場合、カード判定部222は、撮像画像内に管理栄養士の職位を有する人物が含まれていないことを示す「管理栄養士なし」という判定結果を表示制御部232に出力する。
The
カード判定部222は、上述した通り、取得した識別情報のみに基づいて、撮像画像内の人物が特定の人物であるか否かを判定してもよい。上述した例では、カード判定部222は撮像画像内の人物が管理栄養士P1を特定する必要はない。しかし、例えば、管理栄養士P1が継続的に担当している患者P2に関する情報を含む画面データを呼びだすために、撮像画像内の人物が管理栄養士P1であると特定することも求められる。そのため、カード判定部222は、二次元コード31から取得した識別情報と、予め登録されている管理栄養士P1に関する識別情報とが同一であるか否かを判定してもよい。予め登録されている識別情報は、例えば、記憶部120に予め記憶されてもよいし、サーバ2に格納されてもよい。この場合、カード判定部222は、取得した識別情報について記憶部120またはサーバ2に照会し、上記識別情報と一致する識別情報が存在するか否かを判定してもよい。かかる構成により、カード判定部222は、撮像画像内に含まれる人物が管理栄養士P1であるか否かを判定することができる。
As described above, the
本実施形態によれば、撮像画像内に含まれる人物の顔ではなく、人物の所有するカード3−1の二次元コード31を含む識別表示部により、上記人物が管理栄養士であるか否かを判定する。二次元コード31は、人物の顔と比較して、画像解析による検出および判定において環境光や人物の姿勢の変化の影響を受けにくい。また、二次元コード31は単純な模様や形状により構成され得るため、画像解析が容易であり、画像解析処理にかかる負荷が低い。そのため、本実施形態に係る表示装置12は、カード判定部222により、撮像画像内の人物の判定処理を、より高速に、かつ使用状況によらずほぼ一定の精度で行うことが可能である。よって、表示装置12は、管理栄養士P1または患者P2に対して、各々に適した情報を含む画面を安定的に表示することができる。
According to the present embodiment, whether or not the person is a registered dietitian is determined not by the face of the person included in the captured image but by the identification display unit including the two-
なお、カード判定部222は、上述した二次元コード31による判定に加えて、撮像画像内に含まれる人物の顔と、二次元コード31により識別される識別情報に対応する顔画像内に含まれる顔が同一であるか否かをさらに判定してもよい。この場合、識別情報の同一性が判定され、かつ、撮像画像内に含まれる人物がカード3−1の所有者であると判定された場合に、カード判定部222は、「管理栄養士あり」という判定結果を出力することができる。そのため、例えば、カード3−1を不正に取得した人物により管理栄養士に提示するための画面を表示してしまうことを防ぐことが可能であり、患者P2に関する情報の漏えいリスクを低減させることができる。なお、撮像画像内に含まれる人物の顔との比較対象は、カード3−1に記載されている顔写真Fp1に示されている顔であってもよい。これにより、カード3−1に人物の顔に対応するデータが格納されていない場合においても、カード3−1の所有者が撮像画像内に含まれている人物であるか否かを判定することができる。
In addition to the determination by the two-
・第1の変形例
本実施形態においては、カード3−1には、識別表示部として二次元コード31が付加されていたが、本発明はかかる例に限定されない。例えば、カード3には、識別表示部として、赤外線LEDが付加されてもよい。
-1st modification In this embodiment, although the two-
図16は、本発明の第2の実施形態に係るカード3−2の変形例を示す図である。図16を参照すると、カード3−2には、管理栄養士P1の顔写真Fp2、並びに、管理栄養士P1の勤務先、職名、および氏名等を含む職員情報Nm2が記載されているほか、赤外線LED32が付加されている。赤外線LED32は赤外領域の光を発するので、肉眼では上記光を視認することができない。しかし、撮像部150を実現する撮像装置は、上記光を認識することができる。そのため、カード判定部222は、環境光の影響を受けずに赤外線LED32の発光を検出することが可能である。赤外線LED32は、例えば、カード3−2の所有者に応じた特定の発光パタンに基づいて発光してもよい。発光パタンとは、例えば、赤外線LED32による規則的な点滅パタンであってもよい。この場合、カード判定部222は、赤外線LED32の発光パタンを検出し、上記発光パタンに対応する人物または人物の職位を判定する。これにより、カード3−2の所有者の人物について判定することが可能である。
FIG. 16 is a view showing a modification of the card 3-2 according to the second embodiment of the present invention. Referring to FIG. 16, the card 3-2 describes the face photo Fp2 of the registered dietitian P1, and the staff information Nm2 including the workplace, job title, and name of the registered dietitian P1, and the
・第2の変形例
また、カード判定部222は、カード3の形状、模様またはカード3に記載されている文字等を表示識別部として検出してもよい。例えば、カード判定部222は、図14に示したように、カード3に記載されている職員情報Nm1を検出し、職員情報Nm1に対応する人物または人物の職位を判定してもよい。これにより、カード3に特殊な加工を施さなくても、カード3の所有者の人物について判定することが可能である。
-2nd modification Moreover, the card |
[3−2.動作例]
図17は、本発明の第2の実施形態に係る表示装置12の動作例を示すフローチャートである。図17を参照すると、ステップS401およびS402は、表示装置12の起動処理に係る動作を示し、ステップS403〜S406は、表示装置12の表示制御処理に係る動作を示す。
[3-2. Example of operation]
FIG. 17 is a flowchart showing an operation example of the display device 12 according to the second embodiment of the present invention. Referring to FIG. 17, steps S401 and S402 indicate operations related to the startup process of the display device 12, and steps S403 to S406 indicate operations related to the display control process of the display device 12.
表示装置12は、最初に起動処理に係る動作を行う(S401、S402)。まず、カード読取部160が管理栄養士P1の有するカード3に記憶された識別情報を読み取り、通信部110が上記識別情報をサーバ2に送信する(S401)。サーバ2は、受信した識別情報が管理栄養士P1であると判定した場合、管理栄養士P1のログイン処理を実施する。サーバ2においてログイン処理が実施されると、通信部110はサーバ2から画面データを受信する(S402)。取得された画面データは記憶部120に一時的に記憶されてもよい。
The display device 12 first performs an operation related to the activation process (S401, S402). First, the
次に、表示装置12は、表示制御処理に係る動作を行う(S403〜S406)。まず、表示装置12は、表示装置12を使用する人物の撮像、および表示装置12の移動量の検出を行う(S403)。具体的には、撮像部150は、表示部140を閲覧する人物を撮像し、撮像画像を生成する。また、移動検出部170は、表示装置12の移動量を検出する。次に、表示装置12は、撮像画像および移動量に基づいて、表示制御処理を実施する(S404)。具体的には上述した通り、顔検出部212により検出される顔の検出数、カード判定部222による判定結果、または上記移動量と所定の閾値との比較結果の少なくともいずれかに基づいて、表示制御部232が上記サーバ2から取得した画面データのうち、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示する制御を行う。
Next, the display device 12 performs an operation related to the display control process (S403 to S406). First, the display device 12 captures a person who uses the display device 12 and detects the amount of movement of the display device 12 (S403). Specifically, the
次に、表示部140は、表示制御部232の表示制御の処理結果に応じて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面を表示する(S405)。表示装置12は、画面の表示が継続されるか否かを単位時間ごとに判定する(S406)。例えば、表示装置12は、管理栄養士P1または患者P2の少なくともいずれかによる操作により表示装置12の画面の表示が終了されたか否かを単位時間ごとに判定する。画面の表示が終了された場合(NO)、表示装置12は動作を終了する。一方、ステップS406において引き続き画面の表示が継続される場合(YES)、表示装置12は再度ステップS403〜S405の処理を行う。
Next, the
[3−3.効果]
以上、本発明の第2の実施形態に係る表示装置12について説明した。本実施形態によれば、表示装置12は、撮像部150により生成された撮像画像に含まれる人物の検出結果およびカード3の識別表示部の判定結果、並びに移動検出部170から取得した移動量に基づいて、管理栄養士P1または患者P2のいずれかに提示するための情報を含む画面の表示制御処理を実施する。本実施形態に係る表示装置12において、カード判定部222は、カード3に付加された二次元コード31または赤外線LED32の発光パタンにより特定される識別情報を取得することにより、撮像画像に含まれる人物が管理栄養士P1であるか否かの判定を行う。二次元コードや赤外線LEDによる識別情報の取得処理の精度は、人物の顔の判定処理の精度と比較して、環境光等の影響を受けにくい。そのため、本実施形態にかかる構成により、表示装置12は、画面データの表示を切り替える制御をより高速に、かつ使用環境によらず一定の精度で行うことが可能である。
[3-3. effect]
The display device 12 according to the second embodiment of the present invention has been described above. According to the present embodiment, the display device 12 uses the detection result of the person included in the captured image generated by the
<4.ハードウェア構成例>
以上、本発明の各実施形態に係る表示装置10の動作例について説明した。上述した表示装置10の情報処理は、ソフトウェアと、表示装置10との協働により実現される。以下では、本発明の実施形態に係る表示装置10のハードウェア構成について説明する。
<4. Hardware configuration example>
The operation example of the
図18は、本発明の実施形態に係る表示装置10のハードウェア構成例を示すブロック図である。表示装置10は、CPU901、ROM903、およびRAM905、ホストバス907、ブリッジ909、外部バス911、インタフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート925、および通信装置929を含む。さらに、表示装置10は、必要に応じて、撮像装置931、およびセンサ933を含んでもよい。なお、表示装置10は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
FIG. 18 is a block diagram illustrating a hardware configuration example of the
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体923に記録された各種プログラムに従って、表示装置10内の動作全般またはその一部を制御する。なお、CPU901は、制御部200の機能を実現する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
The
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、表示装置10の操作に対応した携帯電話などの外部接続機器927であってもよい。また、入力装置915は、マイクロフォンなどの音声入力装置であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、表示装置10に対して各種のデータを入力したり処理動作を指示したりする。なお、入力装置915は、操作入力部130の機能を実現する。また、入力装置915は、カード読取部160の機能を実現するためのカードリーダであってもよい。
The
出力装置917は、取得した情報をユーザに対して視覚的にまたは聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、OELD(Organic Electro−Luminescence Display)などの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置917は、表示装置10の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。なお、出力装置917は、表示部140の機能を実現する。
The
ストレージ装置919は、表示装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDDなどの磁気記憶部デバイス、SSD(Solid State Drive)などの半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。なお、ストレージ装置919は、記憶部120の機能を実現する。
The
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体923のためのリーダライタであり、表示装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体923に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体923に記録を書き込む。
The
接続ポート925は、機器を表示装置10に直接接続するためのポートである。接続ポート925は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート925は、RS−232Cポート、光オーディオ端子などであってもよい。接続ポート925に外部接続機器927を接続することで、表示装置10と外部接続機器927との間で各種のデータが交換され得る。
The
通信装置929は、例えば、通信ネットワークNWに接続するための通信デバイスなどで構成された通信インタフェースである。通信装置929は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置929は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置929は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置929に接続される通信ネットワークNWは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。なお、通信装置929は、通信部110の機能を実現する。
The
撮像装置931は、例えばCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置931は、静止画を撮像するものであってもよいし、または動画を撮像するものであってもよい。なお、撮像装置931は、撮像部150の機能を実現する。
The
センサ933は、例えば、GPS(Grobal Positioning System)センサ、加速度センサ、ジャイロセンサ、地磁気センサなどの各種のセンサである。センサ933は、例えば表示装置10の筐体の位置や姿勢など、表示装置10自体の状態に関する情報等を取得する。なお、センサ933は、移動検出部170の機能を実現する。
The
以上、表示装置10のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されてもよいし、各構成要素の機能に特化したハードウェアにより構成されてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
Heretofore, an example of the hardware configuration of the
<5.まとめ>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
<5. Summary>
The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
例えば、上記実施形態では、表示装置10は、カード読取部160によりカード3から識別情報を読み取った場合にサーバ2から画面データを取得し、表示制御部231(232)が取得した画面データについての表示の切り替え制御を行ったが、本発明はかかる例に限定されない。例えば、表示制御部231は、顔検出部211(212)による検出結果、および顔判定部221(カード判定部222)の判定結果に基づく制御指示をサーバ2に送信してもよい。この場合、サーバ2は、取得した制御指示に基づいて、管理栄養士P1または患者P2に提示するための画面のいずれかを含む画面データを生成し、生成した画面データを表示装置10に送信してもよい。これにより、表示部140に表示させる画面を含む画面データの容量が低減し、表示装置10における処理負荷を低減させることができる。
For example, in the above embodiment, the
また、上記実施形態では、カード読取部160は、管理栄養士P1の有するカード3に含まれる識別情報等を読み取り、また、顔判定部221およびカード判定部222は、上記識別情報等に基づいて撮像画像に含まれる人物が管理栄養士P1であるか否かを判定したが、本発明はかかる例に限定されない。例えば、カード読取部160は、患者P2の有するカードに含まれる識別情報等を読み取り、顔判定部221およびカード判定部222は、上記識別情報等に基づいて、撮像画像に含まれる人物が患者P2であるか否かを判定してもよい。患者P2の有するカードは、例えば、患者P2の受診する医療機関が発行する診察券等であってもよい。これにより、例えば、カード読取部160が患者P2の有するカードを読み取った際に、サーバ2は患者P2に関する情報を含む画面データを生成することができる。また、表示制御部231(232)は、撮像画像内に含まれる人物が患者P2であると判定された場合に、患者P2に提示するための情報を含む画面を表示することができる。
Moreover, in the said embodiment, the
また、上記実施形態では、表示制御部231(232)は、顔検出数が1ではない場合に患者P2に提示するための画面を表示する制御を行うとしたが、本発明はかかる例に限定されない。例えば、複数の管理栄養士が患者について議論をする際に表示装置10を用いることが想定される。この場合、撮像画像内に含まれる人物が複数であると検出されたが、顔判定部221(カード判定部222)により検出された人物が全て管理栄養士であると判定された場合は、表示制御部231(232)は、上記複数の管理栄養士の少なくともいずれかに提示するための画面を表示する制御を行ってもよい。これにより、複数の顔が検出された場合にあっても、管理栄養士は、管理栄養士に提示するための画面を閲覧しながら議論することが可能である。
In the above embodiment, the display control unit 231 (232) performs control to display a screen to be presented to the patient P2 when the face detection number is not 1. However, the present invention is limited to this example. Not. For example, it is assumed that the
また、他の実施形態においては、表示装置10は、カード読取部160を含まない構成であってもよい。この場合、例えば、サーバ2は、表示装置10からの指示に応じて、画面データを表示装置10に送信してもよい。例えば、サーバ2は、操作入力部130を介した表示装置10への入力に応じて、画面データを送信してもよい。また、顔判定部221は、撮像画像内に含まれる人物が、管理栄養士P1であるか否かを、予め記憶部120、または、サーバ2に記憶された管理栄養士P1の情報に基づいて判定してもよい。
In other embodiments, the
また、他の実施形態においては、表示装置10は、移動検出部170を含まない構成であってもよい。この場合、例えば、表示制御部231(232)は、顔検出部211(212)による検出結果、および顔判定部221(カード判定部222)による判定結果に基づいて、画面データの表示の切り替え制御を行ってもよい。
In other embodiments, the
また、上記実施形態では、サーバ2と表示装置10とが表示システム1を構成していたが、本発明はかかる例に限定されない。例えば、表示装置10の内部にサーバ2の機能が組み込まれた表示装置または表示システムが提供されてもよい。また、表示装置10の制御部200に含まれる各機能をサーバ2が有する構成であってもよい。具体的には、サーバ2が、表示装置10の撮像部150により生成された撮像画像、または移動検出部170により算出された移動量等の情報を取得して、所定の処理を行い、表示装置10の表示部140に表示するための処理結果を表示装置10に送信する構成であってもよい。
Moreover, in the said embodiment, although the server 2 and the
また、本明細書の表示装置10の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、表示装置10の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
Further, each step in the processing of the
また、表示装置10に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記の表示装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
Further, it is possible to create a computer program for causing hardware such as a CPU, ROM, and RAM built in the
また、本発明の実施形態に係る表示装置10は、医療機関等における管理栄養士を含む医療従事者と患者との面談を支援するために使用されるが、適用対象は、かかる例に限定されない。例えば、表示装置10は、任意の業種における店舗またはサービス提供箇所等において店員と顧客とが商品またはサービス等の契約や相談等に関する面談において適用可能である。より具体的には、表示装置10は、金融機関や官公庁等における顧客もしくはサービス受益者との面談、または、教育機関等における学生もしくは学生の保護者との面談等においても適用可能である。その他、特定の人物のみに対して開示する情報を含む情報を参考にしながら面談を行う場合において、表示装置10は適用可能である。
Moreover, although the
1 表示システム
2 サーバ
10、11、12 表示装置
110 通信部
120 記憶部
130 操作入力部
140 表示部
150 撮像部
160 カード読取部
170 移動検出部
200、201、202 制御部
211、212 顔検出部
221 顔判定部
222 カード判定部
231、232 表示制御部
DESCRIPTION OF
Claims (16)
撮像画像に含まれる人物の顔を検出する画像検出部と、
前記画像検出部により前記顔が検出された場合、検出された前記顔を有する人物が第1の人物か否かを判定する判定部と、
前記画像検出部による検出結果、および前記判定部による判定結果に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、
を備える、表示装置。 In a display device to support interviews,
An image detection unit for detecting a human face included in the captured image;
A determination unit that determines whether the person having the detected face is a first person when the face is detected by the image detection unit;
A display control unit that performs control to switch presence / absence of a display for presentation to the first person according to a detection result by the image detection unit and a determination result by the determination unit;
A display device comprising:
前記表示制御部は、前記画像検出部が検出する顔の数に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行う、請求項1に記載の表示装置。 The image detection unit detects the number of human faces,
The display device according to claim 1, wherein the display control unit performs control for switching presence / absence of a display for presentation to the first person according to the number of faces detected by the image detection unit.
前記表示制御部は、前記検出結果、前記判定結果、および前記移動検出部により検出された前記表示装置の移動量に応じて、前記第1の人物のための情報の表示の有無を切り替える制御を行う、請求項1〜4のいずれか一項に記載の表示装置。 A movement detector for detecting movement of the display device;
The display control unit performs control for switching presence / absence of display of information for the first person according to the detection result, the determination result, and a movement amount of the display device detected by the movement detection unit. The display apparatus as described in any one of Claims 1-4 performed.
前記判定部は、読み取られた前記識別体に含まれる識別情報が前記第1の人物の識別情報であるか否かを判定する、請求項1〜5のいずれか一項に記載の表示装置。 An identification body reading unit that reads an identification body including identification information of the person;
The display device according to claim 1, wherein the determination unit determines whether or not the identification information included in the read identification object is identification information of the first person.
前記判定部は、前記顔の位置に基づいて設定される検出領域において、前記識別表示部を検出する、請求項8〜10のいずれか一項に記載の表示装置。 The image detection unit detects the position of the person's face,
The display device according to any one of claims 8 to 10, wherein the determination unit detects the identification display unit in a detection region set based on a position of the face.
前記判定部は、前記発光体の示す発光パタンを検出し、検出された前記発光パタンに対応する前記識別情報が前記第1の人物の識別情報であるか否かを判定する、請求項8〜11のいずれか一項に記載の表示装置。 The identification display unit includes a light emitter,
The determination unit detects a light emission pattern indicated by the light emitter, and determines whether the identification information corresponding to the detected light emission pattern is identification information of the first person. The display device according to any one of 11.
撮像画像に含まれる人物の顔を検出するステップと、
前記顔が検出された場合、検出された前記顔を有する人物が第1の人物か否かを判定するステップと、
前記検出結果、および前記判定結果に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行うステップと、
を含む、表示方法。 In a display method using a display device for supporting an interview,
Detecting a human face included in the captured image;
If the face is detected, determining whether the person having the detected face is a first person;
Performing a control to switch presence / absence of a display for presentation to the first person according to the detection result and the determination result;
Including display method.
コンピュータを、
撮像画像に含まれる人物の顔を検出する画像検出部と、
前記画像検出部により前記顔が検出された場合、検出された前記顔を有する人物が第1の人物か否かを判定する判定部と、
前記画像検出部による検出結果、および前記判定部による判定結果に応じて、前記第1の人物に提示するための表示の有無を切り替える制御を行う表示制御部と、
として機能させるための、プログラム。
In a program to support interviews,
Computer
An image detection unit for detecting a human face included in the captured image;
A determination unit that determines whether the person having the detected face is a first person when the face is detected by the image detection unit;
A display control unit that performs control to switch presence / absence of a display for presentation to the first person according to a detection result by the image detection unit and a determination result by the determination unit;
Program to function as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015106205A JP6668614B2 (en) | 2015-05-26 | 2015-05-26 | Display device, display method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015106205A JP6668614B2 (en) | 2015-05-26 | 2015-05-26 | Display device, display method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016218946A true JP2016218946A (en) | 2016-12-22 |
JP6668614B2 JP6668614B2 (en) | 2020-03-18 |
Family
ID=57581282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015106205A Active JP6668614B2 (en) | 2015-05-26 | 2015-05-26 | Display device, display method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6668614B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023114587A (en) * | 2022-02-07 | 2023-08-18 | 三菱電機Itソリューションズ株式会社 | Process execution device, process execution method and process execution program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000066802A (en) * | 1998-08-18 | 2000-03-03 | Canon Inc | Device and method for displaying image |
JP2004157923A (en) * | 2002-11-08 | 2004-06-03 | Toshiba Corp | Person recognition device and method and passage controller |
JP2009009231A (en) * | 2007-06-26 | 2009-01-15 | Toshiba Corp | Security management system and security management method |
JP2011022203A (en) * | 2009-07-13 | 2011-02-03 | Fujifilm Corp | Af frame automatic follow-up system and method for automatically following up af frame |
JP2011203328A (en) * | 2010-03-24 | 2011-10-13 | Seiko Epson Corp | Projector, projector system, and image projection method |
JP2012088984A (en) * | 2010-10-21 | 2012-05-10 | Nikon Corp | Portable terminal, image display device and image display system |
JP2014115587A (en) * | 2012-12-12 | 2014-06-26 | Canon Marketing Japan Inc | Portable terminal, information processing method and program |
-
2015
- 2015-05-26 JP JP2015106205A patent/JP6668614B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000066802A (en) * | 1998-08-18 | 2000-03-03 | Canon Inc | Device and method for displaying image |
JP2004157923A (en) * | 2002-11-08 | 2004-06-03 | Toshiba Corp | Person recognition device and method and passage controller |
JP2009009231A (en) * | 2007-06-26 | 2009-01-15 | Toshiba Corp | Security management system and security management method |
JP2011022203A (en) * | 2009-07-13 | 2011-02-03 | Fujifilm Corp | Af frame automatic follow-up system and method for automatically following up af frame |
JP2011203328A (en) * | 2010-03-24 | 2011-10-13 | Seiko Epson Corp | Projector, projector system, and image projection method |
JP2012088984A (en) * | 2010-10-21 | 2012-05-10 | Nikon Corp | Portable terminal, image display device and image display system |
JP2014115587A (en) * | 2012-12-12 | 2014-06-26 | Canon Marketing Japan Inc | Portable terminal, information processing method and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023114587A (en) * | 2022-02-07 | 2023-08-18 | 三菱電機Itソリューションズ株式会社 | Process execution device, process execution method and process execution program |
JP7336553B2 (en) | 2022-02-07 | 2023-08-31 | 三菱電機Itソリューションズ株式会社 | Process execution device, process execution method and process execution program |
Also Published As
Publication number | Publication date |
---|---|
JP6668614B2 (en) | 2020-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6070512B2 (en) | Information processing apparatus, information processing method, and program | |
JP5928261B2 (en) | Information sharing apparatus and program | |
US9282222B1 (en) | Electronic devices with side viewing capability | |
KR102482361B1 (en) | Direct input from remote device | |
US10987804B2 (en) | Robot device and non-transitory computer readable medium | |
WO2017216929A1 (en) | Medical equipment information provision system, medical equipment information provision method, and program | |
US20170038838A1 (en) | Information processing system and information processing method | |
US10013532B2 (en) | Terminal, system, display method, and recording medium storing a display program | |
KR102055677B1 (en) | Mobile robot and method for controlling the same | |
JP6300113B2 (en) | Information display system and information display terminal | |
KR20140052263A (en) | Contents service system, method and apparatus for service contents in the system | |
CN112578971A (en) | Page content display method and device, computer equipment and storage medium | |
JP2020194493A (en) | Monitoring system for nursing-care apparatus or hospital and monitoring method | |
US20200018926A1 (en) | Information processing apparatus, information processing method, and program | |
WO2012169562A1 (en) | Image processing apparatus, method of controlling image processing apparatus and storage medium | |
US9148537B1 (en) | Facial cues as commands | |
JP5446700B2 (en) | Information processing apparatus, information processing method, and program | |
JP6176938B2 (en) | Medical information terminal and program | |
JP6668614B2 (en) | Display device, display method, and program | |
US9462226B1 (en) | Apparatus, system, and method of managing remote communication, and recording medium storing a remote communication management program | |
CN110799090A (en) | Sleeping abnormality notification system, sleeping abnormality notification method, and program | |
JP7283101B2 (en) | Processing device, processing method and program | |
US9160923B1 (en) | Method and system for dynamic information display using optical data | |
JP2020095581A (en) | Method for processing information, information processor, information processing system, and store | |
CN109634508A (en) | A kind of user information loading method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190318 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6668614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |