CN101453938A - 图像记录装置、图像记录方法以及图像记录程序 - Google Patents

图像记录装置、图像记录方法以及图像记录程序 Download PDF

Info

Publication number
CN101453938A
CN101453938A CNA2007800195296A CN200780019529A CN101453938A CN 101453938 A CN101453938 A CN 101453938A CN A2007800195296 A CNA2007800195296 A CN A2007800195296A CN 200780019529 A CN200780019529 A CN 200780019529A CN 101453938 A CN101453938 A CN 101453938A
Authority
CN
China
Prior art keywords
image
observer
observed person
viewpoint
observed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800195296A
Other languages
English (en)
Other versions
CN101453938B (zh
Inventor
山口博司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN101453938A publication Critical patent/CN101453938A/zh
Application granted granted Critical
Publication of CN101453938B publication Critical patent/CN101453938B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种用于辅助观察者对被观察者进行观察的图像记录装置。该图像记录装置包括一图像捕获部分,其对被观察者进行图像捕获;一观察结果输入部分,其输入观察者对被观察者进行观察的观察结果;一观察者视点位置判断部分,其判断当图像捕获部分捕获被观察者的图像时观察者是否在看被观察者;一图像提取部分,其提取被观察者的图像,对于被观察者,观察者视点位置判断部分判断观察者在看被观察者;一身体状况数值化部分,对于由观察结果输入部分所输入且与图像提取部分所提取的被观察者的图像对应的观察结果,其通过分析图像提取部分提取的被观察者的图像来将被观察者的身体状况数值化;一身体状况数据存储部分,其存储与相应观察结果相关、通过身体状况数值化部分进行数值化后产生的身体状况数值化数据。

Description

图像记录装置、图像记录方法以及图像记录程序
技术领域
本发明涉及一种图像记录装置、图像记录方法以及图像记录程序。特别是,本发明涉及一种辅助诊断者对被诊断者进行诊断的图像记录装置、图像记录方法以及图像记录程序。如果可以的话,此专利申请将合并2006年3月28日提交的第2006-088616号以及2007年2月19日提交的第2007-038671号日本专利申请的内容作为参考。
背景技术
现已提出了一种诊断系统,该诊断系统记录问诊数据(患者的年龄、性别以及主观症状等),以及在患者身体的某一区域的动态图像被捕获时与患者指定的瞬间相应的静止图像。基于所记录的静止图像,该诊断系统生成与适于某一疾病诊断的参考数据进行比较的比较图像数据,并且通过比较比较图像数据与参考数据来生成诊断数据。
[专利文献1]日本特开2003-70753号公报(Unexamined Japanese PatentApplication Pubication No.2003-70753)
发明内容
本发明解决的问题
然而,在专利文献1公开的发明中,对于医疗专业知识匮乏的患者而言,通过比较某一疾病的参考数据与该患者的比较图像数据来对其自己的疾病进行自我诊断是十分有限的。更具体地说,如果患者不具有充实的医疗专业知识的话,那么,对于该患者来说,在捕获患者的动态图像而获取适于疾病诊断的静止图像的同时,指定一恰当的时刻是很困难的。
因此,本发明的目的在于提供一种能够解决上述问题的图像记录装置、图像记录方法以及图像记录程序。该目的是由独立权利要求中所述的特征组合来达成的。从属权利要求还规定了本发明更有效果的具体例子。
解决问题的方法
为了解决上述问题,本发明的第一实施例提供了一种用于辅助观察者对被观察者进行观察的图像记录装置。该图像记录装置包括:一图像捕获部分,该图像捕获部分对被观察者进行图像捕获;一观察结果输入部分,该观察结果输入部分输入观察者对被观察者进行观察的观察结果;一观察者视点位置判断部分,该观察者视点位置判断部分判断当该图像捕获部分捕获被观察者的图像时观察者是否在看被观察者;一图像提取部分,该图像提取部分提取被观察者的图像,对于该被观察者,该观察者视点位置判断部分判断为观察者在看该被观察者;一身体状况数值化部分,对于由该观察结果输入部分所输入的且与该图像提取部分所提取的被观察者的图像相对应的观察结果,该身体状况数值化部分通过分析该图像提取部分所提取的被观察者的图像来将被观察者的身体状况数值化;一身体状况数据存储部分,该身体状况数据存储部分其中存储与相应观察结果相关的、通过该身体状况数值化部分进行数值化后产生的身体状况数值化数据。
该图像记录装置可还包括:一观察者视点测量部分,当该图像捕获部分捕获被观察者的图像时,该观察者视点测量部分测量观察者的视点;一图像存储部分,该图像存储部分存储与该图像捕获部分所捕获的被观察者的图像相关、该观察结果输入部分所输入的观察结果以及表示该观察者视点测量部分所测量的观察者的视点的观察者视点位置信息。在这里,基于该图像存储部分存储的观察者视点位置信息,该观察者视点位置判断部分可判断当图像捕获部分捕获与该观察者视点位置信息相关的、由该图像存储部分所存储的被观察者的图像时观察者是否在看被观察者,基于该观察者视点位置判断部分判断出观察者在看被观察者,该图像提取部分可提取与观察者视点位置信息相关的、由该图像存储部分所存储的被观察者的图像。
该图像记录装置可还包括:一图像输入部分,该图像输入部分输入观察对象的图像;一身体状况确定部分,通过分析该图像输入部分所输入的观察对象的图像,该身体状况确定部分确定该观察对象的身体状况;一身体状况比较部分,该身体状况比较部分将该身体状况确定部分所确定的观察对象的身体状况与该身体状况数据存储部分所存储的身体状况数值化数据进行比较;一输出部分,根据该身体状况比较部分所得的比较结果,该输出部分输出与比预定程度表现出较高一致度的身体状况数值化数据相关的、由该身体状况数据存储部分所存储的表示身体状况的信息。该图像记录装置可还包括:一疾病可能性计算部分,基于该身体状况比较部分所得的比较结果所示的一致度,该疾病可能性计算部分计算出与身体状况关联的疾病的可能性。在这里,该输出部分可输出表示疾病的信息和该疾病可能性计算部分所计算出的疾病的可能性。该图像记录装置可还包括:一疾病信息输入部分,该疾病信息输入部分输入表示疾病的信息;一身体状况数值化数据提取部分,该身体状况数值化数据提取部分提取与该疾病信息输入部分所输入的表示疾病的信息相关的、由该身体状况数据存储部分所存储的身体状况数值化数据;一疾病图像生成部分,基于该身体状况数值化数据提取部分所提取的身体状况数值化数据,该疾病图像生成部分生成带有该疾病信息输入部分输入的信息所示的疾病的患者的图像;以及一输出部分,该输出部分输出该疾病图像生成部分所生成的图像。
该图像记录装置可还包括:一被观察者视点测量部分,当该图像捕获部分捕获被观察者的图像时,该被观察者视点测量部分测量该被观察者的视点;一视线重合判断部分,基于该被观察者视点测量部分所测量的被观察者的视点以及该观察者视点测量部分所测量的观察者的视点,该视线重合判断部分判断被观察者与观察者之间的视线是否重合。在这里,该图像存储部分可将该视线重合判断部分所作出的判断结果作为被观察者视点位置信息而存储,该图像提取部分可提取与表示该视线重合判断部分判断被观察者与观察者的视线重合的判断结果相关的、由该图像存储部分所存储的被观察者的图像。在这里,该图像捕获部分可捕获被观察者的动态图像,该身体状况数值化部分可将被观察者的瞳孔大小变化进行数值化。在这里,该图像捕获部分可捕获被观察者的动态图像,该身体状况数值化部分可将被观察者的视点位置的变化进行数值化。在这里,当观察者判断被观察者没有疾病时,该观察结果输入部分可输入作为观察结果的表示没有疾病的信息,该图像存储部分可其中存储与该图像捕获部分所捕获的被观察者的图像相关的、该观察结果输入部分所输入的表示没有疾病的信息,对于与该图像提取部分所提取的被观察者的图像相关的、由该图像存储部分所存储的疾病,该身体状况数值化部分可通过将(i)与该疾病相关的、由该图像存储部分所存储的被观察者的图像和(ii)与表示没有疾病的信息相关的、由该图像存储部分所存储的被观察者的图像之间进行比较而检测出的被观察者的身体状况的差别进行数值化,该身体状况数据存储部分可其中存储与疾病相关的、由身体状况数值化部分进行数值化后产生的身体状况差别数值化数据。
该图像记录装置可还包括:一图像输入部分,该图像输入部分输入当将被诊断的对象没有疾病时被捕获的图像以及新捕获的将被诊断的对象的图像;一身体状况差别计算部分,通过分析当将被诊断的对象没有疾病时被捕获的图像以及新捕获的将被诊断的对象的图像,该身体状况差别计算部分计算出该将被诊断的对象的身体状况的差别,这些图像由该图像输入部分输入;一身体状况差别比较部分,该身体状况差别比较部分将该身体状况差别计算部分所计算出的将被诊断的对象的身体状况的差别与该身体状况数据存储部分所存储的身体状况差别数值化数据进行比较;一输出部分,根据该身体状况差别比较部分所作出的比较结果,该输出部分输出与比预定程度表现出较高一致度的身体状况差别数值化数据相关的、由该身体状况数据存储部分所存储的表示疾病的信息。该图像记录装置可还包括:一疾病可能性计算部分,基于该身体状况差别比较部分所作出的比较结果所示的一致度,该疾病可能性计算部分计算出疾病的可能性。在这里,该输出部分可输出表示疾病的信息和该疾病可能性计算部分所计算出的疾病的可能性。在这里,该图像捕获部分可捕获被观察者的动态图像,该身体状况数值化部分可将有疾病时与没有疾病时的被观察者的身体状况的瞳孔大小的差别进行数值化。在这里,该图像捕获部分可捕获被观察者的动态图像,该身体状况数值化部分可将有疾病时与没有疾病时的被观察者的视点位置的变化的差别进行数值化。在这里,该图像捕获部分可捕获被观察者的动态图像,该身体状况数值化部分可将有疾病时与没有疾病时的被观察者的眨眼次数的差别进行数值化。
本发明的第二实施例提供了一种用于辅助观察者对被观察者进行观察的图像记录方法。该图像记录方法包括:捕获被观察者的图像;输入观察者对被观察者进行观察的观察结果;判断在图像捕获过程中观察者是否在看被观察者;对于在判断过程中判断为观察者在看被观察者时,提取被观察者的图像;对于在结果输入过程中所输入的且与在提取过程中所提取的被观察者的图像相对应的观察结果,通过分析在提取过程中所提取的被观察者的图像,将被观察者的身体状况进行数值化;以及存储与相应观察结果相关的、在数值化过程中产生的身体状况数值化数据。
该图像记录方法还可包括:在图像捕获过程中测量观察者的视点;以及存储与在图像捕获过程中所捕获的被观察者的图像相关的、在结果输入过程中输入的观察结果以及表示在测量过程中测量的观察者的视点的观察者视点位置信息。在这里,在该判断过程中,基于该图像存储过程中存储的观察者视点位置信息,可判断出当与该观察者视点位置信息相关的、在该图像存储过程中存储的被观察者的图像被捕获到时观察者是否在看被观察者,以及在该提取过程中,基于在判断过程中判断为观察者在看被观察者,可提取与观察者视点位置信息相关的、在该图像存储过程中存储的被观察者的图像。
本发明的第三实施例提供了一种用于辅助观察者对被观察者进行观察的图像记录装置的图像记录程序。该图像记录程序使该图像记录装置具备如下功能:一图像捕获部分,该图像捕获部分对被观察者进行图像捕获;一观察结果输入部分,该观察结果输入部分输入观察者对被观察者进行观察的观察结果;一观察者视点位置判断部分,该观察者视点位置判断部分判断当该图像捕获部分捕获被观察者的图像时观察者是否在看被观察者;一图像提取部分,该图像提取部分提取被观察者的图像,对于该被观察者,该观察者视点位置判断部分判断为观察者在看该被观察者;一身体状况数值化部分,对于由该观察结果输入部分所输入的且与该图像提取部分所提取的被观察者的图像相对应的观察结果,该身体状况数值化部分通过分析该图像提取部分所提取的被观察者的图像来将被观察者的身体状况数值化;一身体状况数据存储部分,该身体状况数据存储部分其中存储与相应观察结果相关的、通过该身体状况数值化部分进行数值化后产生的身体状况数值化数据。
该图像记录程序还可使该图像记录装置具备如下功能:一观察者视点测量部分,当该图像捕获部分捕获被观察者的图像时,该观察者视点测量部分测量观察者的视点;一图像存储部分,该图像存储部分存储与该图像捕获部分所捕获的被观察者的图像相关、该观察结果输入部分所输入的观察结果以及表示该观察者视点测量部分所测量的观察者的视点的观察者视点位置信息。在这里,基于该图像存储部分存储的观察者视点位置信息,该观察者视点位置判断部分可判断当图像捕获部分捕获与该观察者视点位置信息相关的、由该图像存储部分所存储的被观察者的图像时观察者是否在看被观察者,基于该观察者视点位置判断部分判断出观察者在看被观察者,该图像提取部分可提取与观察者视点位置信息相关的、由该图像存储部分所存储的被观察者的图像。
在这里,本发明的所有必要特征没有在概要中都列出。这些特征的子组合可构成本发明。
本发明的效果
当观察者诊断被观察者时,本发明可以辅助观察者识别被观察者的疾病。
附图说明
图1是图像记录装置10的示意图。
图2是图像记录装置10的功能配置的方框图。
图3是图像捕获单元20的功能配置的方框图。
图4是存储单元30以及声音单元40的功能配置的方框图。
图5是视点输出控制部分220的操作示意图。
图6是在先图像输出控制部分310的操作示意图。
图7是图像存储部分320上存储的数据结构。
图8用于说明第一实施例相关的图像捕获单元20的另一个实施例。
图9A和图9B用于说明阅览者视点判断部分272的操作。
图10是被观察者信息存储部分300中存储的示例性数据。
图11用于说明由被阅览图像提取部分312提取的图像和由输出部分50输出的提取图像的操作。
图12是第二实施例相关的图像捕获单元20的示例性功能配置示意图。
图13用于说明视点移动方法学习部分216的操作。
图14用于说明视点移动方法学习部分216的操作。
图15用于说明视点移动方法学习部分216的操作。
图16A和图16B是图像记录装置10用于视频会议时的示意图。
图17是第三实施例相关的图像捕获单元20以及第二实施例相关的输入单元60的示例性功能配置图。
图18A和图18B用于说明观察者视点判断部分250的操作。
图19用于说明观察者视点判断部分250的操作。
图20是图像存储部分320上存储的数据的一个示例。
图21是图像记录装置10中的第四实施例相关的图像捕获单元20和第三实施例相关的输入单元60的示例性功能配置图。
图22是书写部分614的示意图。
图23是存储在图像存储部分320上的一示例性数据。
图24是用于说明电子医用记录500的说明图。
图25A和图25B用于说明电子医用记录500。
图26是第五实施例相关的图像捕获单元20的示例性功能配置图。
图27是第四实施例相关的输入单元60的示例性功能配置图。
图28是第二实施例相关的分析单元70的示例性功能配置图。
图29用于说明身体状况计算部分725的功能。
图30是存储在身体状况数据存储部分720上的一个示例性数据结构。
图31是图像记录装置10的硬件配置的方框图。
具体实施方式
以下,将描述本发明的一些实施例。这些实施例并不限定权利要求所涉及的本发明,在实施例中说明的所有特征的组合并非全部都是本发明的解决手段所必须的。
图1及图2给出了本发明的第一实施例涉及的图像记录装置10的示意图。该图像记录装置10其中包括一图像捕获单元20、一存储单元30、一声音单元40、一输出部分50、一输入单元60以及一分析单元70。本第一实施例的图像捕获单元20其中包括多个图像捕获部分。例如,该图像捕获单元20包括一观察者910视点探测用的图像捕获部分202、一为了测量观察者910存在的区域范围的图像捕获部分208、一被观察者915视点探测用的图像捕获部分204以及一为了测量被观察者915存在的区域范围的图像捕获部分206。该图像捕获部分202至208既可以是3维照相机,也可以是捕获2维图像的照相机。例如,输出部分50是一显示装置。该输入单元60其中包括一数字输入部分612及一书写部分614。例如,该数字输入部分612可以包括一键盘及一鼠标,书写部分614可以是一支笔。该声音单元40可以包括一集音部分405。应注意,本实施例的图像记录装置10是一个图像输出装置的例子。该第一实施例涉及的图像记录装置10的目的在于:检测出当观察者910观察被观察者915的时候,观察者910注意被观察者915的区域,以及把观察者910注意的被观察者915的区域的图像和观察者910的视点重叠显示。另外,本第一实施例的目的是提供通过检测出使用输出部分50阅览被记录的被观察者915的图像的阅览者的视点而使阅览者能够确认观察者910的视点的图像输出装置。
通过角膜反射法或通过检测眼球区域的图像的光强分布的改变,该图像捕获单元20测量观察者910及被观察者915的视点。并且,该图像捕获单元20使用从图像捕获部分206捕获的被观察者915图像以及从图像捕获部分202捕获的观察者910视点检测用的图像,来识别观察者910观察被观察者915的区域。
此外,该图像记录装置10使用从图像捕获部分208捕获的在图像捕获目标区域内识别观察者910存在的区域用的图像以及从图像捕获部分204捕获的被观察者915的视线方向测定用的图像,来识别被观察者915在看的观察者910的区域或观察者910以外空间的区域。在这里,该图像捕获单元20的图像捕获部分202~208可以包括一全景照相机。当图像捕获部分202至208中的任一个是全景照相机时,该单个全景照相机能够捕获到观察者910及被观察者915的视线方向测定用的图像,和在图像捕获目标区域内观察者910及被观察者915各自存在位置测定用的图像。因此,该图像记录装置10可以不用具有多个图像捕获部分,例如上述图像捕获部分202。
当观察者910将视线转移到被观察者915存在的区域时,该图像记录装置10捕获显示出包含观察者910视点的被观察者915的预定区域的图像。在输出部分50上,该图像记录装置10然后与表示观察者910视点的标示一起显示捕获的被观察者915的图像。在这种情况中,该图像记录装置10可以并列显示被观察者915图像和以规定的倍率放大捕获的被观察者915的局部图像所取得的放大图像。根据该图像记录装置10,当观察者910从键盘及鼠标等数字输入部分612将被观察者915的症状写入电子病历的时候,或者当观察者910使用笔等书写部分614将该症状写入病历的时候,该图像捕获部分206捕获被观察者915的图像。进一步,该图像记录装置10通过集音部分405取得观察者910对被观察者915询问问题时而发出的声音。这样,该图像记录装置10在输出部分50上并列显示观察者910先前对被观察者915提出同样问题时捕获的被观察者915的图像以及被观察者915的当前图像。
在图像记录装置10中,分析单元70分析由图像捕获部分204和206捕获的图像,以确定被观察者915的身体状况。例如,基于由图像捕获部分204捕获的被观察者915的图像,分析单元70得到有关被观察者915的信息,例如瞳孔大小的改变、视线的移动、视线的移动速度以及眨眼次数,以便识别出被观察者915的疾病。当图像捕获部分204或206其中包括用于测定被观察者915面部温度的温度测定部分时,分析单元70也可利用测定的被观察者915面部的温度,来识别被观察者915的疾病。分析单元70在显示屏幕上显示识别的疾病。具体地说,分析单元70在显示屏幕上显示包括疾病的名称和症状的信息。分析单元70可在显示屏幕上显示出被观察者915可能患有的多种候选疾病。
根据本第一实施例的图像记录装置10,当显示时,观察者910的视点可重叠在被观察者915的图像上。这样,该图像记录装置10可容易地确认观察者910观察被观察者915时其集中观察的被观察者915的区域。例如,在输出部分50上,被观察者915的移动图像可以和重叠在该移动图像上的观察者910视点的移动一起被捕获并显示。因此,该图像记录装置10可以再现观察者910是如何观察并诊断被观察者915的。而且,该图像记录装置10可以捕获到当观察者910向电子病历中写入观察结论时被观察者915所作行为的图像。因此,即使观察者910遗漏了被观察者915面部表情的改变,该图像记录装置10也能在观察之后很容易地重新得到并再现该遗漏的被观察者915的面部表情的图像。此外,该图像记录装置10可并排显示被观察者915的先前以及当前的图像,因此可以准确地了解被观察者915的症状改变。
图3示出了图像捕获单元20的第一实施例的示例性功能配置。该图像捕获单元20其中包括图像捕获部分202、204、206和208、一观察者视点测量部分210、一被观察者位置测量部分212、一被观察者视点测量部分214、一视点输出控制部分220、一视野测量部分230、一视点图像提取部分240以及一观察者位置测量部分270。图4示出存储单元30和声音单元40的示例性功能配置。该存储单元30其中包括一被观察者信息存储部分300、一在先图像输出控制部分310以及一图像存储部分320。该声音单元40其中包括一声音记录部分400、一声音信息比较部分410和一在先图像提取部分420。
该图像捕获部分204捕获被观察者915的图像。该图像捕获部分204可捕获被观察者915的移动图像。该图像捕获部分204向被观察者视点测量部分214和存储单元30的图像存储部分320提供被观察者915的被捕获的图像。该图像捕获部分206捕获用于识别被观察者915在预定图像捕获目标区域内所在位置的图像。该图像捕获部分206向被观察者位置测量部分212提供捕获的图像。该图像捕获部分202捕获观察者910的图像。该图像捕获部分202向观察者视点测量部分210和视野测量部分230提供捕获的图像。该图像捕获部分208捕获用于识别观察者910在预定图像捕获目标区域内所在位置的图像。该图像捕获部分208向观察者位置测量部分270提供捕获的图像。这里,图像捕获部分202、204、206和208的每一个均可捕获与观察者910和被观察者915任一个相应的移动图像。
当捕获移动图像时,图像捕获部分202、204、206和208的每一个均可提供构成相应移动图像的一组或多组相应的多幅图像。这里,构成移动图像的图像可包括任一类型的帧图像、场图像以及以不同格式构成图像的其它移动图像。此处,该图像记录装置10其中可附加地包括用于测定被观察者915眨眼次数的眨眼测量部分。这种眨眼测量部分测得在预定时间周期内被观察者915眨眼的次数。眨眼测量部分向被观察者信息存储部分300提供测得的被观察者915的眨眼次数。
当图像捕获部分204和206捕获被观察者915的图像时,观察者视点测量部分210测定观察者910的视点。具体地说,观察者视点测量部分210其中可包括用于测定观察者910左眼视线的第一观察者视线测量部分和用于测定观察者910右眼视线的第二观察者视线测量部分。第一和第二观察者视线测量部分利用由图像捕获部分202捕获的图像来测定观察者910左眼和右眼的视线方向。这里,观察者视点测量部分210可基于角膜反射方法来测定观察者910的视线方向。可选择地,第一和第二观察者视线测量部分从观察者910的左眼和右眼的图像中提取示出眼球的图像,并检测在提取的示出眼球的图像中光强分布的改变。第一和第二观察者视线测量部分可基于检测的光强分布来计算出观察者910左眼和右眼的视线方向。例如,第一观察者视线测量部分在左眼眼球的垂直和水平方向上,计算示出对应于虹膜或瞳孔位置而改变的眼球的图像的光强分布。
更具体地,通过比较当观察者910的视线在观察者910前方延伸时观察到的眼球图像的光强分布与观察者910的视线在除了前方之外的方向上延伸时观察到的眼球图像的光强分布,观察者910的视线方向被一一识别。例如,可通过将由第一观察者视线测量部分计算出的左眼眼球图像的光强分布与当观察者910的左眼视线在观察者910的前方延伸时观察到的左眼球图像的光强分布相比较,而计算出左眼虹膜或瞳孔指向的方向,即左眼视线的方向。应注意到,第一观察者视线测量部分可判断出当检测出在左眼眼球垂直和水平方向上计算出的眼球图像的光强部分甚至是关于左眼中心点时左眼视线在观察者910的前方延伸。以同样的方式,第二观察者视线测量部分计算出右眼的视线方向。这里,第一和第二观察者视线测量部分可基于角膜反射方法和眼球图像光强分布改变的检测相结合,来识别观察者910左眼和右眼的视线方向。观察者视点测量部分210基于左眼和右眼的视线来识别观察者910的视点。例如,观察者视点测量部分210可将左眼和右眼视线彼此相交的点或邻近该相交点的点识别为观察者910的视点。当左眼和右眼的视线不能彼此相交时,观察者视点测量部分210可将从一条视线向另一视线延伸的垂线的中点或邻近该中点的点识别为观察者910的视点。如随后所述,可选择地,基于由观察者视点测量部分210计算出的视线和指示观察者910所在的区域并由观察者位置测量部分270计算出的三维坐标数据,观察者910的视点可被计算出。观察者视点测量部分210向视点输出控制部分220和视点图像提取部分240提供指示识别的观察者910的视点的信息。这里,被观察者视点测量部分214以与观察者视点测量部分210相同的方式来测定被观察者915的视点。被观察者视点测量部分214向视点输出控制部分220和视点图像提取部分240提供指示被观察者915视点的信息。
基于由图像捕获部分206捕获的被观察者915的图像,被观察者位置测量部分212测定被观察者915在预定图像捕获目标区域内所在的位置。具体地说,被观察者位置测量部分212获得根据预定的三维坐标系统而确定的含有被观察者915所在位置的坐标数据。例如,预先根据预定的三维坐标系统,确定了图像捕获部分202、204、206和208的位置和图像捕获方向以及观察者910和被观察者915所在的位置。具体地,可通过使被观察者915位于预定位置而识别在图像捕获部分206的捕获目标区域内由被观察者915占据的区域。例如,通过利用使被观察者915坐在预定位置的坐标数据来识别在图像捕获部分206的图像捕获目标区域内由被观察者915占据的区域。以相同的方式,可通过使观察者910坐在预定位置的坐标数据来识别在图像捕获部分208的图像捕获目标区域内由观察者910占据的区域。当被观察者915移动到图像捕获部分206的图像捕获目标区域内时,被观察者位置测量部分212可根据被观察者915的移动而测定在图像捕获部分206的图像捕获目标区域内由被观察者915占据的区域。
图像捕获部分206可为三维照相机。基于由图像捕获部分206捕获的图像,被观察者位置测量部分212计算被观察者915在三维坐标系统中所在的位置。例如,对于每一个像素,图像捕获部分206检测从图像捕获部分206至被观察者915所在的图像捕获目标区域内的区域的一个距离。基于由图像捕获部分206检测的距被观察者915的距离,被观察者位置测量部分212可计算出指示被观察者915在三维坐标系统内所处位置的坐标数据。被观察者位置测量部分212向视点输出控制部分220和视点图像提取部分240提供计算结果。此外,被观察者位置测量部分212可向观察者视点测量部分210提供该计算结果。观察者位置测量部分270在图像捕获部分208的图像捕获目标区域内测定观察者910所在的位置。观察者位置测量部分270用与被观察者位置测量部分212相同的方式,计算出指示观察者910在三维坐标系统内所在位置的坐标数据。观察者位置测量部分270向视点输出控制部分220和视点图像提取部分240提供计算结果。由于根据三维坐标系统,预先确定了图像捕获部分202的图像捕获方向,所以观察者视点测量部分210可基于由图像捕获部分202捕获的图像而计算出指示观察者910视线方向的坐标数据。以相同的方式,被观察者视点测量部分214可基于图像捕获部分204捕获的图像而计算出指示被观察者915视线方向的坐标数据。
此处,基于由被观察者位置测量部分212计算出的、指示被观察者915所在区域和由观察者视点测量部分210测定出的观察者910视线方向的坐标数据,观察者视点测量部分210识别出观察者910的视点所关注的被观察者915的区域。具体地说,观察者视点测量部分210可将由坐标数据识别的被观察者915的交叉区域确定为观察者910的视点,该坐标数据由被观察者位置测量部分212计算得出,并指示被观察者915所在的区域,以及指示沿着由观察者视点测量部分210测得的观察者910视线方向而从观察者910眼部延伸出的视线。观察者视点测量部分210将获得的交叉部分的坐标数据作为指示观察者910视点的坐标数据。被观察者视点测量部分214可用与观察者视点测量部分210相同的方式而获得指示被观察者915视点的坐标数据。
另外,观察者视点测量部分210提取有关观察者910的信息,例如面部轮廓、眼睛形状以及眼部的特征点(眼睛的内角及外角)。当观察者910移动头部时,观察者视点测量部分210可追踪提取的眼部的特征点等,以便跟踪观察者910的移动,并且观察者视点测量部分210可测定观察者910的视线。例如,观察者视点测量部分210可其中包括用于提取观察者910眼部特征点等的观察者特征点提取部分,以及根据由观察者特征点提取部分提取的观察者910的眼部特征点等移动而用于移动图像捕获部分202的移动控制部分。在这种配置情况下,即使当观察者910移动头部,观察者视点测量部分210也能通过根据观察者910头部的移动而移动图像捕获部分202,而恰当地测定观察者910的视点。观察者视点测量部分210向视点输出控制部分220和视点图像提取部分240提供测定的观察者910的视点。
这里,观察者910可远距离地观察被观察者915。例如,为观察者910提供图像记录装置10,并为被观察者915提供另一图像记录装置10,并且这些图像记录装置10可通过例如互联网的网络彼此连接。在这种情况下,用于捕获被观察者915图像的图像捕获部分204和206通过网络向观察者910的图像记录装置10的输出部分50提供捕获到的被观察者915的图像。因此,观察者910在输出部分50上观察显示出的被观察者915的图像。这种情况下,观察者视点测量部分210测定观察者910所关注的在输出部分50上显示的被观察者915的区域。
视野测量部分230识别观察者910的视野。具体地,视野测量部分230分析由图像捕获部分202捕获的图像,以便基于观察者910左眼和右眼的视线方向而识别会聚角度。例如,基于由图像捕获部分202捕获的观察者910的图像,视野测量部分230可计算出由观察者910左眼和右眼的视线方向所形成的会聚角度。这里,视野测量部分230可接收指示由观察者视点测量部分210测定的观察者910视线方向的信息,并基于接收到的指示视线方向的信息来计算出会聚角度。可选择地,视野测量部分230可测定观察者910左眼和右眼的焦距,并将观察者910眼部共同关注的区域识别为观察者910的视野。作为另一实例,视野测量部分230测定静止的时间周期,在该期间内,观察者910的视线保持静止。具体地说,视野测量部分230可测定观察者910视线的静止时间周期,并将测得的静止时间周期长于预定时间周期的区域识别为观察者910的视野。这里,例如,预定时间周期可为一秒。视野测量部分230向视点图像提取部分240提供识别的观察者910的视野。
视点图像提取部分240从自图像捕获部分204接收到的观察者910的图像中提取部分图像,其包括了由观察者视点测量部分210测定的观察者910的视点。此外,视点图像提取部分240可相应于由视野测量部分230测定的观察者910的视野,从自图像捕获部分204接收到的被观察者915的图像中提取图像。视点图像提取部分240向视点输出控制部分220提供提取到的图像。视点输出控制部分220使输出部分50输出指示观察者910视点的信息,该视点信息是从观察者视点测量部分210接收到的,并且使输出部分50同时输出由图像捕获部分204捕获的被观察者915的图像。
具体地说,视点输出控制部分220使输出部分50输出指示观察者910视点的标记,该视点从观察者视点测量部分210接收,处于这样的状态,则该标记重叠到由图像捕获部分204捕获的被观察者915的图像上。视点输出控制部分220可使输出部分50输出放大的图像,该放大的图像通过以预定的放大比率放大由视点图像提取部分240提取的图像而得到,以及使该输出部分50输出由图像捕获部分204捕获的被观察者915的图像。这里,输入单元60可其中包括一放大比率输入部分,以允许观察者910输入一个放大率,用于使视点输出控制部分220放大由视点图像提取部分240提取的图像。由于允许观察者910向放大比率输入部分中输入需要的放大比率,所以视点输出控制部分220可使输出部分50输出已经被放大到所需尺寸的被观察者915的图像。
被观察者信息存储部分300在其上存储从图像捕获部分204接收到的、与被观察者915有关的被观察者915的图像。此外,在被观察者信息存储部分300上存储指示观察者910视点的信息,其从观察者视点测量部分210接收并与被观察者915有关。此外,在被观察者信息存储部分300上可存储被观察者915的眨眼次数,其从眨眼测量部分接收并与被观察者915的被观察时间有关。被观察者信息存储部分300在在先图像输出控制部分310的控制下,向在先图像输出控制部分310提供被观察者915的图像和指示被观察者915眨眼次数的信息。当图像捕获部分204捕获被观察者915的图像时,声音记录部分400记录涉及观察者910的声音信息。例如,声音记录部分400记录下在观察者910向被观察者915询问问题时得到的声音信息。声音记录部分400向图像存储部分320和声音信息比较部分410提供记录的声音信息。
图像存储部分320在其上存储从图像捕获部分204接收的被观察者915的图像以及从声音记录部分400接收的声音信息,它们彼此相关。图像存储部分320可在其上存储图像和声音信息,其与声音记录部分400记录的声音信息的时间有关。图像存储部分320在声音信息比较部分410的控制下,向声音信息比较部分410提供声音信息。当图像捕获部分204捕获到被观察者915的新图像时,在先图像输出控制部分310使输出部分50输出在被观察者信息存储部分300上存储的、与被观察者915有关的被观察者915的在先图像,以及在观察者910观察被观察者915时由图像捕获部分204最新捕获的被观察者915的图像。
这里,例如,在在先图像输出控制部分310控制之下而由输出部分50输出的被观察者915的在先图像可为上次观察者910观察被观察者915时捕获的被观察者915的图像。可选择地,在先图像可为初诊时捕获的被观察者915的图像。此外,在先图像输出控制部分310可使输出部分50输出指示观察者910视点的信息以及被观察者915的在先图像。在先图像输出控制部分310可使被观察者915的眨眼次数以在被观察者915的图像上重叠的状态而显示。当图像捕获部分204捕获被观察者915的新图像时,在先图像输出控制部分310可使输出部分50输出存储在被观察者信息存储部分300上、与被观察者915有关的被观察者915的在先图像,以及由图像捕获部分204最新捕获的被观察者915的图像,以及在先和当前眨眼次数之间的差别。
声音信息比较部分410比较由声音记录部分400最新记录的观察者910的声音信息与由声音记录部分400之前记录的并存储在图像存储部分320上的观察者910的声音信息。例如,声音信息比较部分410可其中包括单词发音信息存储部分,以便存储当人说出语句时观察到的与包括在声音信息的语句相关、指示频率成分的信息。声音信息比较部分410以预定时间间隔从频率成分方面分析从声音记录部分400最新接收的声音信息,以产生频率成分信息。随后,声音信息比较部分410比较产生的频率成分信息与指示存储在单词发音信息存储部分上的语句频率成分的信息。以这种方式,声音信息比较部分410计算出由声音记录部分400最新记录的观察者910的声音信息与观察者910在先的声音信息之间的重合等级。声音信息比较部分410向在先图像提取部分420提供计算出的重合等级。
当从声音信息比较部分410接收的重合等级等于或高于预定等级时,在先图像提取部分420提取被观察者915的在先图像,其存储在图像存储部分320上,且与显示了接收到的重合等级的观察者910的在先声音信息有关。在这种情况下,在先图像输出控制部分310可使输出部分50输出由在先图像提取部分420提取的被观察者915的在先图像,以及由图像捕获部分204最新捕获的被观察者915的图像。输出部分50输出从图像捕获部分204接收到的被观察者915的图像。此外,输出部分50输出从视点输出控制部分220和在先图像提取部分420接收到的图像。另外,输出部分50可以眨眼次数重叠到被观察者915的图像上的状态来显示由眨眼测量部分测定的被观察者915的眨眼次数。这里,例如,输出部分50是监视器等。
对于被观察者915的第二次或随后观察的情况,基于观察者910对被观察者915完成的在先观察结果,图像记录装置10可取代观察者910而向被观察者915询问问题。例如,图像记录装置10可其中包括一问题存储部分,其用于在其上存储与被观察者915状态有关的预定问题。之后,图像记录装置10可根据被观察者915的症状,从问题存储部分上存储的问题中选择合适的问题而显示到作为输出部分50实例的显示屏幕上,以便鼓励被观察者915回答显示的问题并在其上记录答案。在这种情况下,观察者910不需要进行常规的健康问诊。结果,观察者910可比其它情况花费更长的时间来观察被观察者915。
本实施例涉及的图像记录装置10判断观察者910是否观察被观察者915的整体或者是否关注被观察者915的特定区域,并获得在观察者910关注被观察者915的特定区域时识别的观察者910的视点。因此,图像记录装置10可以提取并显示示出与观察者910视点相对应的被观察者915的区域的图像。具有这种配置时,图像记录装置10使观察者910和其它使用者能够很容易地了解观察过程中观察者910所关注的被观察者915的区域。此外,图像记录装置10可显示出观察者910的视点,以及在观察者910观察被观察者915时捕获的被观察者915的图像。因此,图像记录装置10使得再现观察者910如何观察被观察者915成为可能。
此外,本实施例涉及的图像记录装置10可识别观察者910的视点和视野。而且,当观察者910的视点位于由被观察者915占据的区域内时,或者当被观察者915位于观察者910的视野内时,图像记录装置10能提取被观察者915的图像。以这种方式,图像记录装置10可恰当地判断出观察者910关注被观察者915,并正确地提取当观察者910观察被观察者915时捕获的被观察者915的图像。结果,图像记录装置10可提取到有助于观察被观察者915的图像。
另外,本实施例涉及的图像记录装置10可并排显示被观察者915的当前图像和被观察者915在先捕获的图像。因此,该图像记录装置10可以很容易地了解被观察者915状态的改变。此外,本实施例涉及的图像记录装置10可以并排显示当观察者910向被观察者915询问某一问题时捕获的被观察者915的当前图像,以及之前观察者910向被观察者915询问相同问题时捕获的被观察者915的图像。这样,比较当观察者910向被观察者915询问相同问题时观察到的被观察者915的当前和在先面部表情的同时,观察者910能观察出被观察者915的状态。
图5示出了由本实施例涉及的视点输出控制部分220执行的示例性操作。当观察者910的视点位于由人物900占据的区域内时,视点输出控制部分220让图像捕获部分204捕获人物900的图像,人物900是被观察者915。注意,视点输出控制部分220判断由视野测量部分230测定的视点的静止时间周期是否等于或长于预定的时间周期。当判断为是时,该视点输出控制部分220确定观察者910关注包含该视点的区域。随后,视点输出控制部分220提取人物900的图像以及包括了该视点的人物900的部分图像。
例如,假定观察者910的视点所在位置由标记800、标记805和标记810指示。这里,如果由标记800所指示的位置处的视点的静止时间周期等于或长于预定时间周期,则视点输出控制部分220提取与包括了由标记800指示的视点的人物900眼部950相应的区域的图像。随后,视点输出控制部分220放大提取的图像而得到放大图像514,并向输出部分50输出该放大图像514。这里,视点输出控制部分220可以让输出部分50将包括了人物900整体的图像512与放大图像514一起输出。在放大图像514中,包含人物900的眼部950的区域以放大状态被显示。
本实施例涉及的视点输出控制部分220可放大由观察者910关注的被观察者915占据的区域部分,并且能够并列显示放大的图像和被观察者915的图像。因此,对于图像记录装置10的使用者,使得在一边细致地观察观察者910在观察被观察者915时关注的区域,一边重现观察者910的观察成为可能。此外,图像记录装置10的使用者可参照由图像记录装置10再现的观察者910完成的观察,来学习观察者910进行观察时所使用的观察顺序。
图6示出了由本实施例涉及的在先图像输出控制部分310执行的示例性操作。在先图像输出控制部分310提取人物902的在先图像,其存储在被观察者信息存储部分300上且与人物902相关,人物902是观察者910正在观察的被观察者915。随后,在先图像输出控制部分310使输出部分50并排输出由图像捕获部分204捕获的人物902的当前图像520和包括人物902的在先图像522。由在先图像输出控制部分310提取的人物902的在先图像,例如图像522,可为人物902初诊时捕获的图像、当人物902上次被观察时捕获的人物902的图像或者在由观察者910指定的日期和时间而捕获的人物902的图像。
具体地,在图像记录装置10中提供的输入单元60可其中包括一图像捕获时间输入部分。该图像捕获时间输入部分允许观察者910输入捕获被观察者915图像的日期和时间。图像捕获时间输入部分将由观察者910输入的日期和时间提供给在先图像输出控制部分310。在先图像输出控制部分310提取在从图像捕获时间输入部分接收的日期和时间时捕获的被观察者915的图像,并使输出部分50输出该提取的图像。
本实施例涉及的在先图像输出控制部分310可使输出部分50并排显示被观察者915当前和在先的图像。因此,观察者910可通过比较人物902当前和在先的面部表情,来进行准确的观察。
图7示出了存储在本实施例涉及的图像存储部分320上的示例性数据结构。图像存储部分320上存储观察者910的声音信息和被观察者915的图像。具体地,在图像存储部分320上存储观察者910的声音信息560以及在当时由图像捕获部分204捕获的被观察者915的图像522,其与观察者910的声音信息560由声音记录部分400记录的时间相关。
例如,声音记录部分400记录下当观察者910向被观察者915询问问题时得到的声音信息560。声音记录部分400向图像存储部分320和声音信息比较部分410提供声音信息560。图像存储部分320存储从图像捕获部分204接收的被观察者915的图像522和从声音记录部分400接收的声音信息560,其与声音记录部分400记录声音信息560的时刻相对应。图像存储部分320在声音信息比较部分410的控制下,向声音信息比较部分410提供声音信息560。声音信息比较部分410将由声音记录部分400最新记录的观察者910的声音信息与存储在图像存储部分320上的观察者910的在先声音信息560进行比较,以计算出最新记录的声音信息与在先的声音信息560间的重合等级。当由声音信息比较部分410计算出的重合等级等于或高于预定的重合等级时,在先图像输出控制部分310从图像存储部分320中提取图像522,并使输出部分50输出提取的图像522以及被观察者915的当前图像。以这种方式,图像记录装置10可以使之后再现之前所询问的问题,并再现之前询问问题时观察到的被观察者915的状态。
另外,本实施例涉及的图像记录装置10可用于医疗领域。具体地,图像记录装置10被用作诊断辅助装置,在其上记录对病人进行诊断的内容。例如,图像记录装置10是一诊断辅助装置,在其上记录对病入进行诊断的内容,被观察者是患精神疾病的病人,而观察者是观察病人的医师。当被观察者915是患精神疾病的病人时,医师通常通过关注病人可能显示出紧张的区域进行诊断。本实施例涉及的图像记录装置10可以很容易地再现诊断过程中医师关注病人区域的诊断后的一段时间。因此,将图像记录装置10用作辅助诊断患精神疾病的病人是非常有效的。
图8用于说明第一实施例涉及的图像捕获单元20的另一实例。图像捕获单元20其中进一步包括一图像捕获部分205、一阅览者视点测量部分271以及一阅览者视点判断部分272。这里,存储单元30其中可进一步包括一被阅览图像提取部分312。如上所述,被观察者信息存储部分300上存储由图像捕获部分204和206捕获的被观察者915的图像,其与指示由观察者视点测量部分210测得的观察者910视点的信息相关。这里,在先图像输出控制部分310读取存储在被观察者信息存储部分300上的被观察者915的图像,并在输出部分50上的显示部分显示所读取的图像。图8中示出了该操作。这种情况下,视点输出控制部分220并不让输出部分50显示指示观察者910视点位置的标记。图像捕获部分205捕获阅览被观察者915图像的阅览者的图像,该被观察者915的图像显示在输出部分50的显示部分上,并且图像捕获部分205向阅览者视点测量部分271提供捕获的阅览者的图像。
阅览者视点测量部分271测定阅览被观察者915图像的阅览者的视点,被观察者915的图像显示在输出部分50上。这里,阅览者可以是或可以不是观察者910。例如,当观察者910是医师时,阅览者是另一医师、护士或者实习生。阅览者视点测量部分271识别在输出部分50的显示部分上显示的被观察者915的区域,阅览者视点出现在该区域中,并且阅览者视点测量部分271向阅览者视点判断部分272和被观察者信息存储部分300提供指示阅览者视点的信息。这里,阅览者视点测量部分271可用与观察者视点测量部分210、被观察者视点测量部分214和视野测量部分230相同的方式,来测定阅览者的视点。在图8中,例如,图像捕获部分205被表示为一个固定在距阅览者一远距离上的照相机。然而,图像捕获部分205也可以是安装在阅览者头上的头上安装型照相机。在这种情况下,须预先校准与照相机的坐标系相对的阅览者的眼球位置。此外,预先识别阅览者与输出部分50的显示屏之间的空间关系。这里,可基于例如角膜反射方法,通过测定阅览者眼球的移动,来识别阅览者的视点。被观察者信息存储部分300上进一步存储由阅览者视点测量部分271测定的阅览者的视点,其与由在先图像输出控制部分310读取的被观察者915的图像对应。
阅览者视点判断部分272判断由观察者视点测量部分210测定的观察者910的视点以及由阅览者视点测量部分271测定的阅览者的视点是否重合,并将判断结果提供给被阅览图像提取部分312。具体地,阅览者视点判断部分272判断指示存储在被观察者信息存储部分300上的观察者910视点的信息是否与阅览者的视点相重合。当阅览者视点判断部分272的判断为不重合时,该被阅览图像提取部分312提取被观察者915的图像,该图像与指示视点彼此不重合的信息相应。在先图像输出控制部分310让输出部分50输出与指示视点彼此不重合的信息相应的并因此由被阅览图像提取部分312提取的被观察者915的图像。这种配置使阅览者能够看到观察者910的视点移动以及阅览者自己视点的移动。另外,根据本实施例,当视点彼此不重合时输出该图像。这样,阅览者能容易地重新获得与阅览者从观察者910中使用不同的观察方法的情况相应的图像。尤其当阅览者为医学实习生时,该配置能够有效地帮助阅览者学习到视点注意方式。
视点输出控制部分220可使输出部分50输出至少一个标记,该标记分别指示由观察者视点测量部分210测定的观察者910的视点位置和由阅览者视点测量部分271测定的阅览者视点位置,在这种状态下,该标记重叠到被观察者915的图像上。由于显示了指示观察者910视点的标记,因此阅览者可容易地了解阅览者应关注的部位。除了指示观察者910视点的标记,还可显示指示阅览者视点的标记。这种情况下,阅览者可客观地认识到自己的错误。
图9用于说明由阅览者视点判断部分272执行的操作。当由阅览者视点测量部分271测定的阅览者的视点不位于包括由观察者视点测量部分210测定的观察者910视点的预定区域内时,阅览者视点判断部分272判断出阅览者917的视点与观察者910的视点彼此不重合。这里,基于观察者910的视点位置,包括由观察者视点测量部分210测定的观察者910视点的预定区域被测定。例如,如图9A所示,基于由观察者视点测量部分210测定的观察者的视点820,可确定区域521。当由阅览者视点测量部分271测定的阅览者的视点不位于区域521内时,阅览者视点判断部分272判断为阅览者917与观察者910的视点彼此不重合。
另外,假设由观察者视点测量部分210测定的观察者910的视点移动到多个不同位置。在这种情况下,如果由阅览者视点测量部分271测定的阅览者的视点移动到分别对应于观察者910的视点位置附近,则阅览者视点判断部分272可判断出视点彼此重合。这里,位置的附近可为根据由观察者视点测量部分210测定的观察者910的视点而确定的区域。而且,当由阅览者视点测量部分271测定的阅览者视点以与观察者910的视点相同顺序地移动到附近区域时,阅览者视点判断部分272可判断出视点彼此重合。在本实施例中,由于指示阅览者917视点的标记826、830、和832均未存在于基于观察者910视点确定的区域521、523和524内,因此阅览者视点判断部分272判断为不重合。
当阅览者917的视点移动到由观察者视点测量部分210测定的观察者910视点各自位置的邻近区域时,阅览者视点判断部分272可判断出这些视点彼此重合,而与阅览者917的视点移动顺序无关。这里,包括观察者910视点的每一预定区域可定义为将观察者910的视点设定为中心的圆形、正方形或矩形。另外,包括观察者910视点的每一预定区域大小可根据观察者910和阅览者917的视点移动速度中的至少一个来确定。例如,当观察者910的视点移动速度高于预定速度时,阅览者视点判断部分272可设定比包括观察者910视点的每个预定区域更大的尺寸。同时,当阅览者917的视点移动速度低于预定速度时,阅览者视点判断部分272可设定比包括观察者910视点的每一预定区域更宽的尺寸。这里,预定速度可以与在输出部分50上显示的观察者910的视点移动的平均速度相等,或者可以与存储在图像存储部分320上的多个观察者的视点速度的平均值相等。可选择地,该预定速度可以与阅览者917的视点移动的平均速度相等,或与多个阅览者的视点移动速度的平均值相等。
作为一个可选择地实例,如图9B描述的,当由观察者视点测量部分210测定的观察者910的视点与由阅览者视点测量部分271测定的阅览者的视点都位于由图像捕获部分206捕获的被观察者915图像的预定区域内时,阅览者视点判断部分272可判断出这些视点彼此重合。根据本实施例,被观察者915图像的预定区域由至少分别包括被观察者915的眼睛、嘴和手的多个分离区域所构成。详细地,包括眼睛的区域可以是与眼睛的黑色部分(瞳孔和虹膜)对应的区域、与眼睛的黑色和白色区域对应的区域或者包括眼睛的黑色和白色部分的预定圆形、矩形或椭圆形区域。可选择地,包括眼睛的区域可为包括双眼的预定圆形、矩形或椭圆形区域。包括嘴的区域可为与嘴唇对应的区域、由嘴唇定义的区域或者包括嘴唇的预定圆形、矩形或椭圆形区域。包括手的区域可为手掌或手背的区域,或者包括与手掌或手背相应区域的预定圆形、矩形或椭圆形区域。可选择地,包括手的区域可为包括双手的手掌或手背的预定圆形、矩形或椭圆形区域。如图9B所示,区域526、528和530作为分别包括被观察者915的眼睛、嘴和手部的区域的一个例子。根据本实施例,由于区域526内包含观察者910和阅览者917的视点,因此,阅览者视点判断部分272判断出这些视点彼此重合。具有如上描述的配置,图像记录装置10可很容易地做出这些视点是否彼此重合的判断。
可选择地,阅览者视点判断部分272可通过进一步考虑观察者910的视点移动顺序,来做出这些视点是否彼此重合的判断。作为另一可选实例,基于在预定时间周期内,由观察者视点测量部分210和阅览者视点测量部分271测定的观察者910和阅览者位于被观察者915图像的预定区域内的各自的可能性,阅览者视点判断部分272可做出这些视点是否彼此重合的判断。这里,例如,当视点在预定时间周期内移动到多个不同位置时,阅览者视点判断部分272可通过计算每个视点在多个预定区域中的每一个内保持静止的总时间周期,而计算它们的可能性。该阅览者视点判断部分272获得关于每个预定区域对观察者和阅读者计算出的可能性之间的重合等级,并当重合等级等于或高于预定等级时判断出这些视点彼此重合。
图10示出了存储在被观察者信息存储部分300上的数据实例。本实施例涉及的被观察者信息存储部分300上存储每个被观察者的、由图像捕获部分206捕获的被观察者915的图像以及指示由观察者视点测量部分210测定的观察者910视点的信息。本实施例涉及的被观察者信息存储部分300在其上存储由图像捕获部分206捕获的被观察者915的图像以及指示时间的信息和指示观察者910视点的坐标数据。此外,本实施例涉及的被观察者信息存储部分300在其上存储表示阅览者917视点的坐标数据以及表示观察者910视点的坐标数据。
图11用于说明用输出部分50输出由被阅览图像提取部分312提取的图像的操作。基于由阅览者视点判断部分272做出的判断,被阅览图像提取部分312提取出被观察者915的图像,该图像与指示视点未显示重合的坐标数据相关而存储,并且在先图像输出控制部分310使输出部分50输出由被阅览图像提取部分312提取的图像。这里,在先图像输出控制部分310可使输出部分50输出由被阅览图像提取部分312提取的多幅图像,以再现一个连续移动的图像。可选择地,在先图像输出控制部分310可以以正常速度重放未重合的图像,以及以高于正常速度的更高速度重放重合的图像。以这种方式,本实施例涉及的图像记录装置10可以在短时间周期内,选择并输出观察者视点和阅览者视点之间未重合的图像。该配置使得阅览者能够容易地看到视点不重合的图像。
图12示出第二实施例涉及的图像捕获单元20的示例性功能配置。本实施例涉及的图像捕获单元20其中包括一图像捕获部分200、观察者视点测量部分210、被观察者位置测量部分212、被观察者视点测量部分214、一视点移动方法学习部分216、观察者视点判断部分250、一视点移动方法存储部分255以及一图像存储控制部分260。本实施例提供了一种用于精确记录对话期间被观察者915面部表情变化的图像记录装置。本实施例涉及的图像捕获单元20可进一步包括共同构成图1至11中描述的图像记录装置10的一些或全部功能及组成单元。在随后的描述中,与图1至11中标有相同附图标记的组件具有与图1至11中描述的相应组件基本相同的功能,因此省略详细说明。
例如,当图像捕获部分200是全景照相机时,图像捕获部分200可具有图1至11描述的图像捕获部分202、204、206和208的功能。可选择地,与图1至11描述的实施例类似,代替图像捕获部分200,该图像捕获单元20可其中包括用于检测观察者910视点的图像捕获部分202、用于测定观察者910所在区域的图像捕获部分208、用于检测被观察者915视点的图像捕获部分204和用于测定被观察者915所在区域的图像捕获部分206。
在图像存储控制部分260的控制之下,图像捕获部分200向图像存储控制部分260提供被捕获的被观察者915的图像。此外,图像捕获部分200向被观察者视点测量部分214提供用于测定被观察者915视点的图像,以及向被观察者位置测量部分212提供用于测定被观察者915所在位置的图像。此外,图像捕获部分200向观察者视点测量部分210提供用于测定观察者910视点的图像。当图像捕获部分200捕获被观察者915的图像时,观察者视点测量部分210测得观察者910的视点。另外,当图像捕获部分200捕获被观察者915的图像时,观察者视点测量部分210进一步测定观察者910如何将视线转向被观察者。具体地说,观察者视点测量部分210将测定观察者910视点的时间与观察者910的视点相联系,以便测定观察者910视点的轨迹。当图像捕获部分200捕获被观察者915的图像时,观察者视点测量部分210进一步测定观察者910视点的移动速度。
具体地,观察者视点测量部分210能以预定的时间间隔来测定观察者910的视点。例如,观察者视点测量部分210可在第一时间和之后的第二时间测定观察者910的视点。观察者视点测量部分210基于由使用的第一和第二时间计算出的时间周期和由使用在第一和第二时间测定的视点计算出的距离,来测定视点的移动速度。观察者视点测量部分210向观察者视点判断部分250和视点移动方法学习部分216提供观察者910视点的移动速度和轨迹。
该被观察者位置测量部分212在图像捕获部分200的预定图像捕获目标区域内测定被观察者915所在的区域。此处,被观察者位置测量部分212由根据图像捕获目标区域内的预定三维坐标系统定义的坐标数据的形式,来得到被观察者915所在位置。本实施例的被观察者位置测量部分212测定与被观察者915面部对应的区域。另外,被观察者位置测量部分212也可以测定与被观察者915眼部对应的区域。例如,基于边缘检测和皮肤颜色提取,被观察者位置测量部分212从由图像捕获部分200捕获到的图像中提取被观察者915的面部区域。之后,被观察者位置测量部分212测定对应于被观察者915眼部的区域,该区域包含在提取到的被观察者915面部的区域内。被观察者位置测量部分212向观察者视点判断部分250提供指示被观察者915所在区域的坐标数据和指示对应于眼部区域的坐标数据。
被观察者视点测量部分214测定被观察者915的视点。具体地,被观察者视点测量部分214可其中包括用于测定被观察者915左眼视线的第一被观察者视线测量部分和用于测定被观察者915右眼视线的第二被观察者视线测量部分。第一和第二被观察者视线测量部分测定被观察者915左眼和右眼的视线方向。例如,第一和第二被观察者视线测量部分可用与第一和第二观察者视线测量部分相同的方式,来计算被观察者915左眼和右眼的视线。这里,通过预先定义三维坐标系统,可生成坐标数据,该坐标数据表示与被观察者915相关、由被观察者视点测量部分214测得的被观察者915视线所指向的方向。
图像捕获单元20可其中进一步包括用于测定在预定的图像捕获部分200的图像捕获目标范围内观察者910所在位置的观察者位置测量部分270。观察者位置测量部分270在图像捕获目标区域内,测定观察者910所在的位置。观察者位置测量部分270依照在图像捕获目标区域内事先定义的三维坐标系来取得表示观察者910所在位置的坐标数据。观察者位置测量部分270可在相同的坐标系中确定观察者910的位置和被观察者915的位置。另外,观察者位置测量部分270,取得包含在观察者910所在区域中的多个坐标数据,以识别观察者910占据的区域。
基于指示由观察者位置测量部分270得到的观察者910所在区域的坐标数据以及由被观察者视点测量部分214测得的被观察者915的视线方向,被观察者视点测量部分214测得被观察者915视线所在的观察者910的区域。具体地,被观察者视点测量部分214将由观察者位置测量部分270得到的几组坐标数据识别出的观察者910占据的区域与由被观察者视点测量部分214测定的被观察者915的视线延长线的交点,判断为被观察者915的视点。被观察者视点测量部分214将得到的指示交点的坐标数据作为指示被观察者915视点的坐标数据。
与观察者视点测量部分210相似,被观察者视点测量部分214可其中包括一被观察者特征点提取部分,其用于提取被观察者915眼部等的特征点。被观察者特征点提取部分提取被观察者915的特征点。当被观察者915移动头部时,被观察者视点测量部分214可跟踪提取的眼部等的特征点,以便跟随被观察者915的移动,并且被观察者视点测量部分214测定被观察者915的视线。具体地,被观察者视点测量部分214可其中包括用于移动图像捕获部分200的一移动控制部分,该图像捕获部分200根据被观察者915特征点的移动而捕获被观察者915的图像,这些特征点由被观察者特征点提取部分提取得到。被观察者视点测量部分214向观察者视点判断部分250提供指示测定的被观察者915视点的信息。
视点移动方法学习部分216学习观察者910如何将视线转向被观察者915,并向视点移动方法存储部分255提供指示所学到的观察者910如何将视线转向被观察者915的方法的信息。根据本实施例,视点移动方法学习部分216基于观察者910向被观察者915询问问题时发出的声音以及观察者910视点的移动轨迹来学习观察者910如何习惯地移动视点。由视点移动方法学习部分216执行的操作将在后面详细描述。
在视点移动方法存储部分255上存储观察者910如何将视线转向被观察者915的预定方法。当有多个观察者时,视点移动方法存储部分255可在其上存储每个观察者如何转向其视线中的一个或多个方法。在视点移动方法存储部分255上存储与观察者相关的、表示从视点移动方法学习部分216接收的如何转向视线的方法的信息。视点移动方法存储部分255向观察者视点判断部分250提供指示观察者910如何转向其视线的方法的信息。观察者视点判断部分250判断出从观察者视点测量部分210接收到的观察者910的视点是否位于预定区域内。具体地,观察者视点判断部分250判断观察者910的视点是否位于被观察者915所在的区域内。
例如,被观察者位置测量部分212可将依照对图像捕获部分200的图像捕获目标区域预定的三维坐标系确定而获得的多个坐标数据作为被观察者915所在区域。通过将观察者910的视线方向与指示被观察者915所在区域的坐标数据相比较,观察者视点判断部分250可做出观察者910的视点是否位于被观察者915所在区域内的判断。观察者视点判断部分250还可判断出观察者910的视点是否位于对应于被观察者915眼部的区域内。此外,观察者视点判断部分250进一步判断出从观察者视点测量部分210接收的观察者910的视点轨迹是否与指示从视点移动方法存储部分255接收的如何转向视线的方法的信息所表明的视点轨迹相一致。观察者视点判断部分250可另外判断由观察者视点测量部分210测定的观察者910的视点移动速度是否落入预定范围内。
基于从被观察者视点测量部分214接收的被观察者915的视点和从观察者视点测量部分210接收的观察者910的视点,观察者视点判断部分250判断观察者910与被观察者915的视点是否彼此重合。例如,如果从观察者视点测量部分210测定的观察者910的视点位于对应于被观察者915眼部的区域内且由被观察者视点测量部分214测定的被观察者915的视点位于对应于观察者910眼部的区域内,则观察者视点判断部分250可判断出观察者910和被观察者915的视线彼此重合。观察者视点判断部分250向图像存储控制部分260提供该判断结果。
当从观察者视点判断部分250接收到指示观察者910的视点位于预定区域内的判断结果时,图像存储控制部分260从图像捕获部分200获得被观察者915的图像,并将该图像存储到图像存储部分320上。这里,预定区域可为被观察者915所在的区域以及对应于被观察者915的眼部的区域等。这里,图像存储控制部分260可在图像存储部分320上存储被观察者915的一个或多个图像,该图像是从观察者视点判断部分250判断出在预定的区域内有观察者910的视点的时刻前的一预定时间周期开始的一预定时间周期内由图像捕获部分200捕获的。另外,当观察者视点判断部分250判断出观察者910如何向被观察者915转向其视线的方法与存储在视点移动方法存储部分255上的如何转向视线的方法相一致时,图像存储控制部分260可从图像捕获部分200获得被观察者915的图像,并将捕获到的图像存储到图像存储部分320上。
此外,当观察者视点判断部分250判断出观察者910的视线移动速度落入预定范围内时,图像存储控制部分260可从图像捕获部分200获得被观察者915的图像,并将获得的图像存储到图像存储部分320上。图像存储控制部分260可在图像存储部分320上存储被观察者915的多幅图像,这些图像由图像捕获部分200在观察者视点判断部分250做出观察者910和被观察者915的视线彼此重合的判断时刻之前及之后捕获。另外,图像存储控制部分260可检测出观察者910向被观察者915询问问题时发出的声音,并当该声音被检测到时,其可从图像捕获部分200获得由图像捕获部分200捕获的被观察者915的图像,并将捕获到的图像存储到图像存储部分320上。
当观察者910的视点位于预定区域内时,即当观察者910正在观察被观察者915时,在观察者910关注被观察者915的时刻,本实施例的图像记录装置10可自动地记录示出观察者910所关注的被观察者915的区域范围的图像。这种配置使得在观察之后能容易地再现示出当观察者910观察被观察者915而观察者910关注被观察者915时捕获的被观察者915区域的图像。
此外,如果观察者910的视点移动速度落入预定范围内,本实施例的图像记录装置10可记录被观察者915的图像。换句话说,当观察者910不关注被观察者915时,例如,当观察者910的视点移动速度高于预定速度时,图像记录装置10不在其上记录被观察者915的图像。因此,当观察者910观察被观察者915时,图像记录装置10可仅记录观察者910关注被观察者915时捕获的被观察者915的恰当图像。
此外,当观察者910和被观察者915视点彼此重合时,本实施例的图像记录装置10可记录被观察者915的图像。在这种配置下,例如,本实施例的图像记录装置10可与观察者910的问诊的声音信息一起再现当被观察者915和观察者910的视点彼此重合时捕获的被观察者915的图像。因此,本实施例的图像记录装置10可容易地再现被观察者915应对观察者910询问的问题所表现出的面部表情。
图13、图14和图15用于说明由视点移动方法学习部分216所执行的操作。图13示例性地示出了当不同观察者910、911和912观察被观察者915时得到的视点轨迹835、836和837。如图13所示,每个观察者具有使视线转向被观察者915的不同方法。因此,视点移动方法学习部分216识别出每个观察者独有的移动视点的方法。具体地,通过识别观察者谈话中观察者视点可能移动的区域,本实施例的视点移动方法学习部分216识别出每个观察者独有的移动视点的方法。
视点移动方法学习部分216从观察者视点测量部分210以预定时间间隔接收指示观察者910视点的信息。此外,视点移动方法学习部分216从声音单元40接收指示是否存在声音的信息,并且当检测到声音时,识别观察者视点所在的区域。这里,视点移动方法学习部分216可识别观察者的视点是否位于被观察者915图像内的预定区域中。例如,在本实施例中,如图13所示,在被观察者915图像内预先定义多个区域。例如,这样的区域包括区域A(眼部)、区域B(嘴部)、区域C(手部)、区域D(示出被观察者颈部以上但不包括面部的图像部分)、区域E(身体)以及区域F(剩余部分)。视点移动方法学习部分216识别观察者视点所在的区域,其与指示是否存在观察者讲话的信息有关。对于每一区域,视点移动方法学习部分216计算出视点位于区域的总时间周期。基于这一操作,视点移动方法学习部分216识别出当讲话时视点所在最长时间周期的区域。例如,如图13、图14所示观察者910的情况,当观察者910没讲话时,视点位于区域D内,但是当观察者910讲话时,视点移动到对应于被观察者眼部的区域(区域A)。在观察者911的情况下,视点移动到对应于被观察者手部的区域(区域C)。
视点移动方法学习部分216还可通过计算视点位于每一区域的总时间周期,来识别未讲话时视点所在最长时间周期的区域。可选择地,视点移动方法学习部分216可计算视点位于每一预定区域的可能性。在上述方式中,视点移动方法学习部分216学习每个观察者如何转向其视线,并且视点移动方法存储部分255在其上存储有关学习到的如何转向视线的方法的信息。
这里,视点移动方法学习部分216可根据学习到的如何转向视线的方法,来改变被观察者915图像的预定区域的尺寸。例如,视点移动方法学习部分216根据讲话时视点位于区域内的时间周期,来改变被观察者915图像中的每一预定区域的尺寸。具体地,当讲话时视点长时间地位于预定区域内的情况下,视点移动方法学习部分216缩小预定区域的尺寸。另一方面,当讲话时视点短时间地位于预定区域的情况下,视点移动方法学习部分216增大该预定区域的尺寸。在发言之中,每一个观察者有不同的习惯,例如凝视一特定区域或频繁地移动视点。根据本实施例,根据观察者如何转向其视线的方法,在被观察者915的图像中定义的预定区域的尺寸可被改变。因此,本实施例可避免存储当视点以不同于习惯性的方式移动而捕获到的不必要的图像。
如图13中示出的由观察者912的轨迹837指示的,一些观察者可习惯性地观察患者而不将视点集中到一特定的预定区域(图13中的区域B)。考虑到这种习惯,视点移动方法学习部分216可识别观察者的视点极有可能位于的区域,并且当观察者910的视点位于该被识别的区域内时,可以判断出视线的转向方法彼此一致。
除了前面描述的因素,视点移动方法学习部分216还可使用移动速度来学习观察者如何转向其视线的方法。例如,当声音单元40检测到声音时,视点移动方法学习部分216计算出观察者视点的平均移动速度。在这种配置下,视点移动方法学习部分216可了解当观察者910向被观察者915转向其视线时所表现出的观察者910的习惯,例如,缓慢地移动视线、快速地移动视线以及在观察过程中凝视被观察者915。视点移动方法存储部分255在其上存储对每个观察者计算出的平均视点移动速度。此外,视点移动方法学习部分216可对每个观察者计算出未检测到声音时视点平均移动速度。
根据存储在视点移动方法存储部分255中的信息,在观察者910讲话的同时,当观察者910的视点位于观察者910在讲话过程中最可能将其视点移动到的区域内时,观察者视点判断部分250判断出这些视线的转向方法彼此一致。可选择地,根据存储在视点移动方法存储部分255上的信息,在观察者910讲话的同时,当观察者910的视点位于观察者910在讲话过程中最可能将其视点移动到的区域内时,以及当观察者910的视点移动速度与在讲话过程中观察者910的平均移动速度基本相等时,观察者视点判断部分250可判断出转向这些视线的方法彼此一致。
这里,通过使用本实施例涉及的图像记录装置,观察者910可观察多个被观察者。当由图像捕获部分200捕获的图像包括多个被观察者时,图像存储控制部分260提取并存储指示被观察者的区域,该区域包括了由观察者视点测量部分210测定的观察者910的视点。这种情况下,观察者视点判断部分250判断由观察者视点测量部分210测定的观察者910的视点是否位于由被观察者位置测量部分212计算出的对应于被观察者面部的区域内。当观察者视点判断部分250判断为是时,图像存储控制部分260可存储由图像捕获部分200捕获的被观察者915的图像。这里,图像存储控制部分260也可以只提取示出具有观察者910视点的被观察者的区域,并存储提取到的区域,观察者910的视点由观察者视点测量部分210测定。
与图1至图11中描述的图像记录装置10相似,观察者910可远距离地观察被观察者915。此外,多个观察者可通过网络观察多个被观察者。图16A和图16B示出图像记录装置10用于电视会议的情况。这种情况中,本实施例涉及的图像记录装置可被用于电视会议。具体地,图像记录装置分别提供给观察者侧和被观察者侧,且彼此通过网络连接。每个图像记录装置中提供的声音单元40向其他图像记录装置传输声音,并且每个图像记录装置中提供的输出部分50在显示部分上显示示出另一侧的图像。
观察者侧的图像捕获单元20其中包括图像捕获部分202和208、观察者视点测量部分210和观察者位置测量部分270。被观察者侧的图像捕获单元20其中包括图像捕获部分204、被观察者位置测量部分212和被观察者视点测量部分214。这里,图像捕获部分202至208的坐标系统彼此间可具有预定的关系。例如,在通过网络开始观察之前,校准坐标系统间的关系。如前所述,当观察者910和912在观察显示在包括在观察者侧的输出部分50中的显示部分上的被观察者915和916的图像时,观察者视点测量部分210测定观察者910和912的视点。当被观察者915和916观察显示在包括在被观察者侧的输出部分50中的显示部分上的观察者910和912的图像时,被观察者视点测量部分214测定被观察者915和916的视点。观察者位置测量部分270测定在预定的图像捕获目标区域内观察者910的位置。被观察者位置测量部分212测定在预定的图像捕获目标区域内被观察者915的位置。除了这些操作,前面提到的组件按照前面的描述而操作。
即使当通过网络彼此连接时,该多个图像记录装置也可精确地记录交谈过程中另一侧的面部表情的变化。特别地,当发言者对多个人进行发言时,图像记录装置可精确地记录在发言过程中发言者所关注的人的面部表情。
图17示出了第三实施例涉及的图像捕获单元20及第二实施例涉及的输入单元60的示例性功能配置。第三实施例涉及的图像捕获单元20其中包括图像捕获部分200、观察者视点测量部分210、被观察者位置测量部分212、被观察者视点测量部分214和观察者视点判断部分250。第二实施例涉及的输入单元60其中包括一视线信息输入部分600。这些配置的目的在于提供一种在随后的时间里可以容易地重新得到观察者910所关注的被观察者915的图像的图像记录装置。本实施例涉及的图像捕获单元20和输入单元60可其中另外包括共同构成图1至图11描述的图像记录装置10的单元的一些或全部功能及配置。标有与图1至图11中相同附图标记的组件具有与图1至图11中对应组件的基本相同的功能,因此,在后文中不再详细解释。
如第一和第二实施例涉及的图像捕获单元20的描述中所提到的,当图像捕获部分200是全景照相机时,图像捕获部分200可包括图像捕获部分202至208的功能。可选择地,代替图像捕获部分200,图像捕获单元20可包括用于检测观察者910视线方向的图像捕获部分202、用于测定观察者910所在区域的图像捕获部分208、用于检测被观察者915视线方向的图像捕获部分204以及用于测定被观察者915所在区域的图像捕获部分206。
图像捕获部分200捕获被观察者915的图像,并向图像存储部分320提供捕获到的被观察者915的图像。图像捕获部分200向被观察者视点测量部分214提供用于测定被观察者915视点的图像,并向被观察者位置测量部分212提供用于测定被观察者915所在位置的图像。此外,图像捕获部分200向观察者视点测量部分210提供用于测定观察者910视点的图像。被观察者位置测量部分212在图像捕获部分200的预定图像捕获目标区域内,测定被观察者915所在的区域。被观察者位置测量部分212测定对应于被观察者915眼部的区域。被观察者位置测量部分212向观察者视点判断部分250提供指示被观察者915所在的测定区域的信息以及指示对应于被观察者915眼部的测定区域的信息。
当图像捕获部分200捕获被观察者915的图像时,观察者视点测量部分210测定观察者910的视点。当图像捕获部分200捕获被观察者915的图像时,观察者视点测量部分210还测定观察者910如何向被观察者915转向其视线的方法。当图像捕获部分200捕获被观察者915的图像时,观察者视点测量部分210还测定观察者910的视点移动速度。观察者视点测量部分210向观察者视点判断部分250和图像存储部分320提供关于观察者910的测定信息,例如视点、如何转向其视线的方法以及视点移动速度。
被观察者视点测量部分214测定被观察者915的视点。被观察者视点测量部分214可测定与时间相关的被观察者915的视点,以测量指示被观察者915视点轨迹的信息。被观察者视点测量部分214向观察者视点判断部分250提供指示测定的被观察者915视点的信息和指示视点轨迹的信息。观察者视点判断部分250判断由观察者视点测量部分210测定的观察者910的视点是否位于由被观察者位置测量部分212测定的被观察者915所在的区域内。观察者视点判断部分250还判断由观察者视点测量部分210测定的观察者910的视点是否位于由被观察者位置测量部分212测定的对应于被观察者915面部或手部的区域内。此外,观察者视点判断部分250可判断由观察者视点测量部分210测定的观察者910的视点是否位于由被观察者位置测量部分212测定的对应于被观察者915眼部的区域内。而且,观察者视点判断部分250判断观察者910的视线与被观察者915的视线是否彼此重合。观察者视点判断部分250向图像存储部分320提供判断结果。
图像存储部分320上存储由图像捕获部分200捕获的图像,该图像与指示观察者910视点、观察者910如何向被观察者915转向其视线的方法、观察者910视点的移动速度的信息以及指示由观察者视点判断部分250作出的判断结果的信息有关。在视线信息输入部分600的控制下,图像存储部分320向输出部分50提供存储的图像。这里,视线信息输入部分600允许用户917输入指示观察者910视点的信息。具体地说,视线信息输入部分600允许用户917输入指示观察者910视点位于被观察者915所在区域内的信息或者指示观察者910视点位于对应于被观察者915面部或手部区域内的信息。此外,视线信息输入部分600可允许用户917输入指示观察者910视点位于对应于被观察者915眼部的区域内的信息。这里,对应于面部的区域、对应于手部的区域和对应于眼部的区域可分别为包括面部、手部和眼部及它们周围区域的预定尺寸的区域。例如,对应于眼部的区域为以圆定义的区域,该圆在左眼和右眼中的至少一个的黑色部分为中心,且以1cm为半径。可选择地,对应于眼部的区域可为包括两只眼睛且由矩形或椭圆形定义的区域,该矩形或椭圆形在面部的水平方向上具有长边。视线信息输入部分600可允许用户917输入指示观察者910如何向被观察者915转向其视线的方法的信息、指示视点移动速度的信息以及指示观察者910和被观察者915视线彼此重合的信息。例如,当用户917需要查看观察者910关注被观察者915眼部时捕获的被观察者915的图像时,用户917向视线信息输入部分600中输入指示观察者910的视点位于被观察者915眼部的信息。视线信息输入部分600向输出部分50提供由用户917输入的信息。
输出部分50输出存储在图像存储部分320上的被观察者915的图像,该图像与指示通过视线信息输入部分600输入的观察者910视点的信息相关。具体地说,输出部分50接收指示由视线信息输入部分600输入的观察者910视点的信息,并提取和输出存储在图像存储部分320上的、与从视线信息输入部分600接收的信息相一致的信息相关的图像。
输出部分50可其中包括一建议部分。基于被观察者915视点的变化,该建议部分建议观察者910应该询问被观察者915不同的问题。具体地说,基于被观察者915的视点轨迹,建议部分判断被观察者915是否从观察者910处转移眼睛。当判断被观察者915从观察者910处转移其眼睛时,建议部分在输出部分50上显示一字符串,以建议观察者910应该向被观察者915询问不同的问题。这里,输出部分50可以声音的方式建议观察者910询问不同的问题。
根据本实施例,图像记录装置10可在其上存储被观察者915的图像,该图像与观察者910观察被观察者915时获得的信息有关,例如观察者910的视点、观察者910如何向被观察者915转向其视线的方法、视点的移动速度以及指示观察者910和被观察者915视线彼此重合的信息。因此,在观察者910实际观察被观察者915之后的时间里,图像记录装置10可再现观察者910是如何观察被观察者915的。另外,图像记录装置10可以容易地重新得到观察者910关注的被观察者915的图像。
根据本实施例,在图像存储部分320上可存储由图像捕获部分200捕获的被观察者915的图像,该图像进一步与指示由被观察者视点测量部分214测定的被观察者915视点的信息有关。这种情况下,视线信息输入部分600进一步允许用户输入指示被观察者915视点的信息。基于由视线信息输入部分600输入的指示被观察者915视点的信息和指示观察者910视点的信息,输出部分50输出存储在图像存储部分320上的被观察者或观察者的图像。具有这种配置时,基于结合观察者和被观察者的视点,本实施例涉及的图像记录装置10可以在观察之后的时间内再现被观察者的图像。
图18和图19用于说明由观察者视点判断部分250执行的操作。图20示出了存储在图像存储部分320上的一个示例性数据。图18A示出了在被观察者915的图像中的多个预定区域850至858,图18B示出了在观察者910的图像中的多个预定区域860至868。例如,区域850、852和854是对应于被观察者915的面部、眼部和嘴部的区域。区域856和858是对应于被观察者915手部(右手和左手)的区域。区域860和862是对应于观察者910眼部(左眼和右眼)的区域,区域864是对应于观察者910嘴部的区域。区域866、868和870是未包括观察者910的、分别对应于观察者910右侧、左侧和上部的区域。
当观察者910在观察被观察者915时,观察者视点判断部分250判断观察者910的视点是否位于区域850至858中的任一个内。此外,观察者视点判断部分250判断被观察者915的视点是否位于区域860至868中的任一个内。在本实施例中,如图19所示,观察者视点判断部分250从观察者视点测量部分210和被观察者视点测量部分214接收指示视点的多个坐标数据,以作为指示观察者910和被观察者915的视点的信息,并且观察者视点判断部分250判断这些接收到的视点是否被包括在任一个预定区域内。例如,根据图20示出的数据结构,图像存储部分320上存储该判断结果。根据图20示出的例子,图像存储部分320上存储指示观察者视点以及包括观察者视点的被观察者915图像中的区域的坐标数据,其与观察者所看的被观察者的图像有关。在图像存储部分320上还存储指示被观察者视点以及包括被观察者视点的观察者910图像中的区域的坐标数据,其与被观察者的图像有关。
例如,视线信息输入部分600允许用户输入观察者910关注的区域的名称以及被观察者915关注的区域的名称,观察者910关注的区域的名称作为指示观察者910视点的信息,被观察者915关注的区域的名称作为指示被观察者915视点的信息。例如,假设观察者是医师。这里,如果医师需要重新得到在医师关注包括患者嘴部的区域时捕获到的图像,患者为被观察者,那么,医师输入关键词“嘴部”作为指示观察者910视点的信息。这种情况下,输出部分50输出当医师关注患者嘴部及其周围区域时捕获到的移动图像1。此外,基于通过视线信息输入部分600输入的指示观察者视点的信息,输出部分50可从存储在图像存储部分320上的被观察者915的图像中,提取并输出对应于输入的视点的预定区域。这种情况下,输出部分50提取并输出存储的与指示观察者910视点的信息相关的被观察者图像中的预定区域,以作为对应于输入视点的预定区域。例如,当输入关键词“右眼”作为指示观察者视点的信息时,从存储的与关键词“右眼”有关的移动图像1中提取示出对应于患者右眼的区域852的图像,并输出提取到的图像。
根据本实施例,声音单元40中的声音记录部分400记录观察者910和被观察者915的声音信息。这里,在图像存储部分320上进一步存储由声音记录部分400记录的、与由图像捕获部分200捕获的被观察者915的图像有关的观察者910的声音信息。视线信息输入部分600允许用户进一步输入指示观察者910声音信息的信息。基于被观察者915的声音信息,输出部分50输出存储在图像存储部分320上的被观察者915的图像。
注意到,例如,声音信息是观察者910观察被观察者915时交流的谈话。视线信息输入部分600存储声音数据和与声音数据内容有关的信息,并将其作为声音信息,其与被观察者915的图像有关。这里,视线信息输入部分600可存储关键词或语句,以作为与声音数据内容有关的信息。视线信息输入部分600允许用户输入与观察者910对被观察者915执行观察的内容相关的关键词,以作为指示观察者910的声音信息的信息。以这种方式,本实施例涉及的图像记录装置可在观察之后的时间里再现观察者910是如何观察被观察者915的。此外,基于指示观察过程中观察者910关注的区域的信息,本实施例涉及的图像记录装置可容易地重新得到被观察者915的图像。此外,基于有关观察者与被观察者间交流的谈话的信息,本实施例涉及的图像记录装置可重新得到所需的图像。
这里,本实施例涉及的图像捕获部分200可捕获多个被观察者的图像。这种情况下,指示在图像捕获部分200的预定图像捕获目标区域内多个被观察者915所在区域的图像被捕获到,并且被观察者位置测量部分212向观察者视点判断部分250提供指示多个被观察者915所在区域的信息。观察者视点判断部分250识别对应于一个被观察者的区域,由观察者视点测量部分210测定的观察者的视点存在于该区域内。这里,观察者视点判断部分250可判断观察者910的视点是否位于对应于由被观察者位置测量部分212测定的识别的被观察者915的面部、手部或眼部的区域。在图像存储部分320上存储由观察者视点判断部分250识别的被观察者的图像,以便与观察者的视点一致,其与指示观察者视点的信息有关。视线信息输入部分600允许用户输入指示观察者视点的信息,并且输出部分50输出存储在图像存储部分320上的、与指示观察者视点的输入信息有关的被观察者的图像。
当多个观察者通过网络观察多个被观察者时,其中包括本实施例涉及的图像捕获单元20的图像记录装置10可以被使用。例如,图像记录装置10可用于电视会议。这种情况下,与观察者侧的讲话者的视点和在被观察者侧显示部分上的观察讲话者的听众的视点相关,在图像存储部分320上存储讲话者的图像以及倾听讲话者的听众的图像。此外,图像存储部分320可在其上存储与讲话者所作发言内容相关的讲话者和听众的图像。视线信息输入部分600允许用户输入指示讲话者视点、听众视点和/或由讲话者所作发言内容的信息。输出部分50输出与指示讲话者视点、听众视点和/或由讲话者所作发言内容的输入信息有关的、存储的讲话者与听众的图像。以这种方式,本实施例涉及的图像记录装置10可以在电视会议之后,通过使用发言者和听众的视点作为关键词来重新得到图像。
图21示出了包括在图像记录装置10中的第四实施例涉及的图像捕获单元20和第三实施例涉及的输入单元60的示例性功能配置。图像捕获单元20其中包括图像捕获部分200和图像存储控制部分260。存储单元30其中包括图像存储部分320和一电子医用记录存储部分330。输入单元60其中包括一观察结果输入部分610、一输入检测部分620、一观察结果信息输入部分630、一时间输入部分640和一观察结果存储控制部分650。这里,观察结果输入部分610其中包括数字输入部分612和书写部分614。具有如上描述的配置,本实施例涉及的图像记录装置10的目标为:即使观察者910在向电子医用记录等输入观察结果时没有看到被观察者915的面部表情,该图像记录装置也能使得在之后的时间里合适地再现被观察者915的面部表情。这里,本实施例涉及的图像记录装置10可进一步包括图1至图11描述的共同构成图像记录装置10的单元的一些或全部功能及配置。与图1至图11中标有相同附图标记的组件具有与图1至图11中相应组件基本相同的功能,因此,在下文中不再详细解释。
图像捕获部分200捕获被观察者915的图像,并向图像存储部分320提供捕获的被观察者915的图像。图像捕获部分200还向图像存储控制部分260提供该图像。电子医用记录存储部分330在其上存储电子医用记录,向电子医用记录中输入对被观察者915的观察结果。具体地说,观察结果输入部分610用于输入由观察者910完成的观察的结果。观察结果输入部分610向输入检测部分620提供指示输入的观察结果的信息。之后,观察结果输入部分610向观察结果存储控制部分650提供由观察者910输入的观察结果。观察结果存储控制部分650将从观察结果输入部分610接收的观察结果存储到电子医用记录存储部分330上,以作为电子医用记录。更具体地,包括在观察结果输入部分610中的数字输入部分612用于向电子医用记录中输入由观察者910完成的观察结果。例如,数字输入部分612是键盘、鼠标、触摸面板等。数字输入部分612向输入检测部分620提供指示观察者910正向电子医用记录内输入观察结果的信息。
观察者910使用观察结果输入部分610中包括的书写部分614,向医用记录中写入观察结果。书写部分614可包括一壳体615、一压力检测部分616、笔尖617以及检测结果传输部分618。当观察者910写下观察结果时,压力检测部分616检测出由施加到笔尖617上的压力引起的压力改变。压力检测部分616向检测结果传输部分618提供指示检测到的压力改变的信息。检测结果传输部分618向输入检测部分620提供指示压力变化的信息。检测结果传输部分618可通过有线或无线通信方式而向输入检测部分620提供指示压力变化的信息。
输入检测部分620检测出数字输入部分612用于向存储在电子医用记录存储部分330上的电子医用记录中输入由观察者910完成的观察结果。此外,输入检测部分620检测出书写部分614用于向医用记录中写入由观察者910完成的观察结果。注意到,书写部分614可用于向纸质医用记录中写入观察结果。书写部分614可为用于数字白板的笔等。当书写部分614为用于数字白板的笔时,书写部分614可用于通过数字白板而向电子医用记录中写入观察结果。这种情况中,由使用书写部分614写入的观察结果被提供给观察结果存储控制部分650。
当输入检测部分620检测到输入由观察者910完成的观察结果时,图像存储控制部分260将由图像捕获部分200捕获的被观察者915的图像存储到图像存储部分320上。具体地,当接收到来自输入检测部分620指示通过使用观察结果输入部分610输入的由观察者910完成的观察结果的信息时,图像存储控制部分260获得由图像捕获部分200捕获的被观察者915的图像。之后,图像存储控制部分260在图像存储部分320上存储获得的被观察者915的图像。可选择地,图像存储控制部分260在图像存储部分320上存储被观察者915的图像,该图像是在早于输入检测部分620检测到输入由观察者910完成的观察结果的时刻的一预定时间周期的时刻起的一预定时间周期内由图像捕获部分200捕获到的。图像存储部分320存储由图像捕获部分200捕获的图像,其与指示通过观察结果输入部分610输入的由观察者910完成的观察结果的信息以及观察者910输入观察结果的时间有关。这里,指示观察结果的信息可包括疾病名称、症状、症状的进展情况以及症状的改善程度。在观察结果信息输入部分630和时间输入部分640的控制下,图像存储部分320将在其上存储的图像提供给输出部分50。
观察结果信息输入部分630允许用户917输入指示由观察者910完成的观察结果的信息。这里,例如,用户917可为观察者910、除观察者910之外的其它观察者或者被观察者915。例如,当用户917需要了解被观察者915的何种面部表情有助于观察者910判断被观察者915的症状时,用户917向观察结果信息输入部分630输入由观察者910观察出的症状名称,以作为指示观察结果的信息。观察结果信息输入部分630使输出部分50输出存储在图像存储部分320上的、与用户917输入的症状名称有关的被观察者915的图像。时间输入部分640允许用户917输入时间。例如,当用户917需要看到被观察者915的在先图像时,用户917通过时间输入部分640输入对应于所需图像的时间。时间输入部分640使输出部分50输出存储在图像存储部分320上、与用户917输入的时间有关的被观察者915的图像。
输出部分50输出存储在图像存储部分320上、与指示观察者910完成的观察结果的信息有关的被观察者915的图像,该观察结果信息通过观察结果信息输入部分630输入。此外,输出部分50输出存储在图像存储部分320上、与通过时间输入部分640输入的时间有关的被观察者915的图像。输出部分50可为例如显示屏幕的显示装置。输出部分50可按时间顺序并排显示被观察者915的图像。可选择地,输出部分50可以预定的时间间隔而按时间顺序每次一张地显示被观察者915的图像。
输出部分50可为头部安装型显示器。当输出部分50为头部安装型显示器时,例如,即使向电子或纸质医用记录内输入观察结果时,观察者910仍可通过头部安装型显示器中提供的输出部分50而看到被观察者915的图像。这种情况下,输出部分50可在不使观察者910向电子医用记录等内输入观察结果变得困难的区域中,来显示被观察者915的图像。例如,头部安装型显示器可包括一观察者视线检测部分,以便检测观察者910的视线。输出部分50可在不同的区域显示这些图像,这些区域的选择取决于由观察者视线检测部分检出的观察者910的视线。当观察者910面对被观察者915时,输出部分50可不需要在头部安装型显示器上显示被观察者915的这些图像。这里,例如,可在诊所的入口和出口处提供图像捕获部分200,以便当被观察者915走进和走出诊所时来捕获到被观察者915表现出的面部表情。
当观察者910向电子或纸质医用记录中输入或写入观察被观察者915的结果时,本实施例涉及的图像记录装置10检测到观察者910输入和写入的时刻,并在检测到的时刻时自动地捕获被观察者915的图像。以这种方式,其可以在随后的时间里再现被观察者915的一些面部表情,由于表现这些面部表情时观察者910在向电子医用记录等中输入观察结果,因而这些面部表情实际上未被观察者910观察到。
此外,本实施例涉及的图像记录装置10可获得被观察者915的图像,这些图像是在早于观察者910向电子医用记录中输入观察被观察者915的观察结果的时刻的一预定时间周期的时刻起的一预定时间周期中捕获到的,以便使观察者910按时间顺序看到错过的被观察者915的图像。以这种方式,可以可靠地防止观察者910错过示出被观察者915的图像,该图像可能对被观察者915的观察结果有影响。
图22示出了本实施例涉及的书写部分614的一个实例。该书写部分614包括壳体615、压力检测部分616、笔尖617以及检测结果传输部分618。当压力施加到笔尖617上时,压力检测部分616检测到施加到笔尖617上的压力。例如,当观察者910在纸390上写下字母等时,压力检测部分616检测到施加于笔尖617上的压力。压力检测部分616向检测结果传输部分618提供指示检测到的压力的信息。检测结果传输部分618向输入检测部分620提供指示压力检测部分616检测到的压力的信息。检测结果传输部分618和输入检测部分620可通过有线或无线来互连彼此耦合。
图23示出了本实施例涉及的图像存储部分320上存储的示例性数据。根据图23中示出的实例,图像存储部分320在其上存储由图像捕获部分200在以早于输入该观察结果三分钟的时间为开始时间、并且以输入该观察结果的时间为终点的时间周期中而捕获的移动图像。注意到,当图像捕获部分200捕获被观察者915的图像时,声音单元40中包括的声音记录部分400记录下观察者910的声音信息。这里,例如,声音信息是当观察者910观察被观察者915时交流的谈话。视线信息输入部分600存储声音数据以及与被观察者915的图像有关的关于声音数据内容的信息,以作为声音信息。这种情况下,观察结果输入部分610可存储关键词或语句,以作为关于该声音数据内容的信息。图像存储部分320在其上存储由图像捕获部分200捕获的、进一步与由声音记录部分400记录的观察者910的声音信息有关的被观察者915的图像。观察结果输入部分610可允许用户输入关于观察者910对被观察者915的观察内容的关键词,并且输出部分50可输出存储在图像存储部分320上、与观察者910的声音信息有关的被观察者915的图像。
图24、图25A和图25B用于说明本实施例涉及的电子医用记录500。输出部分50在输出部分50中包括的显示部分上,显示存储在电子医用记录存储部分330上的电子医用记录。图24示出了用于电子医用记录500的示例性用户界面。本实施例涉及的电子医用记录存储部分330在其上存储以示意性地示出患者身体的图像504的形式的观察结果。示意性地示出患者身体的图像504可为示出部分人体的图像,例如上半身体、下半身体、四肢以及面部,或者示出整个人体的图像。
电子医用记录存储部分330存储指示在有关示意性地示出人体的图像504的预定区域是否发现疾病的信息。具体地,该电子医用记录500具有分别对应于示意地示出人体的图像504的预定区域的检验栏。这里,取决于通过数字输入部分612是否发现疾病,而检查或清空这些检验栏。图24中示出的电子医用记录500具有分别对应于患者面部不同区域的多个检验栏502。具有这种配置,观察者910可快速地完成向电子医用记录中输入观察结果。
这里,示意性地示出患者的图像504可由图像捕获部分200捕获的被观察者915的一实际图像所取代。如果是这种情况,电子医用记录500具有分别对应于由图像捕获部分200捕获的被观察者915实际图像的预定区域的检验栏。可选择地,电子医用记录500可具有对应于由图像捕获部分200捕获的被观察者915图像的至少部分区域的检验栏。这里,被观察者915图像的部分区域可为指示患者身体预定区域的区域,例如被观察者915的面部、眼部、嘴部和鼻子。图25A和图25B用于说明使用被观察者915实际图像的示例性电子医用记录。
当根据通过数字输入部分612的输入,检查一个或多个检验栏时,图像存储部分320在其上存储与检验栏有关的被观察者915的图像,以及指示观察结果的信息。以这种方式,基于通过数字输入部分612的输入,本实施例涉及的图像存储部分320存储由图像捕获部分200捕获的被观察者915图像的至少部分区域,其与指示观察结果的信息有关。这里,当通过检查检验栏输入观察结果时,图像存储部分320在其上存储以早于输入检测部分620检测输入观察结果的时刻的一预定时间周期的时刻起的一预定时间周期内,由图像捕获部分200捕获的被观察者915的一些图像。输出部分50可显示通过放大被观察者915的至少部分图像而获得的图像,该图像存储在图像存储部分320上。可选择地,输出部分50可在电子医用记录内以时间顺序,而显示存储在图像存储部分320上的被观察者915的每一幅图像的至少部分图像。
如上所述,本实施例涉及的电子医用记录500使用被观察者915的实际图像,由此,使得可精确地了解症状的改变。此外,由于电子医用记录500使用被观察者915的部分图像,因此,可以保护被观察者915的隐私。
图26示出了第五实施例涉及的图像捕获单元20的示例性功能配置。图像捕获单元20包括图像捕获部分200、观察者视点测量部分210、被观察者位置测量部分212、被观察者视点测量部分214、观察者视点判断部分250、图像存储控制部分260、观察者位置测量部分270以及一视线重合判断部分280。基于本实施例涉及的图像记录装置10用于医用领域的假设,来进行下面的描述。当观察者910观察被观察者915时,本实施例涉及的图像记录装置10识别被观察者915的身体状态,并在其上记录识别的身体状态。基于此,本实施例涉及的图像记录装置10的目的为:当最近观察观察对象时,输出指示观察对象可能患有的候选疾病的信息。此外,图像记录装置10的目的为:通过产生对应于疾病的图像而有利于观察。
这里,例如,当图像捕获部分200为全景照相机时,图像捕获部分200可包括用于检测观察者910视点的图像捕获部分202的功能、用于测定观察者910所在区域的图像捕获部分208的功能、用于检测被观察者915视点的图像捕获部分204的功能以及用于测定被观察者915所在区域的图像捕获部分206的功能。可选择地,图像捕获单元20可包括用于检测观察者910视线方向的图像捕获部分202、用于测定观察者910所在区域的图像捕获部分208、用于检测被观察者915视线方向的图像捕获部分204和用于测定被观察者915所在区域的图像捕获部分206,以取代图像捕获部分200。
图27示出了第四实施例涉及的输入单元60的示例性功能配置。本实施例涉及的输入单元60包括一图像输入部分602、一疾病信息输入部分604、观察结果输入部分610和观察结果存储控制部分650。图28示出了第二实施例涉及的分析单元70的示例性功能配置。分析单元70包括一观察者视点位置判断部分705、一图像提取部分710、一身体状况数值化部分715、一身体状况数据存储部分720、一身体状况计算部分725、一数值化数据提取部分730、一身体状况比较部分735、一可能性计算部分740、一疾病图像生成部分745、一可能疾病输出控制部分750和一图像输出控制部分755。这里,本实施例涉及的图像记录装置10可进一步包括图1至图11描述的共同构成图像记录装置10的单元的一些或全部功能及配置。与图1至图11中标有相同附图标记的组件具有与图1至图11中对应组件基本相同的功能,因此,下文中不再详细解释。
图像捕获部分200捕获被观察者915的图像。图像捕获部分200可捕获被观察者915的移动图像。在图像存储控制部分260的控制之下,图像捕获部分200向图像存储控制部分260提供捕获的图像。此外,图像捕获部分200向被观察者视点测量部分214提供用于测定被观察者915视点的图像,并向被观察者位置测量部分212提供用于测定被观察者915所在位置的图像。另外,图像捕获部分200向观察者视点测量部分210提供用于测定观察者910视点的图像,并向观察者位置测量部分270提供用于测定观察者910所在位置的图像。当图像捕获部分200捕获被观察者915的图像时,观察者视点测量部分210测定观察者910的视点。观察者视点测量部分210向观察者视点判断部分250和视线重合判断部分280提供测定的视点。
当图像捕获部分200捕获被观察者915的图像时,被观察者视点测量部分214测定被观察者915的视点。被观察者视点测量部分214向观察者视点判断部分250和视线重合判断部分280提供测定的视点。观察者位置测量部分270在图像捕获部分200的预定图像捕获目标区域内测定观察者910的位置。观察者位置测量部分270向观察者视点判断部分250和视线重合判断部分280提供指示测定的观察者910位置的信息。被观察者位置测量部分212在图像捕获目标区域内测定被观察者915所在的位置。被观察者位置测量部分212向观察者视点判断部分250和视线重合判断部分280提供指示测定的被观察者915位置的信息。
观察者视点判断部分250判断从观察者视点测量部分210接收的观察者910的视点是否位于预定区域内。这里,预定区域可为被观察者915占据的区域、对应于被观察者915眼部的区域等。具体地,基于从观察者视点测量部分210、观察者位置测量部分270、被观察者视点测量部分214和被观察者位置测量部分212接收的测定结果,观察者视点判断部分250判断观察者910的视点是否位于预定区域内。观察者视点判断部分250向图像存储部分320提供指示由观察者视点测量部分210测定的观察者910视点的信息以及指示观察者910视点位于预定区域内的信息与指示观察者910视点没有位于预定区域内的信息中的一个信息。
基于由被观察者视点测量部分214测定的被观察者915的视点和由观察者视点测量部分210测定的观察者910的视点,视线重合判断部分280判断观察者910和被观察者915的视线是否彼此重合。具体地说,基于由被观察者位置测量部分212和观察者视点测量部分210提供的测定结果,视线重合判断部分280判断观察者910的视点是否位于对应于被观察者915眼部的区域内。例如,视线重合判断部分280判断指示观察者910视点的坐标是否被包括在对应于由多个坐标定义的被观察者915眼部的区域内。以相同方式,基于由观察者位置测量部分270和被观察者视点测量部分214提供的测定结果,视线重合判断部分280判断被观察者915的视点是否位于对应于观察者910眼部的区域内。当观察者910的视点位于对应于被观察者915眼部的区域内并且被观察者915的视点位于对应于观察者910眼部的区域内时,视线重合判断部分280判断出观察者910和被观察者915的视线彼此重合。视线重合判断部分280向图像存储控制部分260提供该判断结果。这种情况下,视线重合判断部分280可向图像存储控制部分260提供该判断结果,以作为被观察者视点位置的信息。
图像存储控制部分260从图像捕获部分200获得被观察者915的图像,并向图像存储部分320提供获得的图像。图像存储控制部分260还从视线重合判断部分280向图像存储部分320提供该判断结果。观察结果输入部分610用于输入由观察者910完成的观察被观察者915的结果。例如,这里,观察结果可为疾病,并且通过观察结果输入部分610输入的疾病为疾病名称。观察结果输入部分610可被用于输入指示观察者910观察到的疾病症状的信息。当观察者910判断被观察者915未患疾病时,观察结果输入部分610用于输入指示未发现疾病的信息,以作为由观察者910进行的对被观察者915观察的结果。观察结果输入部分610向观察结果存储控制部分650提供输入的疾病。观察结果存储控制部分650向图像存储部分320提供通过观察结果输入部分610输入的疾病。
图像输入部分602用于输入观察的对象的图像。图像输入部分602可用于输入由图像捕获部分200捕获的被观察者915的图像。这里,观察的对象可为观察者910最新观察的被观察者915。同时,被观察者915可为观察者910已经观察过的人,并且他的图像已经存储在图像存储部分320上了。图像输入部分602可用于输入当该人未患疾病时捕获的观察的对象的图像以及当观察者910观察新的被观察者915时由图像捕获部分200获得的观察的对象的图像。图像输入部分602向身体状况计算部分725提供输入的观察对象的图像。疾病信息输入部分604用于输入指示疾病的信息。具体地说,观察者910使用疾病信息输入部分604输入指示被观察者915的疾病的信息。疾病信息输入部分604向数值化数据提取部分730提供指示被观察者915疾病的信息。
图像存储部分320在其上存储从观察结果输入部分610接收的疾病以及指示由观察者视点测量部分210测定的观察者910视点的观察者视点位置信息,其与由图像捕获部分200捕获的被观察者915的图像有关。这里,观察者视点位置信息可指示由视线重合判断部分280做出的判断结果,即被观察者视点位置信息,以及指示观察者910是否看着被观察者915。图像存储部分320进一步在其上存储指示通过观察结果输入部分610输入的未发现疾病的信息,其与由图像捕获部分200捕获的被观察者915的图像有关。图像存储部分320向观察者视点位置判断部分705提供观察者视点位置信息。此外,图像存储部分320向图像提取部分710和身体状况数值化部分715提供被观察者915的图像。
基于存储在图像存储部分320上的观察者视点位置信息,观察者视点位置判断部分705判断当捕获到被观察者915的图像时,观察者910是否看着被观察者915,被观察者915的图像被存储在图像存储部分320上、并与观察者视点位置信息有关。具体地,如果由观察者视点位置信息表示的观察者910的视点位于被观察者915的区域内,则观察者视点位置判断部分705可判断出观察者910在看被观察者915。当判断出观察者910在看着被观察者915时,观察者视点位置判断部分705向图像提取部分710提供观察者视点位置信息。当从图像存储部分320接收到表明视线重合判断部分280判断观察者910与被观察者915的视线彼此重合的观察者视点位置信息时,观察者视点位置判断部分705向图像提取部分710提供接收到的观察者视点位置信息。
图像提取部分710提取存储在图像存储部分320上、与从观察者视点位置判断部分705接收到的观察者视点位置信息有关的被观察者915的图像。图像提取部分710可提取存储在图像存储部分320上、与观察者视点位置信息有关的多幅被观察者915的图像。具体地说,图像提取部分710提取在早于存储在图像存储部分320上的、与观察者视点位置信息有关的被观察者915图像被捕获到的图像捕获时间的一预定时间周期的时刻捕获到的被观察者915的图像,以及当图像捕获时间之后经过一预定时间周期时捕获到的被观察者915的图像。例如,图像提取部分710可提取在预定时间周期内捕获的被观察者915的多幅图像,该预定时间周期由对应于捕获到与观察者视点位置信息有关的、被存储的被观察者915图像时的图像捕获时间而定义。图像提取部分710向身体状况数值化部分715提供被提取的这些图像。
对于与从图像提取部分710接收的被观察者915的图像有关的、存储在图像存储部分320上的每种疾病,身体状况数值化部分715分析由图像提取部分710提取的被观察者915的多幅图像。身体状况数值化部分715数值化被观察者915的身体状况。这里,被观察者915的身体状况可包括关于被观察者915的信息,例如瞳孔尺寸、视点、在预定时间周期内测定的眨眼次数、眼睑或面部的痉挛、面部的颜色、面部的温度、面颊的凹陷、面部的肿胀以及皮肤状况(皮疹等)。具体地说,通过比较在预定时间周期内捕获的被观察者915的多幅图像,身体状况数值化部分715在观察者910观察被观察者915时,数值化身体状况的变化。当观察者910观察多个被观察者时,身体状况数值化部分715数值化每个被观察者的身体状况的变化,并计算出这些数值化的变化的平均值。
例如,图像提取部分710提取出当观察者视点位置判断部分705判断观察者910看着对应于被观察者915眼部区域时捕获到的被观察者915的图像,以及当捕获上述图像的时间之后经过一预定时间周期时捕获到的被观察者915的图像。身体状况数值化部分715从被观察者915瞳孔尺寸的方面来比较由图像提取部分710提取的这些图像,以计算出瞳孔尺寸的变化。随后,身体状况数值化部分715数值化计算出的瞳孔尺寸的变化。例如,身体状况数值化部分715可计算出从观察者910看着对应于被观察者915眼部区域时检测到的被观察者915的瞳孔尺寸到一预定时间周期已经过去时检测到的被观察者915的瞳孔尺寸的变化率,以作为瞳孔尺寸的变化,其中前一尺寸用作参考值。随后,身体状况数值化部分715计算出对多个被观察者计算出的这些变化的平均值。身体状况数值化部分715也可数值化被观察者915视点位置的变化以及眨眼次数的变化。
此外,对于存储在图像存储部分320上、与由图像提取部分710提取的被观察者915的图像有关的每种疾病,身体状况数值化部分715将存储在图像存储部分320上、与疾病有关的被观察者915的图像来与存储在图像存储部分320上、与指示未发现疾病的信息有关的被观察者915的图像相比较。身体状况数值化部分715可基于比较的结果,来数值化被观察者915身体状况的差别,以计算出身体状况差别数值化数据。身体状况数值化部分715可通过比较被观察者915患有与未患有疾病时被观察者915示出的身体状态,来获得瞳孔尺寸的差别,并数值化获得的差别,以产生身体状况差别数值化数据。
通过比较被观察者915患有与未患有疾病时示出的瞳孔尺寸,身体状况数值化部分715可获得被观察者915瞳孔尺寸的差别,并数值化获得的差别。此外,身体状况数值化部分715可获得被观察者915患有疾病时与被观察者915未患有疾病时之间的被观察者915视点位置改变的差别,并数值化获得的差别。此外,身体状况数值化部分715可获得当被观察者915患有疾病与被观察者915未患有疾病时之间的被观察者915眨眼次数的差别,并数值化获得的差别。身体状况数值化部分715数值化多个被观察者的身体状况,并基于总体数值化的身体状况来计算出平均值。身体状况数值化部分715可使用计算出的平均值作为身体状况数值化数据。身体状况数值化部分715向身体状况数据存储部分720提供该身体状况数值化数据以及身体状况差别数值化数据。
对于每种疾病,身体状况数据存储部分720在其上存储从身体状况数值化部分715接收的身体状况数值化数据。身体状况数据存储部分720向数值化数据提取部分730、身体状况比较部分735以及可能疾病输出控制部分750提供身体状况数值化数据。身体状况计算部分725分析从图像输入部分602接收的观察对象的图像,以计算并数值化观察对象的身体状况。具体地说,身体状况计算部分725数值化观察对象的身体状况。身体状况计算部分725也可具有身体状况差别计算部分的功能,以便通过分析在人未患疾病时捕获的并从图像输入部分602接收的观察对象的图像以及最新捕获的观察对象的图像,来计算出观察对象身体状况的差别。
具体地,身体状况计算部分725通过分析从图像输入部分602接收的观察对象的多幅图像,来数值化观察对象图像中示出的观察对象的身体状况。更具体地,通过比较按时间顺序在预定时间周期内捕获的观察对象的图像,身体状况计算部分725可数值化该身体状况。例如,身体状况计算部分725可计算出在预定时间周期内观察对象眨眼的次数,并使用计算出的次数作为数值化的身体状况。身体状况计算部分725向身体状况比较部分735提供指示观察对象数值化的身体状况的信息。
身体状况比较部分735将指示从身体状况计算部分725接收的观察对象身体状况的信息与存储在身体状况数据存储部分720上的身体状况数值化数据相比较。身体状况比较部分735可计算出一致性等级,以作为比较的结果。具体地,身体状况比较部分735将指示从身体状况计算部分725接收的数值化的身体状况的信息与存储在身体状况数据存储部分720上的身体状况的数值化数据相比较。例如,假定当指示从身体状况计算部分725接收的数值化身体状况的信息与存储在身体状况数据存储部分720上的身体状况数值化数据一致时,达到最高一致性等级,身体状况比较部分735可计算出一致性等级。身体状况比较部分735也可具有身体状况差别比较部分的功能,以便比较由身体状况计算部分725计算出的观察对象的身体状况的差别与存储在身体状况数据存储部分720上的身体状况差别数值化数据。身体状况比较部分735向可能性计算部分740和可能疾病输出控制部分750提供比较的结果。
基于由身体状况比较部分735完成的比较结果指示的一致性等级,可能性计算部分740计算出每种疾病的可能性。具体地,可能性计算部分740对由身体状况比较部分735完成的比较结果示出最高一致性等级的疾病,而判断为观察对象最可能患有的疾病。例如,可能性计算部分740对最可能的疾病计算出100%可能性等。可能性计算部分740可将由身体状况比较部分735完成的比较结果显示出高于预定等级的一致性等级的多种疾病,判断为观察对象可能患有的疾病。可能性计算部分740向可能疾病输出控制部分750提供计算出的可能性。根据身体状况比较部分735完成的比较结果,可能疾病输出控制部分750使输出部分50输出与显示出高于预定等级的一致性等级的身体状况数值化数据有关、表示身体状况数据存储部分720上存储的疾病的信息。
数值化数据提取部分730提取存储在身体状况数据存储部分720上、与指示通过疾病信息输入部分604输入的疾病的信息有关的身体状况数值化数据。数值化数据提取部分730向疾病图像生成部分745提供提取的身体状况数值化数据。基于从数值化数据提取部分730接收的身体状况数值化数据,疾病图像生成部分745生成由通过疾病信息输入部分604输入的信息所指示的患病病人的图像。具体地,疾病图像生成部分745可包括一疾病模板图像存储部分,在其上存储的模板图像唯一地定义一个病人患有的一种特定疾病。疾病模板图像存储部分在其上存储多个模板图像,每一个模板图像示出一个病人患有的一种特定疾病。存储在疾病模板图像存储部分上的模板图像可为示出患有特定疾病的患者的静止或移动的图像。
疾病图像生成部分745提取存储在疾病模板图像存储部分上、与通过疾病信息输入部分604输入的信息所指示的疾病有关的模板图像。随后,基于从数值化数据提取部分730接收的身体状况数值化数据所指示的身体状况以及提取的模板图像,疾病图像生成部分745生成患病病人的图像。这里,疾病图像生成部分745可生成显示患病病人的移动图像。例如,对于特定疾病,患病病人显示的身体状况为在预定时间周期内视点位置的改变。这种情况下,疾病图像生成部分745基于模板图像以及由身体状况数值化数据指示的视点位置的改变,来生成显示出移动视线的患病病人的移动图像。图像输出控制部分755使输出部分50输出由疾病图像生成部分745生成的图像。
从隐私的方面,不允许记录数字格式的患病者917的图像。然而,根据本实施例,不需要记录患病病人的图像。可选择地,本实施例可基于由身体状况计算部分725计算的身体状况数值化数据和在先提供的模板图像,来生成患病病人的图像。
在可能疾病输出控制部分750的控制下,根据身体状况比较部分735完成的比较结果,输出部分50输出与显示出高于预定等级的一致性等级的身体状况数值化数据相关、表示身体状况数据存储部分720上存储的疾病的信息。例如,输出部分50输出观察对象最可能患有的疾病名称,其被识别为由身体状况比较部分735在视点位置上的改变与指示在视点位置上改变的身体状况数值化数据之间完成的比较结果。输出部分50可输出指示多种疾病的信息,以及由可能性计算部分740计算出的多种疾病的各自可能性。具体地,输出部分50按照可能性降序的顺序而输出疾病的名称、症状以及疾病的其它相关信息。另外,输出部分50输出从图像输出控制部分755接收的、由疾病图像生成部分745生成的图像。根据身体状况差别比较部分完成的比较结果,输出部分50可输出与显示出高于预定等级的一致性等级的身体状况差别数值化数据相关、表示身体状况数据存储部分720上存储的疾病的信息。
当观察者910观察被观察者915时,本实施例涉及的图像记录装置10数值化被观察者915的身体状况,并记录数值化的身体状况。因此,图像记录装置10可将最新被观察的观察对象的身体状况与在其上已经记录的数值化的身体状况相比较,以输出指示观察对象可能患有的疾病的信息。以这种方式,当观察者910观察被观察者915时,图像记录装置10可辅助观察者910识别出准确的疾病。
此外,当输入疾病名时,基于被观察者915或观察对象的图像以及通过数值化被观察者915或观察对象的身体状况而获得的身体状况数值化数据,本实施例涉及的图像记录装置10可生成显示患有对应于输入名称疾病的患者的图像。以这种方式,在疾病方面,通过将生成的图像与被观察者915或观察对象相比较,图像记录装置10的用户可学习如何观察被观察者915。
本实施例涉及的图像记录装置10其中包括观察者视点位置判断部分705。然而,在其它实施例中,图像记录装置10可放弃观察者视点位置判断部分705,并以观察者视点判断部分250具有观察者视点位置判断部分705的功能的方式配置。如果是这种情况,当捕获到被观察者图像时,观察者视点判断部分250判断观察者是否看着被观察者,并且当观察者视点判断部分250做出肯定判断时,图像提取部分提取被观察者的图像。
图29示出了本实施例涉及的身体状况计算部分725的示例性功能。这里,身体状况计算部分725也可具有身体状况差别计算部分的功能,以便通过比较人未患疾病时捕获的并从图像输入部分602接收的观察对象的图像与最新捕获的观察对象的图像,来计算出观察对象的身体状况差别。
首先,身体状况计算部分725分析从图像输入部分602接收的观察对象的图像。例如,基于在预定的时间周期内,即如表1000中示出的从时刻t0至时刻t30的时间周期内捕获的图像,身体状况计算部分725分析观察对象的瞳孔尺寸。例如,身体状况计算部分725分析并识别在t0、t10、t20和t30时刻,观察对象的瞳孔1010、1020、1030和1040的瞳孔直径。关于t0时刻的瞳孔直径,身体状况计算部分725计算出t10、t20和t30时刻的瞳孔直径的变化,并把这些计算出的变化加起来。随后,身体状况计算部分725可使用合计的结果,以作为观察对象的身体状况。
图30示出了存储在本实施例涉及的身体状况数据存储部分720上的数据的示例性结构。身体状况数据存储部分720在其上存储一一对应于多种疾病的多组身体状况数值化数据。身体状况数值化数据可包括通过数值化例如被观察者915的瞳孔尺寸的变化、视点位置的改变、预定时间周期内眨眼次数的改变、眼睑或面部抽搐的变化的数据,而产生多组数据。例如,身体状况数据存储部分720在其上存储指示与每种疾病有关的被观察者915眼部移动的多组数据。多组数据包括指示视点位置改变的视线数据、指示瞳孔尺寸改变的瞳孔数据,以及指示眨眼次数改变的眨眼数据。身体状况数据存储部分720可在其上存储由身体状况数值化部分715获得的关于每种疾病的身体状况数值化数据。例如,身体状况数据存储部分720在其上存储关于疾病780的、分别在视线数据、瞳孔数据和眨眼数据这些部分中的多组身体状况数值化数据。
关于疾病780的多组身体状况数值化数据,这些指示的数值按照视线数据、眨眼数据和瞳孔数据的顺序降低。这意味着,当从疾病780的方面观察被观察者915时,可关注视线数据进行观察。通过排他地查看存储在身体状况数据存储部分720上的这些组视线数据,这些身体状况数值化数据的数值按照疾病780、782和784的顺序降低。因此,通过将由数值化视点位置的改变而获得的身体状况数值化数据与存储在身体状况数据存储部分720上的多组身体状况数值化数据(即多组视线数据)相比较,身体状况比较部分735可判断疾病780、782和784中的哪一个是最可能的。例如,通过用从身体状况计算部分725接收的身体状况数值化数据(视线数据)除以存储在身体状况数据存储部分720上的多组身体状况数值化数据(多组视线数据),身体状况比较部分735计算出疾病的可能性。之后,身体状况比较部分735向可能疾病输出控制部分750提供根据计算结果显示出最高可能性的疾病名。可能疾病输出控制部分750向输出部分50输出接收的疾病名。
应注意,本发明涉及的图像记录装置10不仅可用于医用领域的观察,还可用于例如美容和体育领域。当图像记录装置10应用于美容和体育领域时,术语“疾病”(disease)比“病”(illness)或“生病”(sickness)用于更宽泛的含义。例如,当本发明涉及的图像记录装置10用于美容领域时,疾病意味着用户不喜欢的观察结果,例如皱纹、皮肤粗糙等。当本发明涉及的图像记录装置10用于体育领域时,疾病意味着每种体育类型的不正确形式及坏习惯。
当本发明涉及的图像记录装置10用于美容领域时,在图像存储部分320上存储示出人体随着年龄的增长已经改变的不同区域的图像。例如,身体状况数值化部分715基于图像处理,而计算出例如“皱纹”、“色素斑”以及“粗糙皮肤”等疾病的特征,以确定疾病的类型。身体状况数值化部分715还数值化由例如“皱纹”、“色素斑”和“粗糙皮肤”的疾病所表明的老化程度。观察结果输入部分610用于输入关于美容的观察被观察者的结果,例如“此人有皱纹”或“此人皮肤粗糙”,以作为指示疾病的观察结果。身体状况计算部分725以与身体状况数值化部分715相同的方式来数值化观察对象的输入图像。身体状况比较部分735将观察对象的数值化数据与存储在身体状况数据存储部分720上的数据相比较,以确定观察对象的皱纹或皮肤粗糙的程度。
疾病图像生成部分745可在其上预存储示出人体随着年龄增长已经改变的不同区域的图像,以作为模板图像。例如,疾病图像生成部分745在其上预存储“显示女性十多岁时外眼角的图像”、“显示女性二十多岁时外眼角的图像”、“显示女性十多岁时皮肤的图像”、“显示女性四十多岁时皮肤的图像”等。身体状况计算部分725基于输入的观察对象的图像,计算疾病的特征。基于该结果,可以改变存储在疾病图像生成部分745上的这些模板图像。以这种方式,输出部分50可显示观察对象未来可能患有的疾病。例如,输出部分50显示一幅图像,该图像示出观察对象不做美容的五年后可能具有的皱纹。如上所述,当用于美容领域时,图像记录装置10可用于识别患者的症状。
当本发明涉及的图像记录装置10用于体育领域时,在图像存储部分320上存储示出对应于某一体育不同优选等级的形式的移动图像。这里,使用篮球中击打形式作为例子来进行下面的描述。身体状况数值化部分715基于图像处理,计算出例如“只用手部击打”、“抬起了下巴”以及“击打者未看篮球”的不正确形式的特征值,以便确定这些形式的特征。身体状况数值化部分715可数值化这些形式的不正确程度。观察结果输入部分610用于输入观察被观察者的结果,例如“只用手部击打”、“抬起了下巴”以及“击打者未看篮球”,以作为指示疾病的观察结果。身体状况计算部分725以与身体状况数值化部分715相同的方式而数值化输入的观察对象的移动图像。身体状况比较部分735将观察对象的数值化数据与存储在身体状况数据存储部分720上的数据相比较,以确定观察对象的形式的不正确程度。如上所述,当用于体育领域时,图像记录装置10可用于识别运动员的习惯。
图31示出了本发明涉及的图像记录装置10的示例性硬件配置。图像记录装置10由一CPU周边部分、一输入/输出(I/O)部分以及一传统I/O部分构成。CPU周边部分包括通过主控制器1582彼此连接的一CPU1505、一RAM1520、一图解控制器1575以及一显示器件1580。I/O部分包括通过I/O控制器1584连接到主控制器1582的一通信接口1530、一硬盘驱动器1540以及一CD-ROM驱动器1560。传统I/O部分包括连接到I/O控制器1584的一ROM1510、一软盘驱动器1550以及一I/O芯片1570。
主控制器1582将RAM 1520连接到以高传输速度存取RAM 1520的CPU1505和图解控制器1575上。CPU 1505根据存储在ROM 1510和RAM 1520上的程序来运行,以控制这些组件。图解控制器1575获得由CPU 1505等在RAM1520内提供的帧缓冲器上生成的图像数据,并使显示器件1580显示获得的图像数据。可选择地,图解控制器1575可包括一帧缓冲器,用于在其上存储由CPU 1505等生成的图像数据。
I/O控制器1584将以相对高速运行的I/O器件,即通信接口1530、硬盘驱动器1540和CD-ROM驱动器1560,连接到主控制器1582上。通信接口1530通过网络与不同器件进行通信。硬盘驱动器1540在其上存储图像记录装置10中提供的CPU 1505使用的程序和数据。CD-ROM驱动器1560从CD-ROM 1595中读取程序和数据,并通过RAM 1520向硬盘驱动器1540提供读取的程序和数据。
I/O控制器1584还连接到相对低速运行的I/O器件上,即ROM 1510、软盘驱动器1550以及I/O芯片1570。在ROM 1510上存储由图像记录装置10在启动时执行的启动程序、针对图像记录装置10硬件的程序等。软盘驱动器1550从软盘1590读取程序和数据,并通过RAM 1520向硬盘驱动器1540提供读取的程序和数据。I/O芯片1570用于连接例如软盘驱动器1550的不同的I/O器件,例如通过并行口、串行口、键盘端口、鼠标端口等连接。
通过RAM 1520提供给硬盘驱动器1540的图像记录程序是由用户在其存储于例如软盘1590、CD-ROM 1595和IC卡上的状态下提供的。图像记录程序从记录媒介中被读取,通过RAM 1520而安装到图像记录装置10中的硬盘驱动器1540中,并由CPU 1505执行。被安装的并因此由图像记录装置10执行的图像记录程序使CPU 1505等如图1至图30描述的图像捕获单元20、存储单元30、声音单元40、输出部分50、输入单元60和分析单元70以及这些单元和部分20至70的构件,来操作图像记录装置10。
尽管已经描述了本发明的实施例,但本发明的技术范围不限于以上所述实施例。很显然地,本领域技术人员可对上述的实施例进行各种变形及改进。从权利要求的范围很显然地,这样变形及改进的实施例均被包括在本发明技术范围内。

Claims (18)

1.一种图像记录装置,用于辅助观察者对被观察者进行观察,其特征在于它包括:
一图像捕获部分,该图像捕获部分对被观察者进行图像捕获;
一观察结果输入部分,该观察结果输入部分输入观察者对被观察者进行观察的观察结果;
一观察者视点位置判断部分,该观察者视点位置判断部分判断当该图像捕获部分捕获被观察者的图像时观察者是否在看被观察者;
一图像提取部分,该图像提取部分提取被观察者的图像,对于该被观察者,该观察者视点位置判断部分判断为观察者在看该被观察者;
一身体状况数值化部分,对于由该观察结果输入部分所输入的且与该图像提取部分所提取的被观察者的图像相对应的观察结果,该身体状况数值化部分通过分析该图像提取部分所提取的被观察者的图像来将被观察者的身体状况数值化;
一身体状况数据存储部分,该身体状况数据存储部分其中存储与相应观察结果相关的、通过该身体状况数值化部分进行数值化后产生的身体状况数值化数据。
2.根据权利要求1所述的图像记录装置,其特征在于:它还包括:
一观察者视点测量部分,当该图像捕获部分捕获被观察者的图像时,该观察者视点测量部分测量观察者的视点;
一图像存储部分,该图像存储部分存储与该图像捕获部分所捕获的被观察者的图像相关、该观察结果输入部分所输入的观察结果以及表示该观察者视点测量部分所测量的观察者的视点的观察者视点位置信息,其中:
基于该图像存储部分存储的观察者视点位置信息,该观察者视点位置判断部分判断当图像捕获部分捕获与该观察者视点位置信息相关的、由该图像存储部分所存储的被观察者的图像时观察者是否在看被观察者,
基于该观察者视点位置判断部分判断出观察者在看被观察者,该图像提取部分提取与观察者视点位置信息相关的、由该图像存储部分所存储的被观察者的图像。
3.根据权利要求1所述的图像记录装置,其特征在于:它还包括:
一图像输入部分,该图像输入部分输入观察对象的图像;
一身体状况确定部分,通过分析该图像输入部分所输入的观察对象的图像,该身体状况确定部分确定该观察对象的身体状况;
一身体状况比较部分,该身体状况比较部分将该身体状况确定部分所确定的观察对象的身体状况与该身体状况数据存储部分所存储的身体状况数值化数据进行比较;
一输出部分,根据该身体状况比较部分所得的比较结果,该输出部分输出与比预定程度表现出较高一致度的身体状况数值化数据相关的、由该身体状况数据存储部分所存储的表示身体状况的信息。
4.根据权利要求3所述的图像记录装置,其特征在于:它还包括:
一疾病可能性计算部分,基于该身体状况比较部分所得的比较结果所示的一致度,该疾病可能性计算部分计算出与身体状况关联的疾病的可能性,其中:
该输出部分输出表示疾病的信息和该疾病可能性计算部分所计算出的疾病的可能性。
5.根据权利要求1所述的图像记录装置,其特征在于:它还包括:
一疾病信息输入部分,该疾病信息输入部分输入表示疾病的信息;
一身体状况数值化数据提取部分,该身体状况数值化数据提取部分提取与该疾病信息输入部分所输入的表示疾病的信息相关的、由该身体状况数据存储部分所存储的身体状况数值化数据;
一疾病图像生成部分,基于该身体状况数值化数据提取部分所提取的身体状况数值化数据,该疾病图像生成部分生成带有该疾病信息输入部分输入的信息所示的疾病的患者的图像;以及
一输出部分,该输出部分输出该疾病图像生成部分所生成的图像。
6.根据权利要求2所述的图像记录装置,其特征在于:它还包括:
一被观察者视点测量部分,当该图像捕获部分捕获被观察者的图像时,该被观察者视点测量部分测量该被观察者的视点;
一视线重合判断部分,基于该被观察者视点测量部分所测量的被观察者的视点以及该观察者视点测量部分所测量的观察者的视点,该视线重合判断部分判断被观察者与观察者之间的视线是否重合,其中:
该图像存储部分将该视线重合判断部分所作出的判断结果作为被观察者视点位置信息而存储,
该图像提取部分提取与表示该视线重合判断部分判断被观察者与观察者的视线重合的判断结果相关的、由该图像存储部分所存储的被观察者的图像。
7.根据权利要求1所述的图像记录装置,其特征在于:
该图像捕获部分捕获被观察者的动态图像,
该身体状况数值化部分将被观察者的瞳孔大小变化进行数值化。
8.根据权利要求1所述的图像记录装置,其特征在于:
该图像捕获部分捕获被观察者的动态图像,
该身体状况数值化部分将被观察者的视点位置的变化进行数值化。
9.根据权利要求2所述的图像记录装置,其特征在于:
当观察者判断被观察者没有疾病时,该观察结果输入部分输入作为观察结果的表示没有疾病的信息,
该图像存储部分其中存储与该图像捕获部分所捕获的被观察者的图像相关的、该观察结果输入部分所输入的表示没有疾病的信息,
对于与该图像提取部分所提取的被观察者的图像相关的、由该图像存储部分所存储的疾病,该身体状况数值化部分通过将(i)与该疾病相关的、由该图像存储部分所存储的被观察者的图像和(ii)与表示没有疾病的信息相关的、由该图像存储部分所存储的被观察者的图像之间进行比较而检测出的被观察者的身体状况的差别进行数值化,
该身体状况数据存储部分其中存储与疾病相关的、由身体状况数值化部分进行数值化后产生的身体状况差别数值化数据。
10.根据权利要求9所述的图像记录装置,其特征在于:它还包括:
一图像输入部分,该图像输入部分输入当将被诊断的对象没有疾病时被捕获的图像以及新捕获的将被诊断的对象的图像;
一身体状况差别计算部分,通过分析当将被诊断的对象没有疾病时被捕获的图像以及新捕获的将被诊断的对象的图像,该身体状况差别计算部分计算出该将被诊断的对象的身体状况的差别,这些图像由该图像输入部分输入;
一身体状况差别比较部分,该身体状况差别比较部分将该身体状况差别计算部分所计算出的将被诊断的对象的身体状况的差别与该身体状况数据存储部分所存储的身体状况差别数值化数据进行比较;
一输出部分,根据该身体状况差别比较部分所作出的比较结果,该输出部分输出与比预定程度表现出较高一致度的身体状况差别数值化数据相关的、由该身体状况数据存储部分所存储的表示疾病的信息。
11.根据权利要求10所述的图像记录装置,其特征在于:它还包括:
一疾病可能性计算部分,基于该身体状况差别比较部分所作出的比较结果所示的一致度,该疾病可能性计算部分计算出疾病的可能性,其中:
该输出部分输出表示疾病的信息和该疾病可能性计算部分所计算出的疾病的可能性。
12.根据权利要求9所述的图像记录装置,其特征在于:
该图像捕获部分捕获被观察者的动态图像,
该身体状况数值化部分将有疾病时与没有疾病时的被观察者的身体状况的瞳孔大小的差别进行数值化。
13.根据权利要求9所述的图像记录装置,其特征在于:
该图像捕获部分捕获被观察者的动态图像,
该身体状况数值化部分将有疾病时与没有疾病时的被观察者的视点位置的变化的差别进行数值化。
14.根据权利要求9所述的图像记录装置,其特征在于:
该图像捕获部分捕获被观察者的动态图像,
该身体状况数值化部分将有疾病时与没有疾病时的被观察者的眨眼次数的差别进行数值化。
15.一种图像记录方法,用于辅助观察者对被观察者进行观察,其特征在于,它包括:
捕获被观察者的图像;
输入观察者对被观察者进行观察的观察结果;
判断在图像捕获过程中观察者是否在看被观察者;
对于在判断过程中判断为观察者在看被观察者时,提取被观察者的图像;
对于在结果输入过程中所输入的且与在提取过程中所提取的被观察者的图像相对应的观察结果,通过分析在提取过程中所提取的被观察者的图像,将被观察者的身体状况进行数值化;以及
存储与相应观察结果相关的、在数值化过程中产生的身体状况数值化数据。
16.根据权利要求15所述的图像记录方法,其特征在于:它还包括:
在图像捕获过程中测量观察者的视点;以及
存储与在图像捕获过程中所捕获的被观察者的图像相关的、在结果输入过程中输入的观察结果以及表示在测量过程中测量的观察者的视点的观察者视点位置信息,其中:
在该判断过程中,基于该图像存储过程中存储的观察者视点位置信息,判断出当与该观察者视点位置信息相关的、在该图像存储过程中存储的被观察者的图像被捕获到时观察者是否在看被观察者,以及
在该提取过程中,基于在判断过程中判断为观察者在看被观察者,提取与观察者视点位置信息相关的、在该图像存储过程中存储的被观察者的图像。
17.一种图像记录程序,用于辅助观察者对被观察者进行观察的图像记录装置,其特征在于,该图像记录程序使该图像记录装置具备如下功能:
一图像捕获部分,该图像捕获部分对被观察者进行图像捕获;
一观察结果输入部分,该观察结果输入部分输入观察者对被观察者进行观察的观察结果;
一观察者视点位置判断部分,该观察者视点位置判断部分判断当该图像捕获部分捕获被观察者的图像时观察者是否在看被观察者;
一图像提取部分,该图像提取部分提取被观察者的图像,对于该被观察者,该观察者视点位置判断部分判断为观察者在看该被观察者;
一身体状况数值化部分,对于由该观察结果输入部分所输入的且与该图像提取部分所提取的被观察者的图像相对应的观察结果,该身体状况数值化部分通过分析该图像提取部分所提取的被观察者的图像来将被观察者的身体状况数值化;
一身体状况数据存储部分,该身体状况数据存储部分其中存储与相应观察结果相关的、通过该身体状况数值化部分进行数值化后产生的身体状况数值化数据。
18.根据权利要求17所述的图像记录程序,其特征在于:它还使该图像记录装置具备如下功能:
一观察者视点测量部分,当该图像捕获部分捕获被观察者的图像时,该观察者视点测量部分测量观察者的视点;
一图像存储部分,该图像存储部分存储与该图像捕获部分所捕获的被观察者的图像相关、该观察结果输入部分所输入的观察结果以及表示该观察者视点测量部分所测量的观察者的视点的观察者视点位置信息,其中:
基于该图像存储部分存储的观察者视点位置信息,该观察者视点位置判断部分判断当图像捕获部分捕获与该观察者视点位置信息相关的、由该图像存储部分所存储的被观察者的图像时观察者是否在看被观察者,
基于该观察者视点位置判断部分判断出观察者在看被观察者,该图像提取部分提取与观察者视点位置信息相关的、由该图像存储部分所存储的被观察者的图像。
CN2007800195296A 2006-03-28 2007-03-26 图像记录装置 Expired - Fee Related CN101453938B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP088616/2006 2006-03-28
JP2006088616 2006-03-28
JP2007038671A JP2007289656A (ja) 2006-03-28 2007-02-19 画像記録装置、画像記録方法、および画像記録プログラム
JP038671/2007 2007-02-19
PCT/JP2007/057335 WO2007114405A1 (en) 2006-03-28 2007-03-26 Image recording apparatus, image recording method and image recording program

Publications (2)

Publication Number Publication Date
CN101453938A true CN101453938A (zh) 2009-06-10
CN101453938B CN101453938B (zh) 2010-10-06

Family

ID=38563669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800195296A Expired - Fee Related CN101453938B (zh) 2006-03-28 2007-03-26 图像记录装置

Country Status (4)

Country Link
US (1) US8150118B2 (zh)
JP (1) JP2007289656A (zh)
CN (1) CN101453938B (zh)
WO (1) WO2007114405A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5044237B2 (ja) * 2006-03-27 2012-10-10 富士フイルム株式会社 画像記録装置、画像記録方法、および画像記録プログラム
ES2701878T3 (es) 2008-03-18 2019-02-26 Circa Scient Llc Dispositivo sensor de temperatura en zona superficial grande
WO2010135513A1 (en) * 2009-05-20 2010-11-25 Sensis Corporation Corpsman/medic medical assistant system and method
US9744339B2 (en) 2010-05-12 2017-08-29 Circa Scientific, Llc Apparatus for manually manipulating hollow organs
USD901009S1 (en) * 2010-05-12 2020-11-03 Circa Scientific, Inc. Apparatus for manipulating hollow organs
US8503737B2 (en) * 2010-09-27 2013-08-06 Panasonic Corporation Visual line estimating apparatus
JP5838894B2 (ja) * 2012-04-09 2016-01-06 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP6593133B2 (ja) * 2015-11-30 2019-10-23 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP2018149234A (ja) * 2017-03-15 2018-09-27 公立大学法人広島市立大学 注視点推定システム、注視点推定方法及び注視点推定プログラム
CN108521547A (zh) * 2018-04-24 2018-09-11 京东方科技集团股份有限公司 图像处理方法、装置及设备
JP7129652B2 (ja) * 2019-07-22 2022-09-02 パナソニックIpマネジメント株式会社 歩行機能評価装置、歩行機能評価システム、歩行機能評価方法、プログラム、及び、認知機能評価装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564061A (ja) 1991-08-29 1993-03-12 Canon Inc ビデオカメラ
JPH0591394A (ja) 1991-09-26 1993-04-09 Canon Inc ビデオカメラ
JP2003070753A (ja) 2001-09-06 2003-03-11 Scalar Corp 診断システム、診断データ生成方法、それに用いられる情報処理装置、及び端末装置、並びに記録媒体
JP2004064409A (ja) * 2002-07-29 2004-02-26 Mazda Motor Corp 情報記録装置、情報記録方法及び情報記録用プログラム

Also Published As

Publication number Publication date
US20100002916A1 (en) 2010-01-07
JP2007289656A (ja) 2007-11-08
US8150118B2 (en) 2012-04-03
CN101453938B (zh) 2010-10-06
WO2007114405A1 (en) 2007-10-11

Similar Documents

Publication Publication Date Title
CN101453941B (zh) 图像输出装置、图像输出方法以及图像输出系统
CN101453938B (zh) 图像记录装置
CN101453943B (zh) 图像记录装置和图像记录方法
JP4869978B2 (ja) 画像記録装置、画像記録方法、および画像記録プログラム
EP2829221B1 (en) Asperger's diagnosis assistance device
US9538947B2 (en) Method, system and device for assisting diagnosis of autism
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
JP5958825B2 (ja) 感性評価システム、感性評価方法、およびプログラム
US20210259601A1 (en) Communication methods and systems
US20110279665A1 (en) Image recording apparatus, image recording method and image recording program
CN114209324B (zh) 基于图像视觉认知的心理测评数据获取方法及vr系统
CN103597530A (zh) 用于针对涉及具有隐匿解剖结构的身体部位的医学检查而进行训练的系统、方法和计算机程序
WO2024038134A1 (en) Methods and devices in performing a vision testing procedure on a person
Wei et al. Automating the Clinical Assessment of Independent Wheelchair sitting pivot transfer techniques
Kiprijanovska et al. Smart Glasses for Gait Analysis of Parkinson’s Disease Patients
WO2023205059A1 (en) Electronic stethoscope and diagnostic algorithm
WO2022258647A1 (en) Method and device for determining a visual performance

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101006

Termination date: 20160326