CN103946850B - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN103946850B
CN103946850B CN201280056353.2A CN201280056353A CN103946850B CN 103946850 B CN103946850 B CN 103946850B CN 201280056353 A CN201280056353 A CN 201280056353A CN 103946850 B CN103946850 B CN 103946850B
Authority
CN
China
Prior art keywords
attribute
event
data
unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280056353.2A
Other languages
English (en)
Other versions
CN103946850A (zh
Inventor
芦原隆之
下村秀树
小林诚司
脇田能宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103946850A publication Critical patent/CN103946850A/zh
Application granted granted Critical
Publication of CN103946850B publication Critical patent/CN103946850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Studio Devices (AREA)

Abstract

一种信息处理装置和方法使用属性控制单元响应于检测到的物体和另一检测到的物体之间的检测到的物理动作改变所述检测到的物体和与所述检测到的物体关联地存储的属性之间的关联。通过改变检测到的物体之间的属性的关联允许在物体之间移动的物质的自动跟踪。

Description

信息处理装置和信息处理方法
技术领域
本公开涉及一种信息处理装置和信息处理方法。
背景技术
在医学领域中，为了防止在医疗实践(诸如，药物准备和将药物注射给病人)中发生错误，已做出许多努力。例如，在准备用于林格氏溶液的注射的液体药物时，医生或护士利用包括标记笔的书写工具在林格氏(Ringer’s)溶液袋上抄写注射到林格氏溶液袋中的液体药物的名称和数量。以下的专利文献1建议书写操作人员、病人的标识符和使用的医疗工具和时间彼此关联的数据作为历史以在执行医疗实践时防止错误的医疗实践。
对于其它领域以及医学领域，追踪动作的历史是很重要的。例如，在食品加工的领域，为了卫生或保持产品的质量的目的，已做出这样的努力：能够书写加工过程的历史数据并且在以后追踪历史。
引用列表
专利文献
PTL 1：JP 2009-289067A
发明内容
技术问题
许多已有的用于追踪历史数据的努力需要用于输入数据的屏幕上的劳动等。然而，需要该劳动的方式承担数据的输入错误或故意错误输入的风险。另外，强迫操作人员除了其正常责任之外还输入数据为操作人员带来压力。根据专利文献1中描述的方案，通过引入连接到医疗工具的特殊终端装置来使数据输入自动化。然而，因为该方案基于特殊终端装置的存在，所以其应用范围有限。
关于这一点，考虑记录动作的照片作为历史的方式。在这种情况下，不需要用于记录历史的劳动。然而，简单地记录照片使得用于无法从外部确定其内含物的容器的动作的细节的以后识别变得复杂。
问题的解决方案
根据一个实施例，提供一种信息处理装置，所述信息处理装置包括：属性控制单元，响应于检测到的物体和另一检测到的物体之间的检测到的物理动作改变所述检测到的物体和与所述检测到的物体关联地存储的属性之间的关联。
根据一种信息处理方法，该方法包括：把属性与检测到的物体关联地存储在存储器中；以及响应于检测到的物体和另一检测到的物体之间的检测到的物理动作，利用属性控制单元改变所述检测到的物体和属性之间的关联。
根据一种信息处理装置，该装置包括：接口，与属性控制单元交换数据，属性控制单元响应于检测到的物体和另一检测到的物体之间的检测到的物理动作改变检测到的物体和与所述检测到的物体关联地存储的属性之间的关联；和显示控制单元，把与所述检测到的物体相邻的属性数据覆盖在用户接口单元上。
发明的有益效果
根据与本公开的例子相关的技术，可更容易地管理动作的细节作为历史而不会为操作人员带来过大压力。
附图说明
图1是用于描述根据一个实施例的图像处理系统的概述的解释示图。
图2是表示根据一个实施例的图像处理装置的硬件结构的一个例子的框图。
图3是表示根据一个实施例的图像处理装置的逻辑功能结构的一个例子的框图。
图4是用于描述一个实施例中的属性的控制的基本概念的解释示图。
图5是表示根据一个实施例的终端装置的硬件结构的一个例子的框图。
图6是表示根据一个实施例的终端装置的逻辑功能结构的一个例子的框图。
图7是用于描述针对一个实施例示出的输出图像的一个例子的解释示图。
图8是用于描述第一例子中的物体数据的一个例子的解释示图。
图9是用于描述第一例子中的属性控制表的一个例子的解释示图。
图10A是用于描述第一例子中的属性数据的状态转变的一个例子的解释示图的前半部分。
图10B是用于描述第一例子中的属性数据的状态转变的一个例子的解释示图的后半部分。
图11是用于描述第一例子中的属性数据的一个例子的解释示图。
图12是用于描述针对第一例子示出的输出图像的一个例子的解释示图。
图13是表示第一例子中的属性控制处理的流程的一个例子的流程图。
图14是表示第一例子中的显示控制处理的流程的一个例子的流程图。
图15是用于描述第二例子中的物体数据的一个例子的解释示图。
图16是用于描述第二例子中的属性控制表的一个例子的解释示图。
图17A是用于描述第二例子中的属性数据的状态转变的一个例子的解释示图的前半部分。
图17B是用于描述第二例子中的属性数据的状态转变的一个例子的解释示图的后半部分。
图18是用于描述针对第二例子示出的输出图像的一个例子的解释示图。
图19是表示第二例子中的属性控制处理的流程的一个例子的流程图。
图20是用于描述第三例子中的物体数据的一个例子的解释示图。
图21是用于描述第三例子中的历史数据的一个例子的解释示图。
图22是用于描述第三例子中的属性数据的状态转变的一个例子的解释示图。
图23是用于描述针对第三例子示出的输出图像的一个例子的解释示图。
图24是表示第三例子中的属性控制处理的流程的一个例子的流程图。
图25是用于描述第四例子中的物体数据的一个例子的解释示图。
图26是用于描述第四例子中的属性控制表的一个例子的解释示图。
图27A是用于描述第四例子中的属性数据的状态转变的一个例子的解释示图的前半部分。
图27B是用于描述第四例子中的属性数据的状态转变的一个例子的解释示图的后半部分。
图28是用于描述针对第四例子示出的输出图像的一个例子的解释示图。
图29是表示第四例子中的属性控制处理的流程的一个例子的流程图。
图30是表示根据一个变型的图像处理装置的逻辑功能结构的一个例子的框图。
具体实施方式
以下，将参照附图详细描述本公开的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元素由相同的标号表示，并且省略这些结构元素的重复解释。
另外，按照下面的次序进行描述。
1.系统的概述
2.图像处理装置的构成例子
2-1.硬件结构
2-2.功能结构
3.终端装置的构成例子
3-1.硬件结构
3-2.功能结构
4.第一例子
5.第二例子
6.第三例子
7.第四例子
8.变型
9.结论
<1.系统的概述>
图1是用于描述根据一个实施例的图像处理系统的概述的解释示图。参照图1，图像处理系统1被示出为一个例子。图像处理系统1包括图像处理装置100和终端装置200。
图像处理装置100具有成像单元102。成像单元102的镜头面对实际空间中的任何动作中所涉及的物体。在图1中的例子中，人Ua执行针对存在于实际空间中的物体Obj1和Obj2之一或二者的动作。除了物体Obj1和Obj2之外，人Ua也可被视为物体之一。成像单元102拍摄物体参与的动作，并且产生拍摄图像(典型地，构成运动图像的每一帧)。产生的拍摄图像是由图像处理装置100为了管理动作的历史而执行的图像处理的输入图像。
终端装置200具有成像单元(未示出)和显示单元210。终端装置200使用成像单元拍摄任何物体，并且请求图像处理装置100分配与图像中的物体关联的数据。另外，终端装置200在显示单元210上显示从图像处理装置100发送的数据。从图像处理装置100发送的数据能够使对几个物体采取的动作的历史在稍后被识别。例如，能够通过与物体关联的属性识别动作的历史，或者能够从给出时间戳的历史数据自身识别动作的历史。
在图1中，图像处理装置100和终端装置200显示形成为在物理上不同的装置的例子。然而，图像处理装置100和终端装置200可形成为集成的装置。图像处理装置100和终端装置200中的每一个可以是通用的装置(例如，桌上型PC、平板PC、笔记本PC、智能电话或PDA)，或者可以是用于历史的管理/阅读的专用装置。另外，终端装置200的屏幕可利用头戴式显示器来实现。
<2.图像处理装置的构成例子>
(2-1.硬件结构)
图2是表示根据一个实施例的图像处理装置100的硬件结构的一个例子的框图。参照图2，图像处理装置100包括成像单元102、输入单元104、存储单元106、显示单元110、通信单元112、总线116和控制单元118。
(1)成像单元
成像单元102是拍摄图像的照相机模块。成像单元102利用成像元件(诸如，CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体))拍摄对象，并且产生拍摄图像。成像单元102可不总是图像处理装置100的一部分。例如，像图1的例子中一样，以有线或无线方式连接到图像处理装置100的成像装置可被视为成像单元102。
(1)输入单元
输入单元104是由用户用来操作图像处理装置100或把信息输入到图像处理装置100的输入装置。例如，输入单元104可包括触摸传感器，触摸传感器检测用户在显示单元110的屏幕上的触摸。替代地(或另外)，输入单元104可包括定点装置(诸如，鼠标或触摸垫)。另外，输入单元104可包括其它输入装置(诸如，键盘、键区、按钮、开关或遥控器)。
(3)存储单元
存储单元106包括存储介质(诸如，半导体存储器或硬盘)，并且存储要用图像处理装置100处理的程序和数据。存储在存储单元106中的数据能够包括例如由成像单元102产生的拍摄图像数据和将在稍后描述的数据库中的各种数据。另外，本说明书中的程序和数据的一部分或全部可被从外部数据源(例如，数据服务器、网络存储器或外部存储器等)获取，而非存储在存储单元106中。
(4)显示单元
显示单元110是包括LCD(液晶显示器)、OLED(有机发光二极管)或CRT(阴极射线管)的显示模块。另外，显示单元110可不总是图像处理装置100的一部分。例如，以有线或无线方式连接到图像处理装置100的显示装置可被视为显示单元110。
(5)通信单元
通信单元112是转播图像处理装置100和其它装置(例如，终端装置200)之间的通信的通信接口。通信单元112支持任何无线或有线通信协议，并且与其它装置建立通信连接。
(7)总线
总线116把成像单元102、输入单元104、存储单元106、显示单元110、通信单元112和控制单元118彼此连接。
(8)控制单元
控制单元118对应于处理器，诸如CPU(中央处理单元)或DSP(数字信号处理器)。控制单元118执行存储在存储单元106或其它存储介质中的程序以操作将在稍后描述的图像处理装置100的各种功能。
(2-2.功能结构)
图3是表示由图2中示出的图像处理装置100的存储单元106和控制单元118实现的逻辑功能结构的一个例子的框图。参照图3，图像处理装置100包括图像获取单元120、物体识别单元130、物体数据库(DB)140、事件检测单元150、属性DB 160、属性控制单元170、数据分配单元180和用户接口单元190。
(1)图像获取单元
图像获取单元120获取由成像单元102产生的拍摄图像作为输入图像。在输入图像中，出现医疗实践、食品加工动作或其它动作中所涉及的物体。由图像获取单元120获取的一系列输入图像通常包括运动图像。图像获取单元120顺序地把获取的输入图像输出到物体识别单元130。
(2)物体识别单元
物体识别单元130从输入图像识别存在于实际空间中的物体。物体识别单元130可例如通过组合从输入图像提取的图像特征量与以前针对每个物体提取的图像特征量来识别输入图像中的物体。另外，物体识别单元130可通过解释识别信息(诸如，附着和印刷或安装在每个物体上的条形码或者2D码(例如，QR Code(注册商标))来识别输入图像中的物体。另外，物体识别单元130可通过从每个物体的表面阅读字符串或标签来识别输入图像中的物体。另外，在一个例子中，输入图像中的人也被识别为物体，将在稍后对此进行描述。例如，能够利用以前提取的脸部图像的特征量执行对人的识别。在这个实施例中，作为一个例子，主要描述通过图像特征量的组合执行的物体的识别。
(3)物体DB
物体DB 140是存储与作为历史管理的目标的动作中所涉及的物体相关的数据的数据库。存储在物体DB 140中的数据能够由物体识别单元130用于识别物体，由事件检测单元150用于检测事件，并且由属性控制单元170用于控制物体的属性。在这个实施例中，物体DB 140存储物体数据142，物体数据142至少包括每个物体的已知的图像特征量。另外，物体DB 140能够存储属性控制表144，属性控制表144定义属性的控制模式。稍后描述这种数据的具体例子。
(4)事件检测单元
事件检测单元150检测与由物体识别单元130使用输入图像识别的多个物体之间的物理行为对应的事件。在本说明书中，物体之间的物理行为指示动作中所涉及的多个物体(所述多个物体能够包括真实物体和人)之间的在实际空间中的任何行为。例如，两个物体的接触或靠近能够对应于这些物体之间的物理行为。任何人的对任何真实物体的操作也能够对应于对应人和对应物体之间的物理行为。与这些物理行为对应的事件变为应该响应于实际空间中的上述物理行为执行的处理的触发因素。能够根据应用的用途定义是否应该检测与物理行为相关的事件。
在四个例子中检测与下面的物理行为相关的事件，将在稍后对此进行描述。
第一例子)医疗实践中的液体药物的输送
第二例子)药物准备中的药物的组合
第三例子)病人对药物的摄取
第四例子)在食品加工动作中混合食品材料和调味品
另外，这些仅是用于描述的例子，并且可检测与其它动作中的物体之间的物理行为相关的事件。
(5)属性DB
属性DB 160是存储能够使对每个物体采取的动作的历史被识别的数据的数据库。存储在属性DB 160中的数据由属性控制单元170管理，将在稍后对此进行描述。在这个实施例中，属性DB 160存储属性数据162，属性数据162代表与每个物体关联的属性。属性数据162既能够代表以前与一些物体关联的初始属性，又能够代表响应于上述事件的检测与其它物体关联的新近属性。通过阅读这种属性数据162，能够识别对每个物体采取的动作的历史。另外，属性DB 160能够存储历史数据164，历史数据164代表上述每个事件的每个物体的属性的转变。
(6)属性控制单元
属性控制单元170控制与每个物体关联的属性。例如，在这个实施例中，响应于事件检测单元150检测到上述事件，属性控制单元170把与和检测到的事件对应的物理行为中所涉及的第一物体关联的属性数据与第二物体关联。
图4是用于描述这个实施例中的属性的控制的基本概念的解释示图。参照图4，示出物理行为中所涉及的两个物体Obj1和Obj2。这两个物体通常是能够包含物质的物体。在本说明书中，包含物质包括各种类型的动作，诸如在里面容纳物质、便携地保持物质和拥有物质作为成分。例如，在图4的上半部分，物体Obj1包含物质SB1并且物体Obj2包含物质SB2。在这种情况下，在属性数据162中，代表物质SB1的种类的属性值与物体Obj1关联，并且代表物质SB2的种类的另一属性值与物体Obj2关联。另外，如果检测到与从物体Obj1到物体Obj2的物理行为对应的事件，则属性控制单元170重新把与物体Obj1关联的属性值与物体Obj2关联。在几个例子中，能够由属性控制单元170参照上述属性控制表144确定这种属性值的移动的方向。在图4的下半部分，作为检测到与物理行为对应的事件的结果，代表物质SB1的种类的属性值被重新与物体Obj2关联。替代地，代表物质SB1的种类的属性值被从物体Obj1去除。另外，每个物体的属性数据可代表关联的物体中所包含的物质的数量以及种类。
(7)数据分配单元
数据分配单元180把与几个物体关联的属性数据分配给显示这些物体的图像的装置，并且在该装置的屏幕上显示发送的属性数据。例如，数据分配单元180接收从图1在示出的终端装置200发送的对数据的请求。数据请求能够包括由终端装置200拍摄的图像或从这些图像提取的特征量。数据分配单元180把数据请求中所包括的图像或图像特征量输出到物体识别单元130以允许图像中的物体被识别。另外，如果由终端装置200拍摄的图像中的物体的ID(标识符)被包括在数据请求中，则可省略由物体识别单元130执行的物体的识别。然后，数据分配单元180从属性DB 160获取与识别的物体的物体ID关联的属性数据。另外，数据分配单元180把获取的属性数据分配给终端装置200。数据分配单元180可还把代表图像中的识别的物体的位置的位置数据分配给终端装置200。
(8)用户接口单元
用户接口单元190能够为用户提供符合应用的目的的各种用户接口。例如，用户接口单元190可提供UI屏幕，以使得用户能够阅读或编辑物体数据142、属性控制表144、属性数据162或历史数据164。另外，用户接口190可为用户提供批准屏幕以便能够在属性数据更新时从用户接收批准。
<3.终端装置的构成例子>
(3-1.硬件结构)
图5是表示根据一个实施例的终端装置200的硬件结构的一个例子的框图。参照图5，终端装置200包括成像单元202、输入单元204、存储单元206、显示单元210、通信单元212、语音输出单元214、总线216和控制单元218。
(1)成像单元
成像单元202是拍摄图像的照相机模块。成像单元202利用成像元件(诸如，CCD或CMOS)拍摄对象，并且产生拍摄图像。成像单元202可不总是终端装置200的一部分。例如，以有线或无线方式连接到终端装置200的成像装置可被视为成像单元202。
(2)输入单元
输入单元204是由用户用来操作终端装置200或把信息输入到终端装置200的输入装置。例如，输入单元204可包括触摸传感器，触摸传感器检测用户在显示单元210的屏幕上的触摸。替代地(或另外)，输入单元204可包括定点装置(诸如，鼠标或触摸垫)。另外，输入单元204可包括其它输入装置(诸如，键盘、键区、按钮、开关或遥控器)。
(3)存储单元
存储单元206包括存储介质(诸如，半导体存储器或硬盘)，并且存储要用终端装置200处理的程序和数据。存储在存储单元206中的数据能够包括例如从上述图像处理装置100发送的数据。另外，本说明书中的程序或数据的一部分或全部可被从外部数据源(例如，数据服务器、网络存储器或外部存储器等)获取，而非由存储单元206存储。
(4)显示单元
显示单元210是包括LCD、OLED或CRT的显示模块。另外，显示单元210可不总是终端装置200的一部分。例如，以有线或无线方式连接到终端装置200的显示装置可被视为显示单元210。
(5)通信单元
通信单元212是调节其它装置(例如，图像处理装置100)和终端装置200之间的通信的通信接口。通信单元212支持任何无线或有线通信协议，并且与其它装置建立通信连接。
(6)语音输出单元
语音输出单元214是包括例如扬声器的语音输出模块。另外，语音输出单元214可不总是终端装置200的一部分。例如，以有线或无线方式连接到终端装置200的语音输出单元可被视为语音输出单元214。
(7)总线
总线216把成像单元202、输入单元204、存储单元206、显示单元210、通信单元212、语音输出单元214和控制单元218彼此连接。
(8)控制单元
控制单元218对应于处理器，诸如CPU或DSP。控制单元218执行存储在存储单元206或其它存储介质中的程序以操作将在稍后描述的终端装置200的各种功能。
(3-2.功能结构)
图6是表示由图5中示出的终端装置200的存储单元206和控制单元218实现的逻辑功能结构的一个例子的框图。参照图6，终端装置200包括图像获取单元220、数据获取单元230、显示控制单元240和用户接口单元250。
(1)图像获取单元
图像获取单元220获取由成像单元202产生的拍摄图像作为输入图像。在输入图像中，出现存在于实际空间中的各种物体。图像获取单元220顺序地把获取的输入图像输出到数据获取单元230和显示控制单元240。
(2)数据获取单元
数据获取单元230获取与由图像获取单元220获取的输入图像中识别的物体关联的属性数据。例如，数据获取单元230把对包括输入图像或输入图像的图像特征量的数据的请求发送给图像处理装置100。数据获取单元230识别输入图像中的物体，并且可在数据请求中包括识别的物体的物体ID。另外，数据获取单元230能够获取响应于数据请求从图像处理装置100发送的属性数据。除了属性数据之外，可还从图像处理装置100获取代表图像中的识别的物体的位置的位置数据。另外，数据获取单元230把获取的属性数据(和位置数据)输出到显示控制单元240。
在这个实施例中，从数据获取单元230获取的属性数据能够包括与第一物体的物理行为中所涉及的第二物体关联的属性数据。该属性数据可以是在检测到与物理行为对应的事件之前与第一物体关联并且响应于检测到这种事件重新与第二物体关联的数据。换句话说，通过阅读由数据获取单元230获取的属性数据，能够识别对输入图像中的物体采取的动作的细节。另外，可按照在时间戳中给出的历史数据的类型表示从图像处理装置100获取的属性数据。
(3)显示控制单元
显示控制单元控制终端装置200中的图像和数据的显示。例如，如果由数据获取单元230获取与输入图像中的物体关联的属性数据，则显示控制单元240把获取的属性数据与输入图像交叠。属性数据可被随物体的物体ID或名称一起表示，而不取决于关联的物体的位置。替代地，属性数据可被表示为覆盖在图像中的关联的对象的位置或者表示该位置。
图7是用于描述针对一个实施例示出的输出图像的一个例子的解释示图。在图7的左侧，输入图像Im00被示出为能够由终端装置200成像的一个例子。在输入图像Im00中，出现物体Obj2。终端装置200把请求与输入图像Im00交叠的数据的数据请求发送给图像处理装置100，并且接收从图像处理装置100发送的数据。在图7的右侧，输出图像Im01被示出为能够由终端装置200显示的一个例子。通过把虚拟物体(消息MSG1)与输入图像Im00交叠来产生输出图像Im01。基于在例如图4中的下半部分中示出的属性数据162产生消息MSG1，并且消息MSG1表示输入图像Im00中的物体Obj2包含物质SB1和SB2。终端装置200的用户能够通过观看例如输出图像Im01而识别出：已执行把物质SB1和SB2添加到物体Obj2的动作。另外，替代于由显示控制单元240通过显示单元210显示消息MSG1，可通过语音输出单元214输出消息MSG1的语音阅读。
(4)用户接口单元
用户接口单元250能够为用户提供符合应用的目的的各种用户接口。例如，用户接口单元250可提供UI屏幕以清楚地指示由数据获取单元230从用户获取了属性数据。
到目前为止，已给出根据本公开的一个实施例的概念描述。在下面的段落的四个例子中，将会分别讨论根据本公开的技术的特定应用情况，并且将会描述根据本技术的新细节。
<4.第一例子>
在第一例子中，医疗实践中的液体药物的输送被示出为历史管理的目标。因此，图像处理装置100检测与诸如医生、护士或药剂师的人员用来处理液体药物的医疗工具之间的物理行为对应的事件。
(1)物体的例子
图8是用于描述第一例子中的物体数据的一个例子的解释示图。参照图8，物体数据142a被示出为存储在物体DB 140中的一个例子。物体数据142a包括称为“物体ID”、“名称”、“产品编号”、“类型”和“特征量”的五个数据项。
“物体ID”是用于立即识别每个物体的标识符。“名称”代表给予每个物体的名称。在图8的例子中，作为名称，“玻璃瓶”被给予物体Obj11，“注射器”被给予物体Obj12，并且“林格氏溶液袋”被给予物体Obj13。“产品编号”代表为了个体地区分相同种类的物体而给予的字符串。
“类型”是由属性控制单元170控制属性时参照的项，并且为每个物体定义多个类型的候选项中的至少一个。在这个例子中，下面的三个类型的候选项中的一些被分派给每个物体。
“源”...代表物质的输送源的物体的类型
“输送器”...代表能够输送物质的物体的类型
“目的地”...代表物质的输送目的地的物体的类型
在图8的例子中，物体Obj11的类型是“源”，物体Obj12的类型是“输送器”，并且物体Obj11的类型是“目的地”。
从每个物体的已知图像提取“特征量”。物体识别单元130组合从输入图像提取的图像特征量与物体数据142a的这种特征量，并且能够识别输入图像中的物体。
(2)事件
在这个例子中，事件检测单元150检测与由物体识别单元130识别的医疗工具之间的物理行为对应的事件。例如，能够讨论下面的事件作为图8中示出的物体参与的事件。
事件Ev11)液体药物从玻璃瓶注射到注射器
事件Ev12)液体药物从注射器注射到林格氏溶液袋
如果满足关于例如两个事件的给定事件检测条件，则可检测这些事件。给定事件检测条件可以是下面的条件中的一些：
条件C11)两个物体之间的距离低于阈值。
条件C12)连续满足条件C11的时间超过阈值。
条件C13)识别出人针对两个物体的给定手势。
条件C11中的距离可以是输入图像中的2D距离或者基于已知的3D结构识别技术识别的实际空间中的3D距离。可共同地定义条件C11和C12的阈值而不取决于物体，或者针对每个物体单独地定义条件C11和C12的阈值。
如果根据上述事件检测条件检测到与多个物体之间的物理行为对应的事件，则事件检测单元150向属性控制单元170通知检测到的事件。
(3)对属性的控制
在这个例子中，如果为检测到的事件中所涉及的物体定义的类型满足给定属性控制条件，则属性控制单元170改变这些物体的属性。在上述属性控制表中定义属性控制条件。
图9是用于描述第一例子中的属性控制表的一个例子的解释示图。参照图9，属性控制表144a被表示为存储在物体DB 140中的一个例子。以在列和行中都具有物体的三个类型的矩阵形式定义属性控制表144a。每个列对应于事件中所涉及的第一物体的类型。每个行对应于事件中所涉及的第二物体的类型。
例如，如果第一物体的类型是“源”并且第二物体的类型是“输送器”，则与第一物体关联的属性被添加到第二物体(或重新与第二物体关联)。第一物体的属性不被更新。
另外，如果第一物体的类型是“输送器”并且第二物体的类型是“目的地”，则与第一物体关联的属性被添加到第二物体。第一物体的属性被去除。
对于其它类型的组合，第一物体和第二物体的属性不被更新。
换句话说，如果由事件检测单元150检测到事件，则属性控制单元170指定检测到的事件中所涉及的物体，并且通过参照属性控制表144a来确定与指定的物体的类型的组合对应的属性的控制内容。另外，属性控制单元170根据确定的控制内容更新存储在属性DB160中的属性数据162。此时的属性数据162的更新能够包括：新属性与指定的物体的关联和指定的物体的属性的去除。另外，属性控制单元170把与检测到的事件对应的记录添加到属性数据，将在稍后对此进行描述。
(4)数据转变
图10A和10B是用于描述这个例子中的根据示例性方案的属性数据的状态转变的一个例子的解释示图。在附图的左侧，顺序地示出按照时间顺序获取的四个输入图像Im11至Im14，并且在其右侧，示出在每个时间点的属性数据的部分内容。
参照图10A，在输入图像Im11中，出现玻璃瓶Obj11和注射器Obj12。对于属性数据162a，代表物质SB11的属性与玻璃瓶Obj11关联。这表示物质SB11被包含在玻璃瓶Obj11中。另一方面，没有属性值与注射器Obj12关联。这表示没有东西被包含在注射器Obj12中。
另外，在输入图像Im12中，注射器Obj12出现在相对于玻璃瓶Obj11的距离阈值D1的范围中。事件检测单元150根据例如上述事件检测条件C11或C12检测到与玻璃瓶Obj11和注射器Obj12之间的液体药物的提取对应的事件。根据物体数据142a，玻璃瓶Obj11的类型是“源”，并且注射器Obj12的类型是“输送器”。属性控制单元170通过参照属性控制表144a来确定与“源”和“输送器”的组合对应的属性的控制内容，并且重新把与玻璃瓶Obj11关联的属性值“SB11”与注射器Obj12关联。结果，属性数据162a表示物质SB11已被包含在注射器Obj12中。
然后，参照图10B，在输入图像Im13中，出现注射器Obj12和林格氏溶液袋Obj13。对于属性数据162a，代表物质SB12的属性值与林格氏溶液袋Obj13关联。这是在图10A和10B中示出的方案之前的动作的结果，并且表示物质SB12已被包含在林格氏溶液袋Obj13中。
另外，在输入图像Im14中，在相对于注射器Obj12的距离阈值D1的范围内，出现林格氏溶液袋Obj13。事件检测单元150根据例如上述事件检测条件C11或C12检测到与注射器Obj12和林格氏溶液袋Obj13之间的液体药物的注射对应的事件。根据物体数据142a，注射器Obj12的类型是“输送器”，并且林格氏溶液袋Obj13的类型是“目的地”。属性控制单元170通过参照属性控制表144a来确定与“输送器”和“目的地”的组合对应的属性的控制内容，并且重新把与注射器Obj12关联的属性值“SB11”与林格氏溶液袋Obj13关联。结果，属性数据162a表示物质SB11和SB12已被包含在林格氏溶液袋Obj13中。
图11表示由属性控制单元170在上述方案之间产生的作为一个例子的历史数据164a的内容。参照图11，历史数据164a包括称为“物体ID”、“属性(之前)”、“属性(之后)”和“时间”的四个数据项。“物体ID”是识别每个记录代表的历史中所涉及的物体的标识符。“属性(之前)”代表在由属性控制单元170更新之前的物体的属性值。“属性(之后)”代表在由属性控制单元170更新之后的物体的属性值。“时间”代表对应事件的检测时间(或者可以是属性的更新时间)。属性控制单元170从外部时间验证服务器获取与这些时间对应的时间验证数据，并且可通过把获得的时间验证数据与如图11中所示的历史关联来存储获取的时间验证数据以增强历史的可靠性。在图11的例子中，在时间T11的注射器Obj12的属性的更新以及在时间T12的注射器Obj12和林格氏溶液袋Obj13的属性的更新被示出为历史数据164a。
(5)显示的例子
图12是用于描述针对这个例子由终端装置200示出的输出图像的一个例子的解释示图。参照图12，输出图像Im19被示出为一个例子。另外，在输出图像Im19中，出现玻璃瓶Obj11和林格氏溶液袋Obj13。另外，指示玻璃瓶Obj11的消息MSG11和指示林格氏溶液袋Obj13的消息MSG12与输出图像Im19交叠。消息MSG11表示玻璃瓶Obj11包含物质SB11。消息MSG12表示林格氏溶液袋Obj13包含物质SB11和SB12。终端装置200的用户能够例如通过阅读这种消息MSG12来容易地识别合适的液体药物是否已被注射到林格氏溶液袋Obj13中。
(6)处理的流程
(6-1)属性控制处理
图13是表示在这个例子中由图像处理装置100执行的属性控制处理的流程的一个例子的流程图。对于由图像获取单元120顺序地获取的输入图像重复图13中示出的属性控制处理。
首先，图像获取单元120获取由成像单元102产生的拍摄图像作为输入图像(步骤S100)。另外，图像获取单元120把获取的输入图像输出到物体识别单元130。
然后，物体识别单元130利用由物体DB 140存储的每个物体的已知特征量识别输入图像中的物体(步骤S104)。
然后，事件检测单元150针对由物体识别单元130识别的物体确定是否满足上述事件检测条件(步骤S108)。此时，当不满足事件检测条件时，跳过下面的处理(步骤S112)。如果满足事件检测条件，则事件检测单元150向属性控制单元170通知检测到的事件。
如果由事件检测单元150检测到事件，则属性控制单元170使用属性控制数据144a确定检测到的事件中所涉及的物体的属性的控制内容(步骤S116)。另外，如果确定把属性值从第一物体移动到第二物体(步骤S120)，则属性控制单元170把与第一物体关联的属性值与第二物体关联(步骤S124)。另外，如果确定去除第一物体的属性值(步骤S128)，则属性控制单元170去除与第一物体关联的属性值(步骤S132)。
另外，属性控制单元170把包括更新之前和之后的属性值的历史数据164a的新记录存储在属性DB 160中(步骤S148)。
(6-2)显示控制处理
图14是表示在这个例子中由终端装置200执行的显示控制处理的流程的一个例子的流程图。可对于由终端装置200的图像获取单元220顺序地获取的输入图像重复图14中示出的显示控制处理，或者可对于作为快照获取的一个输入图像执行一次图14中示出的显示控制处理。
首先，图像获取单元220获取由成像单元202产生的拍摄图像作为输入图像(步骤S150)。另外，图像获取单元220把获取的输入图像输出到数据获取单元230和显示控制单元240。
然后，数据获取单元230把请求与获取的输入图像中识别的物体关联的属性数据的数据请求发送给图像处理装置100(步骤S154)。数据获取单元230从图像处理装置100接收与数据请求对应的响应(步骤S158)。此时，如果已接收到作为数据请求的响应的上述属性数据，则该处理前进至S170。另一方面，如果未接收到属性数据，则由显示控制单元240显示输入图像(步骤S166)。
在S170中，显示控制单元240通过把由数据获取单元230获取的属性数据与输入图像交叠来产生输出图像(步骤S170)。另外，显示控制单元240在显示单元210上显示输出图像(步骤S164)。
到目前为止，已参照图8至14描述第一例子。根据这个例子，在液体药物被从一个医疗工具输送到另一医疗工具的状态下，可通过物体的属性识别医疗工具中所包含的液体药物的结构。
通常，一旦液体药物被输送到医疗工具，除操作人员之外的人难以知道在医疗工具中包含什么，除非例如书写备忘录。然而，根据这个例子，除操作人员之外的人也能够通过阅读物体的属性或属性数据的更新历史来容易地识别出在医疗工具中包含什么。
另外，不需要医疗实践中的操作人员在更新物体的属性时输入数据。因此，防止由于操作人员的过大压力而导致错误地书写历史或错误的数据。
<5.第二例子>
在第二例子中，准备药物时的药物的组合示出为历史管理的目标。因此，图像处理装置100检测与当诸如医生、护士或药剂师的人员处理药物时使用的药物准备工具之间的物理行为对应的事件。另外，与第一例子中相同的项的描述被从这个例子省略以使描述清楚。
(1)物体的例子
图15是用于描述第二例子中的物体数据的一个例子的解释示图。参照图15，物体数据142b被示出为由物体DB 140存储的一个例子。物体数据142b包括称为“物体ID”、“名称”、“产品编号”、“类型”和“特征量”的五个数据项，与第一例子中的物体数据142a所表示的数据项一样。
在图15的例子中，作为名称，“药瓶”被给予物体Obj21，“匙”被给予物体Obj22，“药包”被给予物体Obj23，“天平”被给予物体Obj24，并且“包装袋”被给予物体Obj25。
对于这个例子，下面的五个类型中的一些被分派给每个物体。
“源”...代表物质的输送源的物体的类型
“输送器1”...代表能够输送物质的物体的类型
“输送器2”...代表能够输送物质的物体的类型
“天平”...代表能够测量物质的物体的类型
“目的地”...代表物质的输送目的地的物体的类型
在图15的例子中，物体Obj21的类型是“源”，物体Obj22的类型是“输送器1”，物体Obj23的类型是“输送器2”，物体Obj24的类型是“天平”，并且物体Obj25的类型是“目的地”。
(2)事件
对于这个例子，事件检测单元150检测与由物体识别单元130识别的药物准备工具之间的物理行为对应的事件。例如，作为图15中示出的物体参与的事件，给出下面的事件。
事件Ev21)利用匙从药瓶取出药物
事件Ev22)药物从匙移动到药包
事件Ev23)把药物从匙放到包装袋中
事件Ev24)把药物从药包放到包装袋中
事件Ev25)在天平上测量药包中所包含的药物
可在针对例如两个物体满足给定事件检测条件的条件下检测这些事件。例如，给定事件检测条件可以是下面的条件中的一些：
条件C21)两个物体之间的距离低于阈值。
条件C22)一个物体被放置在另一物体上。
条件C23)连续满足条件C21或条件C22的时间超过阈值。
条件C24)识别出人使用两个物体的给定手势。
条件C21中的距离可以是输入图像中的2D距离或者基于已知的3D结构识别技术识别的实际空间中的3D距离。可共同地定义条件C21和C23的阈值而不取决于物体，或者针对每个物体单独地定义条件C21和C23的阈值。
(3)属性的控制
在这个例子中，如果为检测到的事件中所涉及的物体定义的类型满足给定属性控制条件，则属性控制单元170改变这些物体的属性。在属性控制表中定义属性控制条件。
图16是用于描述第二例子中的属性控制表的一个例子的解释示图。参照图16，属性控制表144b被表示为存储在物体DB 140中的一个例子。以在列和行中都具有物体的五个类型的矩阵形式定义属性控制表144b。每个列对应于事件中所涉及的第一物体的类型。每个行对应于事件中所涉及的第二物体的类型。
例如，如果第一物体的类型是“源”并且第二物体的类型是“输送器1”或“输送器2”，则与第一物体关联的属性被添加到第二物体(或重新与第二物体关联)。第一物体的属性不被更新。
另外，如果第一物体的类型是“输送器1”并且第二物体的类型是“输送器2”或“目的地”，则与第一物体关联的属性被添加到第二物体。第一物体的属性被去除。
另外，如果第一物体的类型是“输送器2”并且第二物体的类型是“目的地”，则与第一物体关联的属性被添加到第二物体。第一物体的属性被去除。
另外，如果第一物体的类型是“输送器2”并且第二物体的类型是“天平”，则物质的量被添加到与第二物体关联的属性。换句话说，属性控制单元170从输入图像读取例如具有类型“天平”的天平的测量结果(通过把已知的OCR(光学字符识别)技术应用于显示面板)，并且把读取的量的值添加到第二物体的属性。
同样地，如果第一物体的类型是“天平”并且第二物体的类型是“目的地”，则物质的量被添加到与第一物体关联的属性。
对于其它类型的组合，第一物体和第二物体的属性不被更新。
另外，对于诸如测量匙的工具，可设置称为“输送器2”和“目的地”的两个类型。另外，对于用于测量固定量的工具，可分派为固定量预定义的值替代动态读取值。
(4)数据转变
图17A和17B是用于描述这个例子中的根据示例性方案的属性数据的状态转变的一个例子的解释示图。在这些附图的左侧，顺序地示出按照时间顺序获取的六个输入图像Im21至Im26，并且在其右侧，示出在每个时间点的属性数据162b的部分内容。
参照图17A，在输入图像Im21中，出现药瓶Obj21和匙Obj22。对于属性数据162b，代表物质SB21的属性值与药瓶Obj21关联。这表示物质SB21被包含在药瓶Obj21中。另一方面，没有属性值与匙Obj22关联。这表示没有东西被包含在匙Obj22中。
然后，在输入图像Im22中，匙Obj22出现在药瓶Obj21上方。事件检测单元150根据例如上述事件检测条件C22或C23检测到与药瓶Obj21和匙Obj22之间的药物的提取对应的事件。根据物体数据142b，药瓶Obj21的类型是“源”，并且匙Obj22的类型是“输送器1”。属性控制单元170通过参照属性控制表144b来确定与“源”和“输送器1”的组合对应的属性的控制内容，并且重新把与药瓶Obj21关联的属性值“SB21”与匙Obj22关联。结果，属性数据162b表示物质SB21被包含在匙Obj22中。
然后，在输入图像Im23中，出现匙Obj22、药包Obj23和天平Obj24。对于属性数据162b，代表物质SB21的属性值与匙Obj22关联。另一方面，没有属性值与药包Obj23关联。
然后，参照图17B，在输入图像Im24中，匙Obj22出现在药包Obj23上方。事件检测单元150根据例如上述事件检测条件C22或C23检测到与匙Obj22和药包Obj23之间的药物的移动对应的事件。根据物体数据142b，匙Obj22的类型是“输送器1”，并且药包Obj23的类型是“输送器2”。属性控制单元170通过参照属性控制表144b来确定与“输送器1”和“输送器2”的组合对应的属性的控制内容，并且重新把与匙Obj22关联的属性值“SB21”与药包Obj23关联。结果，属性数据162b表示物质SB21被包含在药包Obj23中。
然后，在输入图像Im25中，出现天平Obj24测量药包Obj23中所包含的物质的量的数字。根据物体数据142b，药包Obj23的类型是“输送器2”，并且天平Obj24的类型是“天平”。属性控制单元170从输入图像Im25读取由天平Obj24显示的量的值，并且把读取的值添加到药包Obj23的属性。在图17B的例子中，属性数据162b表示3.0g的物质SB21被包含在药包Obj23中。
然后，在输入图像Im26中，药包Obj23出现在包装袋Obj25上方。事件检测单元150检测到与把药物从药包Obj23放入到包装袋Obj25中对应的事件。根据物体数据142b，药包Obj23的类型是“输送器2”，并且包装袋Obj25的类型是“目的地”。属性控制单元170通过参照属性控制表144b来确定与“输送器2”和“目的地”的组合对应的属性的控制内容，并且重新把与药包Obj23关联的属性值“SB21_3.0g”与包装袋Obj25关联。结果，属性数据162b表示3.0g的物质SB21被包含在包装袋Obj25中。
(5)显示的例子
图18是用于描述针对这个例子由终端装置200显示的输出图像的一个例子的解释示图。参照图18，输出图像Im29被示出为一个例子。在输出图像Im29中，出现包装袋Obj25。另外，输出图像Im29与指示包装袋Obj25的消息MSG21交叠。消息MSG21表示包装袋Obj25包含3.0g的物质SB21。终端装置200的用户能够例如通过阅读这种消息MSG21来容易地识别多少量的什么类型的药物已被包含在包装袋Obj25中。
(6)处理的流程
图19是表示在这个例子中由图像处理装置100执行的属性控制处理的流程的一个例子的流程图。对于由图像获取单元120顺序地获取的输入图像重复图19中示出的属性控制处理。
首先，图像获取单元120获取由成像单元102产生的拍摄图像作为输入图像(步骤S200)。另外，图像获取单元120把获取的输入图像输出到物体识别单元130。
然后，物体识别单元130利用由物体DB 140存储的每个物体的已知特征量识别输入图像中的物体(步骤S204)。
然后，事件检测单元150针对由物体识别单元130识别的物体确定是否满足上述事件检测条件(步骤S208)。此时，如果不满足事件检测条件，则跳过下面的处理(步骤S112)。如果满足事件检测条件，则事件检测单元150向属性控制单元170通知检测到的事件。
如果由事件检测单元150检测到事件，则属性控制单元170使用属性控制数据144b确定检测到的事件中所涉及的物体的属性的控制内容(步骤S216)。另外，如果确定把属性值从第一物体移动到第二物体(步骤S220)，则属性控制单元170把与第一物体关联的属性值与第二物体关联(步骤S224)。另外，如果确定去除第一物体的属性值(步骤S228)，则属性控制单元170去除与第一物体关联的属性值(步骤S232)。
另外，如果已确定增加任何物体的量(步骤S236)，则属性控制单元170获取将要添加的物质的量的值(步骤S240)，并且把获取的值添加到除物体“天平”之外的任何物体的属性(步骤S244)。
另外，属性控制单元170把包括更新之前和之后的属性值的历史数据164的新记录存储在属性DB 160中(步骤S248)。另外，如果没有任何物体的属性被更新，则跳过S248的处理。
到目前为止，已参照图15至19描述第二例子。根据这个例子，在使用药物准备工具组合药物的状态下，可通过物体的属性识别药物准备工具中所包含的药物的成分。另外，可把物体中所包含的物质的量添加到物体的属性。另外，除操作人员之外的人也能够通过阅读物体的属性或属性数据的更新历史来容易地识别药物的成分和量。当物体的属性被更新时，不需要药物的配制人员输入数据。
<6.第三例子>
在第三例子中，病人对药物的摄取被示出为历史管理的目标。因此，图像处理装置100检测与病人和药物之间的物理行为(摄取药物的动作)对应的事件。另外，与任何前面例子相同的项的描述被从这个例子省略以使描述清楚。
(1)物体的例子
图20是用于描述第三例子中的物体数据的一个例子的解释示图。参照图20，物体数据142c被示出为由物体DB 140存储的一个例子。物体数据142c包括关于人物体的人数据和关于处方药物物体的处方药物数据。
人数据包括称为“物体ID”、“名称”和“特征量”的三个数据项。“物体ID”是用于立即识别每个人物体的标识符。“名称”代表每个人的姓名。从每个人的已知脸部图像提取“特征量”。
处方药物数据包括称为“物体ID”、“名称”、“病人ID”、“剂量”和“特征量”的五个数据项。“物体ID”是用于立即识别每个处方药物物体的标识符。“名称”代表每个处方药物的名称。“病人ID”代表摄取每个处方药物的人的物体ID。在图20中，摄取物体Obj35(也就是说，“X1药片”)的人是物体Obj31(也就是说，“XX先生/小姐”)。“剂量”代表病人应该摄取多少处方药物的信息。从每个处方药物的已知图像提取“特征量”。
(2)事件
对于这个例子，事件检测单元150检测与由物体识别单元130识别的人摄取处方药物的动作对应的事件。事件检测单元150可例如使用已知的手势识别技术检测人摄取药物的手势。这个例子中的事件检测条件如下。
条件C31)识别出人物体摄取处方药物物体的手势。
(3)属性的控制
如果由事件检测单元150检测到与摄取药物的动作对应的事件，则属性控制单元170更新摄取药物的动作中所涉及的人物体和处方药物物体的属性。例如，属性控制单元170可重新把代表剂量和处方药物物体中所包含的物质的种类的属性与人物体关联。另外，属性控制单元170可从处方药物物体的属性去除与剂量对应的量。另外，当物体的属性被更新时，属性控制单元170把代表更新的历史的记录存储在历史数据164c中。
图21表示在这个例子中由属性控制单元170产生的作为一个例子的历史数据164c的内容。参照图21，历史数据164c包括称为“物体ID”、“属性”和“时间”的三个数据项。“物体ID”是识别代表摄取处方药物的人的人物体的标识符。“属性”代表通过属性控制单元170进行的重新与人物体关联的属性值。“时间”代表对应事件的检测时间(或者可以是属性的更新时间)。属性控制单元170从外部时间验证服务器获取与这些时间对应的时间验证数据以增强历史的可靠性，并且可通过把获得的时间验证数据与如图21中所示的历史关联来存储获取的时间验证数据。在图21的例子中，在时间T31、T32和T33，历史数据164c显示病人Obj31已每次摄取两片物质31。
另外，响应于检测到与摄取药物的动作对应的事件，属性控制单元170可把通知消息发送给对应医生、护士或病人的家人拥有的终端装置。另外，如果检测到病人摄取病人不应该摄取的药物，则属性控制单元170可发送警报消息或者发出警报。
(4)数据转变
图22是用于描述这个例子中的根据示例性方案的属性数据的状态转变的一个例子的解释示图。在附图的左侧，顺序地示出按照时间顺序获取的三个输入图像Im31至Im33，并且在其右侧，示出在每个时间点的属性数据162c的部分内容。
参照图22，在输入图像Im31中，出现病人Obj31和处方药物Obj35。对于属性数据162c，没有属性值与病人Obj31关联。另一方面，代表物质SB31的30个药片的种类和数量的属性值与处方药物Obj35关联。这表示物质SB31的30个药片被包含在处方药物Obj35中。
接下来，在输入图像Im32中，出现病人Obj31摄取处方药物Obj35的图形。通过识别摄取药物的这种动作的手势，事件检测单元150检测到与摄取药物的动作对应的事件。然后，属性控制单元170重新把与处方药物Obj35关联的属性值“SB31”与病人Obj31关联。另外，属性控制单元170把与剂量对应的数量添加到病人Obj31的属性。另外，属性控制单元170从处方药物Obj35的属性去除与剂量对应的数量。结果，属性数据162c表示：病人Obj31摄取了物质31的2个药片，并且物质31的28个药片被包含在处方药物Obj35中。
接下来，病人Obj31出现在输入图像Im33中。属性数据162c表示病人Obj31连续地摄取物质31的2个药片。另外，当已检测到事件时，在从检测到的与摄取动作对应的事件的时间开始已过去处方药物的效果的维持时间之后，属性控制单元170可去除与病人物体关联的属性。
(5)显示的例子
图23是用于描述针对这个例子由终端装置200示出的输出图像的一个例子的解释示图。参照图23，输出图像Im39被示出为一个例子。在输出图像Im39中，出现病人Obj31。另外，输出图像Im39与指示病人Obj31的消息MSG31交叠。消息MSG31表示病人Obj31在2011年11月1目的14：00摄取了“X1”的两个药片。终端装置200的用户能够例如通过阅读这种消息MSG31来容易地识别病人是否在合适的时间摄取了合适的处方药物。
另外，图像处理装置100的用户接口单元190或终端装置200的用户接口单元250使病人的物体ID或名称指定用户(例如，医生、护士或家人)，并且可提供UI屏幕以把与指定的病人关联的摄取药物的动作的历史呈现给用户。
(6)处理的流程
图24是表示在这个例子中由图像处理装置100执行的属性控制处理的流程的一个例子的流程图。对于由图像获取单元120顺序地获取的输入图像重复图24中示出的属性控制处理。
首先，图像获取单元120获取由成像单元102产生的拍摄图像作为输入图像(步骤S300)。另外，图像获取单元120把获取的输入图像输出到物体识别单元130。
然后，物体识别单元130利用由物体DB 140存储的人物体和处方药物物体的已知特征量识别输入图像中的这些物体(步骤S304)。
然后，事件检测单元150对由物体识别单元130识别的物体使用手势识别技术以确定是否满足事件检测条件(步骤S308)。此时，如果不满足事件检测条件，则跳过下面的处理(步骤S312)。如果满足事件检测条件，则事件检测单元150向属性控制单元170通知检测到的事件。
如果由事件检测单元150检测到事件，则属性控制单元170把与第一物体(也就是说，处方药物物体)关联的属性值和剂量与第二物体或人物体关联(步骤S324)。另外，属性控制单元170从与第一物体关联的属性的量去除该剂量(步骤S332)。属性控制单元170把历史数据164c的新记录存储在属性DB 160中(步骤S348)。
以上已参照图20至24描述第三例子。根据这个例子，在病人摄取处方药物的情况下，第三方可通过物体的属性或属性数据的更新历史识别病人已在什么时间摄取什么类型的药物。当物体的属性被更新时，不需要病人或第三方输入数据。
<7.第四例子>
在第四例子中，食品加工动作中的食品材料和调味品的混合被示出为历史管理的目标。因此，图像处理装置100检测与当餐厅的厨师、职员或食品加工厂的职员等使用食品材料和调味品时的物理行为对应的事件。另外，与任何前面例子中相同的项的描述被从这个例子省略以使描述清楚。
(1)物体的例子
图25是用于描述第四例子中的物体数据的一个例子的解释示图。参照图25，物体数据142d被示出为由物体DB 140存储的一个例子。像第一例子中的物体数据142a一样，物体数据142d包括称为“物体ID”、“名称”、“产品编号”、“类型”和“特征量”的五个数据项。
对于这个例子，下面的四个类型的候选项中的一些被分派给每个物体。
“源”代表食品材料或调味品的输送源的物体的类型。这能够对应于食品材料或调味品的容器或者食品材料自身
“输送器1”代表能够输送食品材料或调味品的物体的类型
“容器”代表能够包含待烹饪的食品的物体的类型
“FOOD_ITEM”代表待烹饪的食品的物体的类型
在图25的例子中，物体Obj41(肉末)和物体Obj42(黑胡椒瓶)的类型是“源”。物体Obj43(长柄勺)的类型是“输送器”。物体Obj44(碗)、物体Obj45(煎锅)和物体Obj46(托盘)的类型是“容器”。物体Obj50(食品)的类型是“FOOD_ITEM”。
另外，在初始状态下未给出用于识别物体“FOOD_ITEM”的特征量(例如，物体数据142d中的特征量FD 50)以识别物体“FOOD_ITEM”。能够响应于事件的检测从输入图像提取物体“FOOD_ITEM”的特征量，将在稍后对此进行描述。
(2)事件
对于这个例子，事件检测单元150检测与由物体识别单元130识别的物体之间的物理行为对应的事件。例如，作为图25中示出的物体参与的事件，给出下面的事件。
事件Ev41)把肉末放入到碗中
事件Ev42)把黑胡椒从黑胡椒瓶放入到碗中
事件Ev43)食品从碗移动到煎锅
事件Ev44)食品从煎锅移动到托盘
可在针对例如两个物体满足给定事件检测条件的条件下检测这些事件。例如，给定事件检测条件可以是下面的条件中的一些：
条件C41)一个物体被放置在另一物体上。
条件C42)连续满足条件C41的时间超过阈值。
条件C43)识别出人使用两个物体的给定手势。
可共同地定义条件C42的阈值而不取决于物体，或者针对每个物体单独地定义条件C42的阈值。
(3)属性的控制
在这个例子中，如果为检测到的事件中所涉及的物体定义的类型满足给定属性控制条件，则属性控制单元170更新这些物体的属性。在属性控制表中定义属性控制条件。
图26是用于描述第四例子中的属性控制表的一个例子的解释示图。参照图26，属性控制表144d被表示为存储在物体DB 140中的一个例子。以在列和行中都具有物体的四个类型的矩阵形式定义属性控制表144d。每个列对应于事件中所涉及的第一物体的类型。每个行对应于事件中所涉及的第二物体的类型。
例如，如果第一物体的类型是“源”并且第二物体的类型是“输送器”，则与第一物体关联的属性被添加到第二物体(或重新与第二物体关联)。第一物体的属性不被更新。
如果第一物体的类型是“源”并且第二物体的类型是“容器”，则确定是否存在被包含在第二物体中的第三物体，并且如果不存在第三物体，则产生第三物体。此时产生的第三物体是物体“FOOD_ITEM”。另外，与第一物体关联的属性被添加到第三物体。另外，从输入图像提取第三物体的新特征量。第一物体的属性不被更新。
另外，如果第一物体的类型是“源”并且第二物体的类型是“FOOD_ITEM”，则与第一物体关联的属性被添加到第二物体。另外，从输入图像提取第三物体的新特征量。第一物体的属性不被更新。
另外，如果第一物体的类型是“输送器”并且第二物体的类型是“容器”，则确定是否存在被包含在第二物体中的第三物体，并且如果不存在第三物体，则产生第三物体。此时产生的第三物体是物体“FOOD_ITEM”。另外，与第一物体关联的属性被添加到第三物体。另外，从输入图像提取第三物体的新特征量。第一物体的属性不被更新。
另外，如果第一物体的类型是“输送器”并且第二物体的类型是“FOOD_ITEM”，则与第一物体关联的属性被添加到第二物体。另外，从输入图像提取第二物体的新特征量。第一物体的属性不被更新。
另外，如果第一物体的类型是“容器”并且第二物体的类型也是“容器”，则与第一物体关联的属性被添加到第二物体。另外，从输入图像提取第二物体的新特征量。第一物体的属性不被更新。
另外，如果第一物体的类型是“容器”并且第二物体的类型是“FOOD_ITEM”，则与第一物体关联的属性被添加到第二物体。另外，从输入图像提取第二物体的新特征量。第一物体的属性不被更新。
对于其它类型的组合，第一物体和第二物体的属性不被更新。
另外，可从通过从包含物体“FOOD_ITEM”的物体“容器”的图像区域排除已知的物体“容器”的部分而确定的差别区域提取物体“FOOD_ITEM”的特征量。当已检测到物体“FOOD_ITEM”参与的事件并且未发生在物体的外观方面的大的变化时，属性控制单元170可既不提取该物体的特征量，也不更新该物体的特征量。另外，也在这个例子中，还可使用代表能够测量物质的物体的类型“天平”，如第二例子中所述。
(4)数据转变
图27A和27B是用于描述这个例子中的根据示例性方案的属性数据的状态转变的一个例子的解释示图。在这些附图的左侧，顺序地示出按照时间顺序获取的五个输入图像Im41至Im45，并且在其右侧，示出在每个时间点的属性数据162d的部分内容。
参照图27A，在输入图像Im41中，出现肉末Obj41和碗Obj44。对于属性数据162d，代表物质SB41和物质SB43的属性值与肉末Obj41关联。这表示肉末Obj41具有物质SB41和物质SB43作为其组成成分。另一方面，没有属性值与碗Obj44关联。这表示没有东西被包含在碗Obj44中。
然后，对于输入图像Im42，肉末Obj41出现在碗Obj44上方。事件检测单元150根据例如上述事件检测条件C41至C43中的任何事件检测条件检测到与把肉末Obj41放入到碗Obj44中对应的事件。根据物体数据142d，肉末Obj41的类型是“源”，并且碗Obj44的类型是“容器”。属性控制单元170根据由属性控制表144d示出的控制内容新产生食品Obj50(物体“FOOD_ITEM”)，并且把与肉末Obj41关联的属性值“SB41”和“SB43”与食品Obj50关联。代表食品Obj50的属性值与碗Obj44关联。另外，属性控制单元170从输入图像Im42提取食品Obj50的特征量FD 50，并且把提取的特征量FD 50存储在物体DB 140中。
然后，在输入图像Im43中，出现黑胡椒瓶Obj42、碗Obj44和食品Obj50。事件检测单元150根据例如上述事件检测条件C41至C43中的任何事件检测条件检测到与把黑胡椒放入到碗Obj44中的食品Obj50中对应的事件。此时，食品Obj50的类型是“FOOD_ITEM”，并且黑胡椒瓶Obj42的类型是“源”。属性控制单元170根据由属性控制表144d示出的控制内容重新把与黑胡椒瓶Obj42关联的属性值“SB42”与食品Obj50关联。对于属性数据162d，代表物质SB12(黑胡椒)的属性值与黑胡椒瓶Obj42关联。代表食品Obj50的属性值与碗Obj44关联。代表物质SB41、SB42和SB43的属性值与食品Obj50关联。
接下来，参照图27B，在输入图像Im44中，出现食品Obj50被包含在煎锅Obj45中的图形。属性数据162d表示食品Obj50被包含在煎锅Obj45中，并且食品Obj50具有物质SB41、SB42和SB43作为组成成分。
另外，在煎锅Obj45中完成烹饪之后，在输入图像Im45中，托盘Obj46出现在煎锅Obj45附近。事件检测单元150检测到与食品Obj50从煎锅Obj45移动到托盘Obj46对应的事件。此时，煎锅Obj45和托盘Obj46的类型都是“容器”。属性控制单元170根据由属性控制表144d示出的控制内容重新把与煎锅Obj45关联的属性值“Obj50”与托盘Obj46关联。结果，属性数据162d表示食品Obj50被包含在托盘Obj46中。另外，属性控制单元170从输入图像Im42提取食品Obj50的特征量FD 50，并且把提取的特征量FD 50存储在物体DB 140中。此时，存储的特征量FD 50表示使用煎锅Obj45烹饪的食品Obj50的外观的特性。
(5)显示的例子
图28是用于描述针对这个例子由终端装置200示出的输出图像的一个例子的解释示图。参照图28，输出图像Im49被示出为一个例子。在输出图像Im49中，出现托盘Obj46和食品Obj50。另外，输出图像Im49与指示食品Obj50的消息MSG41交叠。消息MSG41表示食品Obj50包含牛肉、猪肉和黑胡椒，牛肉、猪肉和黑胡椒能够分别对应于物质SB41、SB43和SB42。终端装置200的用户能够例如通过阅读这种消息MSG41来容易地识别出什么成分被包括在食品Obj50中。
(6)处理的流程
图29是表示在这个例子中由图像处理装置100执行的属性控制处理的流程的一个例子的流程图。对于由图像获取单元120顺序地获取的输入图像重复图29中示出的属性控制处理。
首先，图像获取单元120获取由成像单元102产生的拍摄图像作为输入图像(步骤S400)。另外，图像获取单元120把获取的输入图像输出到物体识别单元130。
然后，物体识别单元130利用由物体DB 140存储的每个物体的已知特征量识别输入图像中的物体(步骤S404)。
然后，事件检测单元150针对由物体识别单元130识别的物体确定是否满足上述事件检测条件(步骤S408)。此时，如果不满足事件检测条件，则跳过下面的处理(步骤S412)。如果满足事件检测条件，则事件检测单元150向属性控制单元170通知检测到的事件。
如果由事件检测单元150检测到事件，则属性控制单元170使用属性控制数据144d确定检测到的事件中所涉及的物体的属性的控制内容(步骤S416)。另外，如果确定把属性值从第一物体移动到第二物体(步骤S420)，则属性控制单元170把与第一物体关联的属性值与第二物体关联(步骤S424)。另外，如果确定去除第一物体的属性值(步骤S428)，则属性控制单元170去除与第一物体关联的属性值(步骤S432)。
另外，如果确定产生新物体“FOOD_ITEM”(步骤S436)，则属性控制单元170产生物体“FOOD_ITEM”(步骤S438)。此时，与第一物体关联的属性值与产生的物体“FOOD_ITEM”关联。
另外，如果确定更新物体“FOOD_ITEM”的特征量(步骤S440)，则属性控制单元170从上述提取目标区域提取图像特征量，并且利用提取的图像特征量更新物体“FOOD_ITEM”的特征量(步骤S444)。
另外，属性控制单元170把历史数据164的新记录存储在属性DB 160中(步骤S448)。另外，如果不能更新任何物体的属性，则跳过S448。
已参照图25至29描述第四例子。根据这个例子，在使用烹饪工具烹饪食品的情况下，可通过物体的属性识别食品的成分。消费者能够购买或食用食品而无需担心，因为他们能够通过在食品上方握住具有照相机的终端装置来容易地识别加工的食品的成分。
<8.变型>
在以上实施例中，已主要描述这样的例子：图像处理装置100和终端装置200被制造为在物理上分开的装置。然而，图像处理装置100和终端装置200可被制造为集成的装置，如图30中示出的图像处理装置300中所示。
图30是表示根据一个变型的图像处理装置300的逻辑功能结构的一个例子的框图。参照图30，图像处理装置300包括图像获取单元120、物体识别单元130、物体DB140、事件检测单元150、属性DB 160、属性控制单元170、显示控制单元240以及用户接口单元190和250。图像处理装置300的每个处理块的功能原则上与上述具有相同标号的处理块的功能相同。图像处理装置300的显示控制单元240从属性DB 160获取与输入图像中的物体关联的属性数据，并且在输入图像上交叠获取的属性数据。
<9.总结>
到目前为止，已基于一个实施例及其四个例子描述根据本公开的实施例的技术。根据本公开的例子的技术，从输入图像识别存在于实际空间中的物体，并且响应于检测到与识别的物体之间的物理行为对应的事件，将与第一物体关联的属性数据与第二物体关联。因此，可按照称为物体的属性的格式管理导致这些物体之间的物理行为的各种动作的历史。这里，属性数据的更新不会为操作人员带来压力，因为使用图像识别技术自动执行这种更新。
根据实施例，物体可以是能够包含物质的物体，并且属性数据能够表示与属性数据关联的物体中所包含的物质的种类。根据这种结构，可在以后识别对不能从外部观看包含的物质的物体执行的动作的细节。
另外，根据实施例，如果物体之间的位置关系满足给定条件，则可检测到与这些物体之间的物理行为对应的事件。替代于关于物体之间的位置关系的条件，可采用与物体所对应的人的手势的识别相关的条件。根据这种结构，可实现上述历史管理的构成而不需要除输入图像之外的任何信息。换句话说，因为除了预先准备的数据库之外不需要特定于应用的目的的输入信息，所以各种人(诸如，医生、护士、药剂师、病人的家人、厨师或工厂工人)可容易地积累历史或者观看积累的历史。
另外，根据实施例，根据与检测到的事件中所涉及的物体相关的定义的类型确定属性的控制内容。根据这种结构，可通过类型的组合区分动作的各种模式并且针对每个模式实现不同属性的控制。因此，可灵活地把上述历史管理的构成应用于作为历史管理的目标的动作的各种变型。
在历史的准确性更重要的情况下，可提供用于从用户接收关于属性的更新的批准的用户接口。在这种情况下，可通过施加于操作人员的压力的稍微增加来确保将要管理的历史的准确性。另外，可通过把时间验证数据添加到将要被存储的历史数据来核查动作的时间并且增加历史的可靠性和可追溯性。
另外，由本公开描述的每个装置执行的一系列控制处理可使用软件、硬件以及软件和硬件的组合中的任何一种来实现。例如，构成软件的程序被预先存储在安装在每个装置的里面和外面的存储介质中。另外，每个程序被加载到RAM(随机存取存储器)上以便执行，并且由处理器(诸如，CPU)执行。
另外，每个装置的一些逻辑功能可被安装在存在于云计算环境中的装置上，以替代于安装在该装置上。在这种情况下，能够通过图2中示出的通信单元112或图5中示出的通信单元212在装置之间发送或接收在逻辑功能之间传送的信息。
虽然已参照附图描述本公开的优选实施例，但本公开的技术范围不限于此。本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。
另外，本技术也可构造如下。
一种信息处理装置可包括：属性控制单元，响应于检测到的物体和另一检测到的物体之间的检测到的物理行为改变所述检测到的物体和与所述检测到的物体关联地存储的属性之间的关联。
根据一个方面，该装置可还包括：物体识别单元，被构造为经图像分析确定所述检测到的物理动作。
根据另一方面，该装置可还包括：控制单元，把以前与所述检测到的物体关联的属性的关联改变为随后与所述另一检测到的物体关联。
根据另一方面，该装置可还包括：事件检测单元，检测所述检测到的物理行为作为发生在所述检测到的物体和另一检测到的物体之间的第一事件，并且还检测第一物理物体和第三物理物体之间的第二事件。
根据另一方面，第一事件包括：把属性的关联从与所述检测到的物体关联地存储改变为与第三物理物体关联地存储。
根据另一方面，属性是药物，并且药物与第一储存单元的关联被改变为与第二储存单元关联。
根据另一方面，事件检测单元检测
第一物理物体和第三物理物体之间的第三事件并且把属性的关联改变为与第三物理物体关联地存储，
检测第三物理物体和第四物理物体之间的第四事件并且还把属性的关联改变为与第四物理物体关联地存储，以及
检测分析属性的物理特征的第五事件。
根据另一方面，属性是药物，并且第五事件是药物的称重。
根据另一方面，该装置可还包括：事件检测单元，检测所述检测到的物理行为作为发生在所述检测到的物体和所述另一检测到的物体之间的第一事件，所述第一检测到的物体是人，并且第二检测到的物体是包含药物的物体，并且所述检测到的物理行为是人摄取药物。
根据另一方面，该装置可还包括：事件检测单元，所述事件检测单元
检测所述检测到的物理行为作为发生在所述检测到的物体和所述另一检测到的物体之间的第一事件，
检测所述检测到的物体和第三物体之间的第二事件并且把另一属性与所述检测到的物体关联，
检测把所述检测到的物体移动到第四物体的第三事件。
根据另一方面，该装置可还包括：用户接口，包括显示所述检测到的物体的显示器。
根据另一方面，该装置可还包括：
数据获取单元，获取属性数据；和
事件检测单元，使用属性数据确定所述检测到的物理行为的特性。
根据另一方面，该装置可还包括：显示控制单元，把与所述检测到的物体相邻的属性数据覆盖在用户接口上。
根据另一方面，所述用户接口包括智能电话、平板计算机和头戴式显示器中的至少一个的显示器。
根据另一方面，所述事件检测单元被构造为检测第一事件作为下面事件中的至少一个：
两个物体之间的距离低于预定阈值；
两个物体位于所述预定阈值内的持续时间；和
预定手势。
根据另一方面，所述检测到的物体是源、输送器和目的地之一，并且所述另一检测到的物体是源、输送器和目的地之一，
当源是所述检测到的物体并且输送器是所述另一检测到的物体时，或者当输送器是所述检测到的物体并且目的地是所述另一检测到的物体时，发生所述关联的改变。
根据另一方面，属性的关联从与所述检测到的物体关联地存储移动到与所述另一检测到的物体关联地存储。
根据另一方面，所述检测到的物体可还包括第二输送器和天平之一，并且所述另一检测到的物体可包括第二输送器和天平。
标号列表
100，300 图像处理装置
120 图像获取单元
130 物体识别单元
140 物体DB
142 物体数据
144 属性控制表
150 事件检测单元
160 属性DB
162 属性数据
164 历史数据
170 属性控制单元
180 数据分配单元
190 用户接口单元
200 终端装置
220 图像获取单元
230 数据获取单元
240 显示控制单元
250 用户接口单元

Claims (18)

1.一种信息处理装置，包括：
识别单元，用于在输入图像中识别存在于实际空间中的物体和用户的手势；
事件检测单元，用于检测与由识别单元使用输入图像识别出的第一物体和第二物体之间的物理行为对应的事件；以及
属性控制单元，用于响应于检测到所述事件而将与所述第一物体关联的属性数据关联于所述第二物体，其中，
所述第一物体是包含物质的物体，不能从外部观看包含在第一物体中的所述物质，
所述物质由与所述第一物体的物体数据关联的属性数据指示，
所述属性数据表示与所述属性数据关联的第一物体中所包含的物质的种类，
与物理行为对应的事件是与物质通过用户的手势从所述第一物体向第二物体的移动对应的事件，所述手势是对所述第一物体和第二物体中的至少一个执行的。
2.如权利要求1所述的信息处理装置，其中
所述事件检测单元检测所述物理行为作为发生在所述第一物体和第二物体之间的第一事件，并且还检测第二物体和第三物体之间的第二事件。
3.如权利要求2所述的信息处理装置，其中
所述第一事件包括：把属性的关联从与所述第一物体关联地存储改变为与第二物体关联地存储。
4.如权利要求3所述的信息处理装置，其中所述属性是药物，并且药物与第一储存单元的关联被改变为与第二储存单元关联。
5.如权利要求2所述的信息处理装置，其中所述事件检测单元
检测第二物体和第三物体之间的第二事件并且把属性的关联改变为与第三物体关联地存储，
检测第三物体和第四物体之间的第四事件并且还把属性的关联改变为与第四物体关联地存储，以及
检测分析属性的物理特征的第五事件。
6.如权利要求5所述的信息处理装置，其中所述属性是药物，并且第五事件是药物的称重。
7.如权利要求1所述的信息处理装置，其中
所述事件检测单元检测所述物理行为作为发生在所述第一物体和所述第二物体之间的第一事件，所述第一物体是包含药物的物体，并且所述第二物体是人，并且所述物理行为是人摄取药物。
8.如权利要求1所述的信息处理装置，其中，所述事件检测单元
检测所述物理行为作为发生在所述第一物体和所述第二物体之间的第一事件，
检测所述第一物体和第三物体之间的第六事件并且把另一属性与所述第一物体关联，
检测把所述第一物体移动到第四物体的第七事件。
9.如权利要求1所述的信息处理装置，还包括：
用户接口，包括显示所述第一物体的显示器。
10.如权利要求9所述的信息处理装置，还包括：
数据获取单元，获取属性数据，
其中所述事件检测单元使用属性数据确定所述物理行为的特性。
11.如权利要求9所述的信息处理装置，还包括：
显示控制单元，把与所述第一物体相邻的属性数据覆盖在用户接口上。
12.如权利要求11所述的信息处理装置，其中所述用户接口包括智能电话、平板计算机和头戴式显示器中的至少一个的显示器。
13.如权利要求2所述的信息处理装置，其中所述事件检测单元被构造为检测第一事件作为下面事件中的至少一个：
两个物体之间的距离低于预定阈值；
两个物体位于所述预定阈值内的持续时间；和
预定手势。
14.如权利要求1所述的信息处理装置，其中：
所述第一物体是源、输送器和目的地之一，并且所述第二物体是源、输送器和目的地之一，
当源是所述第一物体并且输送器是所述第二物体时，或者当输送器是所述第一物体并且目的地是所述第二物体时，将与所述第一物体关联的属性数据关联于第二物体。
15.如权利要求1所述的信息处理装置，其中所述属性的关联从与所述第一物体关联地存储移动到与所述第二物体关联地存储。
16.如权利要求14所述的信息处理装置，其中所述第一物体还能够包括第二输送器和天平之一，并且所述第二物体能够包括第二输送器和天平。
17.一种信息处理方法，包括：
在输入图像中识别存在于实际空间中的物体和用户的手势；
检测与由识别单元使用输入图像识别出的第一物体和第二物体之间的物理行为对应的事件；以及
响应于检测到所述事件而将与所述第一物体关联的属性数据关联于所述第二物体，其中，
所述第一物体是包含物质的物体，不能从外部观看包含在第一物体中的所述物质，
所述物质由与所述第一物体的物体数据关联的属性数据指示，
所述属性数据表示与所述属性数据关联的第一物体中所包含的物质的种类，
与物理行为对应的事件是与物质通过用户的手势从第一物体向第二物体的移动对应的事件，所述手势是对第一物体和第二物体中的至少一个执行的。
18.一种信息处理装置，包括：
接口，与属性控制单元交换数据，所述属性控制单元响应于检测到与使用输入图像而识别出的第一物体和第二物体之间的物理行为对应的事件，将与所述第一物体关联的属性数据关联于所述第二物体；和
显示控制单元，把与所述检测到的物体相邻的属性数据覆盖在用户接口单元上，
其中，
所述第一物体是包含物质的物体，不能从外部观看包含在第一物体中的所述物质，
所述物质由与所述第一物体的物体数据关联的属性数据指示，
所述属性数据表示与所述属性数据关联的第一物体中所包含的物质的种类，
与物理行为对应的事件是与物质通过用户的手势从第一物体向第二物体的移动对应的事件，所述手势是对第一物体和第二物体中的至少一个执行的。
CN201280056353.2A 2011-11-25 2012-10-25 信息处理装置和信息处理方法 Active CN103946850B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011257561A JP6069826B2 (ja) 2011-11-25 2011-11-25 画像処理装置、プログラム、画像処理方法及び端末装置
JP2011-257561 2011-11-25
PCT/JP2012/006849 WO2013076917A2 (en) 2011-11-25 2012-10-25 An information processing device and an information processing method

Publications (2)

Publication Number Publication Date
CN103946850A CN103946850A (zh) 2014-07-23
CN103946850B true CN103946850B (zh) 2018-10-23

Family

ID=47216381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280056353.2A Active CN103946850B (zh) 2011-11-25 2012-10-25 信息处理装置和信息处理方法

Country Status (11)

Country Link
US (1) US9760265B2 (zh)
EP (1) EP2783316A2 (zh)
JP (1) JP6069826B2 (zh)
CN (1) CN103946850B (zh)
AU (1) AU2012341945A1 (zh)
BR (1) BR112014011908A2 (zh)
CA (1) CA2848997A1 (zh)
IN (1) IN2014CN03729A (zh)
MX (1) MX2014005945A (zh)
RU (1) RU2014119846A (zh)
WO (1) WO2013076917A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130076898A1 (en) * 2011-08-01 2013-03-28 Richard Philippe Apparatus, systems, and methods for tracking medical products using an imaging unit
US20160005329A1 (en) * 2013-02-28 2016-01-07 Sony Corporation Information processing device and storage medium
JP6245914B2 (ja) * 2013-10-01 2017-12-13 共同印刷株式会社 識別コード読取システム及び方法
EP3100186B1 (en) 2014-01-29 2021-05-12 Becton, Dickinson and Company System and method for collection confirmation and sample tracking at the clinical point of use
JP6669658B2 (ja) * 2014-01-29 2020-03-18 ベクトン・ディキンソン・アンド・カンパニーＢｅｃｔｏｎ， Ｄｉｃｋｉｎｓｏｎ Ａｎｄ Ｃｏｍｐａｎｙ 臨床的な使用時に収集確認およびサンプル追跡を行うためのシステムおよび方法
CA3005404C (en) * 2014-01-29 2020-06-23 Becton, Dickinson And Company System and method for assuring patient medication and fluid delivery at the clinical point of use
KR102499626B1 (ko) * 2016-05-31 2023-02-14 한국전자통신연구원 상호작용 이벤트 인식장치
JP6681800B2 (ja) * 2016-07-15 2020-04-15 株式会社日立製作所 制御装置、制御システム、および制御方法
WO2020071057A1 (ja) 2018-10-01 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
KR20200056593A (ko) * 2018-11-15 2020-05-25 주식회사 하이퍼커넥트 이미지 처리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
JP6875024B2 (ja) * 2020-01-22 2021-05-19 株式会社フロンティア・フィールド 支援システム及び支援プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05145844A (ja) * 1991-11-22 1993-06-11 Sharp Corp 画像認識装置
JP2005056213A (ja) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd 情報提供システム、情報提供サーバ、情報提供方法
CN1784169A (zh) * 2003-05-28 2006-06-07 奥林巴斯株式会社 医学图像记录系统
JP2011176599A (ja) * 2010-02-24 2011-09-08 Oki Networks Co Ltd 空間情報可視化システム及び関連情報提供装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076983A1 (en) * 2000-06-06 2003-04-24 Cox Dale W. Personal food analyzer
JP4181313B2 (ja) * 2001-07-13 2008-11-12 日本放送協会 シーン内容情報付加装置及びシーン内容情報付加プログラム
WO2004112685A1 (ja) * 2003-06-19 2004-12-29 Yuyama Mfg. Co., Ltd. 薬剤監査装置
DE10352628A1 (de) 2003-11-11 2005-06-23 Ispat Industries Ltd., Taluka-Pen Verfahren und Einrichtung zum Bestimmen der Schmelzbadhöhe von aufeinanderfolgenden Roheisen-Chargen in einem Elektrolichtbogen-Ofen
JP2005157877A (ja) * 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> オブジェクト管理システム、情報利用装置、オブジェクト管理方法、情報利用方法、オブジェクト管理用プログラム、情報利用プログラム、およびプログラム記録媒体
JP2005173787A (ja) * 2003-12-09 2005-06-30 Fujitsu Ltd 移動物体の検出・認識を行う画像処理装置
US7689465B1 (en) * 2005-03-10 2010-03-30 Amazon Technologies, Inc. System and method for visual verification of order processing
JP2006004421A (ja) * 2005-06-03 2006-01-05 Sony Corp データ処理装置
WO2007069126A2 (en) * 2005-12-15 2007-06-21 Koninklijke Philips Electronics N.V. Modifying a person's eating and activity habits
WO2007081967A2 (en) * 2006-01-10 2007-07-19 Buzz Holdings, Inc. Healthy city living guide and related functionality for managing health
JP4612646B2 (ja) * 2006-03-03 2011-01-12 株式会社湯山製作所 混注監査システム
US20080162188A1 (en) * 2006-06-12 2008-07-03 Sunil Kripalani Method and system for generating graphical medication information
JP4771543B2 (ja) * 2006-11-14 2011-09-14 国立大学法人電気通信大学 物体認識システム、物体認識方法及び物体認識ロボット
US8538775B2 (en) 2007-08-16 2013-09-17 Qualcomm Incorporated Mobile wireless medication management system
JP2009289067A (ja) 2008-05-29 2009-12-10 Sony Corp 医療行為の記録システム、及び端末装置
US20100042430A1 (en) * 2008-08-12 2010-02-18 Irody Inc System and method for collecting and authenticating medication consumption
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
US8439683B2 (en) * 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition
WO2010113401A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 薬剤混合装置および薬剤混合方法
US8605165B2 (en) * 2010-10-06 2013-12-10 Ai Cure Technologies Llc Apparatus and method for assisting monitoring of medication adherence
US20110119073A1 (en) 2009-11-18 2011-05-19 Al Cure Technologies LLC Method and Apparatus for Verification of Medication Administration Adherence
US8606596B1 (en) * 2010-06-27 2013-12-10 Crisi Medical Systems, Inc. Medication waste and data collection system
KR20120039102A (ko) * 2010-10-15 2012-04-25 엘지전자 주식회사 식이관리장치 및 식이관리방법
WO2012064956A1 (en) * 2010-11-10 2012-05-18 Nike International Ltd. Systems and methods for time-based athletic activity measurement and display
TW201228632A (en) * 2011-01-07 2012-07-16 Access Business Group Int Llc Health monitoring system
US9165398B2 (en) * 2011-02-25 2015-10-20 Lg Electronics Inc. Analysis of food items captured in digital images
US9665767B2 (en) * 2011-02-28 2017-05-30 Aic Innovations Group, Inc. Method and apparatus for pattern tracking
US9283321B2 (en) * 2011-03-04 2016-03-15 Becton, Dickinson And Company Smart medication waste disposal
US20130076898A1 (en) * 2011-08-01 2013-03-28 Richard Philippe Apparatus, systems, and methods for tracking medical products using an imaging unit
US8761922B2 (en) * 2011-10-10 2014-06-24 Jonathan P Dekar Method and apparatus for monitoring food consumption by an individual
US10006896B2 (en) * 2011-11-14 2018-06-26 University of Pittsburgh—of the Commonwealth System of Higher Education Method, apparatus and system for food intake and physical activity assessment
CA2858566A1 (en) * 2011-12-09 2013-06-13 Joel R. Ehrenkranz System and methods for monitoring food consumption
US9129158B1 (en) * 2012-03-05 2015-09-08 Hrl Laboratories, Llc Method and system for embedding visual intelligence
JP2015519596A (ja) * 2012-04-11 2015-07-09 イースタン バージニア メディカル スクール 自動インテリジェント指導システム（ａｉｍｓ）

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05145844A (ja) * 1991-11-22 1993-06-11 Sharp Corp 画像認識装置
CN1784169A (zh) * 2003-05-28 2006-06-07 奥林巴斯株式会社 医学图像记录系统
JP2005056213A (ja) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd 情報提供システム、情報提供サーバ、情報提供方法
JP2011176599A (ja) * 2010-02-24 2011-09-08 Oki Networks Co Ltd 空間情報可視化システム及び関連情報提供装置

Also Published As

Publication number Publication date
RU2014119846A (ru) 2015-11-27
US9760265B2 (en) 2017-09-12
IN2014CN03729A (zh) 2015-07-03
MX2014005945A (es) 2014-08-08
CA2848997A1 (en) 2013-05-30
WO2013076917A2 (en) 2013-05-30
EP2783316A2 (en) 2014-10-01
AU2012341945A1 (en) 2014-03-13
JP6069826B2 (ja) 2017-02-01
JP2013114315A (ja) 2013-06-10
US20140331157A1 (en) 2014-11-06
CN103946850A (zh) 2014-07-23
BR112014011908A2 (pt) 2017-05-16
WO2013076917A3 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
CN103946850B (zh) 信息处理装置和信息处理方法
US11468975B2 (en) Medication reconciliation system and method
JP7256232B2 (ja) 薬剤管理システム及び薬剤管理方法
CN101923606B (zh) 基于数字标签的药品摆药、配发及溯源的系统和方法
US20170020785A1 (en) Medical Administration and Information System
WO2014165206A1 (en) Methods and systems of real-time medication adherence monitoring
JP2016521616A (ja) 医薬品容器、医薬品容器用のハウジング及びディスプレイ
JP6879298B2 (ja) 画像処理プログラム、および、画像処理装置
CN112017746A (zh) 用于捕获医疗事件的图像以减少医疗错误的便携式设备
WO2012145789A1 (en) Medication management
JP2015201110A (ja) 服薬指導支援システム、服薬指導支援方法
JP7477806B2 (ja) 混注管理システム、混注管理プログラム、及び混注管理方法
KR101058813B1 (ko) 조제제어시스템
JP2003196392A (ja) 薬歴管理方法及び薬歴管理システム
JP6341299B2 (ja) 画像処理システム、プログラム及び画像処理方法
JP6996107B2 (ja) 有害事象管理システム、有害事象管理プログラム
JP6545446B2 (ja) 処方箋情報送信システム、患者情報管理サーバ、情報送信方法及びプログラム
US20150224792A1 (en) Device for printing information on a label
WO2020012861A1 (ja) 情報提供システム、情報提供サーバ、情報提供方法、情報提供ソフトウエア、及び対話型ソフトウエア
CN113450889A (zh) 一种对象处理方法及其装置
JP2019192272A (ja) 処方箋情報送信システム、患者情報管理サーバ、情報送信方法及びプログラム
US20240212815A1 (en) Systems and methods for tracking items
JP7039875B2 (ja) 薬剤業務支援システム、薬剤業務支援プログラム及び薬剤業務支援方法
JP2021132902A (ja) 服薬支援システム、服薬支援方法、並びに、服薬支援プログラム
TWM644850U (zh) 全靜脈營養調配的混合式教學系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant