CN109074494A - 文字图形识别装置、文字图形识别方法以及文字图形识别程序 - Google Patents

Abstract

一种文字图形识别装置，是执行以附加在处于规定的空间的被摄体上的文字或者图形为对象的识别并获取信息的装置，所述文字图形识别装置具备：控制部；摄像部，对包含被摄体的规定的摄影范围的图像进行拍摄；照明部，包含从不同位置射出光来照明规定的空间的多个照明灯；和识别部，识别由摄像部拍摄的图像中的文字或者图形来获取信息，输出包含获取到的信息的识别结果信息，控制部进行多个照明灯的每一个的点亮或者熄灭的组合即照明图案向照明部的应用、以及摄像部的拍摄的定时的控制。

Description

文字图形识别装置、文字图形识别方法以及文字图形识别 程序

技术领域

本公开涉及根据附加在被摄体上的文字或者图形的图像来获取信息的技术。

背景技术

专利文献1中，公开了一种读取附加在加热对象的食品上的码来进行加热调理的加热调理装置。该加热调理装置具备读取附加在收纳于加热室内的食品上的条形码等的照相机，基于使用该照相机来读取的内容，执行食品的加热调理。

在先技术文献

专利文献

专利文献1：JP特开2001-349546号公报

发明内容

本公开提供一种不取决于被摄体的大小、形状地获取适合于信息的获取的图像，根据该图像来识别文字、图形的文字图形识别装置等。

本公开中的文字图形识别装置是执行以附加在处于规定的空间的被摄体上的文字或者图形为对象的识别并获取信息的装置，所述文字图形识别装置具备：控制部；摄像部，对包含被摄体的规定的摄影范围的图像进行拍摄；照明部，包含从不同位置射出光来照明规定的空间的多个照明灯；和识别部，识别由摄像部拍摄的图像中的文字或者图形来获取信息，输出包含获取到的信息的识别结果信息，控制部进行多个照明灯的每一个的点亮或者熄灭的组合即照明图案向照明部的应用、以及摄像部的拍摄的定时的控制。

本公开中的文字图形识别装置不取决于被摄体的大小、形状地获取适合于信息的获取的图像，根据该图像来识别文字、图形。

附图说明

图1是用于对实施方式1中的文字图形识别装置的概要进行说明的图。

图2是表示实施方式1中的文字图形识别装置的结构的框图。

图3是用于对基于实施方式1中的文字图形识别装置的用于信息获取的动作的概要进行说明的流程图。

图4是表示由实施方式1中的文字图形识别装置的摄像部拍摄的图像的例子的示意图。

图5是表示由实施方式1中的文字图形识别装置的识别部输出的识别结果信息的例子的图。

图6A是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的一变形例的流程图。

图6B是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的另一变形例的流程图。

图7是表示被实施方式1中的文字图形识别装置参照的被摄体的高度的范围与照明灯的对应的数据的图。

图8是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的另一变形例的流程图。

图9是表示基于实施方式1中的文字图形识别装置的使用差分图像的文字图形识别的概要的图。

图10是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的另一变形例的流程图。

图11A是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的另一变形例的流程图。

图11B是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的另一变形例的流程图。

图12是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的另一变形例的流程图。

图13A是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的另一变形例的流程图。

图13B是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的另一变形例的流程图。

图13C是表示基于实施方式1中的文字图形识别装置的用于信息获取的动作的另一变形例的流程图。

图14是用于对实施方式2中的文字图形识别装置的概要进行说明的图。

图15是表示实施方式2中的文字图形识别装置的结构的框图。

图16是用于对基于实施方式2中的文字图形识别装置的用于信息获取的动作的概要进行说明的流程图。

具体实施方式

以下，适当地参照附图，对实施方式详细地进行说明。其中，可能省略非必要的详细说明。例如，可能省略已知的事项的详细说明、针对实质相同的结构的重复说明。这是为了避免以下的说明不必要地变得冗长，使本领域技术人员容易理解。

另外，发明人为了本领域技术人员充分理解本公开而提供了附图以及以下的说明，并不意图通过这些来限定权利要求书中所述的主题。

(实施方式1)

以下，使用图1～10C，对实施方式1进行说明。

[1.概要]

图1是用于对实施方式1中的文字图形识别装置的概要进行说明的图。

实施方式1所涉及的文字图形识别装置是执行以被置于规定的空间的被摄体上附着的文字或者图形为对象的识别(以下，也简略称为文字图形识别)并获取信息的装置。图1中，作为该规定的空间的例子，表示微波炉的加热室内部的空间，作为被摄体的例子，示意性地表示便当900。便当900是出售的便当，贴附有通过文字、符号、条形码来记载商品名、消费期限、加热方法等商品信息的标签910。以下，使用微波炉具备文字图形识别装置的例子来说明了本实施方式，但本实施方式中的文字图形识别装置也可以这样与具有放置作为被摄体的物体的空间的微波炉以外的物体、例如寄存柜、送货箱或者冰箱等组合而被利用。

实施方式1所涉及的文字图形识别装置通过对该标签的图像执行文字图形识别并获取商品名、消费期限、加热方法等商品信息并输出到微波炉。微波炉例如将该信息显示于显示部，或者基于该信息来自动执行该便当的加热。由此，用户省去了将输出、加热时间的设定输入到微波炉的麻烦。

图1中，表示了进行用于获取上述的图像的拍摄的摄像部100、射出为了进行该空间内的拍摄所必要的光的照明灯112、114以及116。

摄像部100被设置于该加热室的上部以使得将加热室内的空间包含于摄影区域来从上方拍摄被摄体。此外，摄像部100的摄影范围被固定于为了拍摄放置于该加热室的内部的被摄体、该图例中来讲为上述便当那样的微波炉调理对应的食品的标签、盖子而适当的规定的摄影范围。例如，为了宽幅地对应被摄体的形状、标签的位置、基于用户的被摄体的放置方式(姿势)等的变更，也可以固定为该加热室的大致整体被覆盖的摄影范围。

照明灯112、114以及116为了宽幅地对应放置于该加热室的内部的被摄体的形状、高度的变更，被设置为从加热室的侧方的不同高度的位置向该加热室内射出光。另外，这些的照明灯112、114以及116也可以作为微波炉以往具备的库内灯而发挥作用。

在微波炉中具备的这种文字图形识别装置中，例如若用户将便当900放入加热室并关上盖子，则照明灯112、114以及116之中的一个以上点亮并向加热室的内部射出光。然后，在通过该光从而加热室的内部被照明时，摄像部100对从上方观察作为被摄体的便当900的图像进行拍摄。然后，针对该图像中包含的文字、图形执行文字图形识别并获取商品名、消费期限、加热方法等商品信息。接下来，使用图2来对用于实现这种文字图形识别装置的动作的结构进行说明。

[2.结构]

图2是表示实施方式1中的文字图形识别装置10的结构的框图。

文字图形识别装置10具备：摄像部100、照明部110、存储部120、控制部200、读取区域决定部210、识别部220、识别结果统一部230和输入输出部300。

摄像部100是包含CMOS(complementary metal-oxide-semiconductor，互补金属氧化物半导体)图像传感器等的摄像元件的结构要素，被设置于上述的规定的空间(加热室)的上部以使得该空间的内部被包含于摄影区域。按照后述的控制部200的控制，从上方拍摄被放置于该空间内的便当900。摄像部100中除了摄像元件以外还包含含有透镜等的光学系统。

照明部110如上述那样，是包含被配置于规定的空间的侧方的不同高度的多个照明灯112、114以及116的结构要素。按照后述的控制部200的控制来射出光并照明该空间。摄像部100在照明部110照明该空间时执行上述的拍摄。换句话说，照明部110作为该规定的空间中的摄像部100所进行的拍摄中使用的光源而发挥作用。另外，并不是为了该拍摄而一直点亮照明灯112、114以及116的全部，而是通过控制部200来应用照明灯112、114以及116各个点亮或者熄灭的组合即照明图案，以该照明图案来点亮。详细在文字图形识别装置10的动作例的说明中叙述。

存储部120是对例如摄像部100所拍摄的图像的数据、以及后述的读取区域决定部210、识别部220以及识别结果统一部230生成的数据进行保存的存储装置。此外，为了文字图形识别装置10在外部的利用(例如在微波炉所具备的显示部的显示)，这些数据也可以从存储部120经由输入输出部300而被输出。此外，在存储部120中，进一步保存被控制部200读取并执行的程序(未图示)、参照的数据(未图示)。这种存储部120使用半导体存储器等来实现。另外，存储部120也可以不是文字图形识别装置10的专用的存储装置，而例如是具备文字图形识别装置10的微波炉等所具有的存储装置的一部分。

控制部200读取存储部120中保存的上述的程序，执行并进行动作。上述的摄像部100的控制以及照明部110的动作被执行上述的程序的控制部200控制。

此外，读取区域决定部210、识别部220以及识别结果统一部230是功能性的结构要素，被执行上述的程序的控制部200提供，此外控制并执行后述的动作。这种控制部200例如使用微处理器来实现。另外，控制部200也可以不是文字图形识别装置10的专用微处理器，而例如是对具备文字图形识别装置10的微波炉等的动作整体进行控制的微处理器。

读取区域决定部210基于摄像部100拍摄的图像所包含的像素的像素值，决定该图像中的包含文字图形识别的对象的读取区域。例如，该读取区域是摄像部100所拍摄的图像内标签910的像所映射的区域，所谓文字图形识别的对象，是指记载于标签910的文字、符号、条形码或者二维码等的图形。

识别部220对读取区域决定部210所决定的读取区域执行文字图形识别，获取通过该读取区域中包含的文字、符号、条形码等来表示的商品名、消费期限、加热方法等商品信息。这些商品信息作为识别结果信息而被从识别部220输出并保存于存储部120。此外，识别部220也可以与上述的商品信息的获取一并地，计算各商品信息的准确度。并且，该准确度也可以包含于上述的识别结果信息并保存于存储部120。这种商品信息在本公开中为通过识别部220所执行的识别而获取的信息的例子。

识别结果统一部230基于上述的准确度来将识别部220获取的商品信息统一。详细后面进行叙述。

输入输出部300是用于文字图形识别装置10与其外部的设备、例如微波炉等的数据的交接的接口。例如也可以从微波炉经由输入输出部300来向文字图形识别装置10输入文字图形识别的结果的请求。此外，文字图形识别装置10中，也可以根据该请求来执行文字图形识别，输出其识别结果信息。

[3.动作例]

以下对以上那样构成的文字图形识别装置10的动作进行说明。图3是表示文字图形识别装置10的动作的流程的一个例子的流程图。该动作是以控制部200从微波炉接收到文字图形识别的结果的请求为契机而执行的，该微波炉例如从用户接受开始自动加热的指示的输入、或者检测到加热对象的物体被放入到加热室并关上门。

如图3所示，文字图形识别装置10的动作能够大体分为被摄体的拍摄(步骤S10)、该图像内的读取区域的决定(步骤S20)、读取区域内的文字或者图形的识别(步骤S30)以及识别结果的统一(步骤S40)的4个步骤。以下，继续使用微波炉具备文字图形识别装置的例子来对各步骤的详细进行说明。

[3-1.拍摄]

步骤S10中，控制部200通过应用任意的照明图案，来使照明部110将照明灯112、114以及116的任意一个点亮，对被摄体所被放置的加热室进行照明。假定控制部200使照明部110将加热室内处于最高位置的照明灯112点亮。然后，控制部200在照明部110通过照明灯112来将加热室照明时，使摄像部100进行拍摄来拍摄规定的摄影范围的图像。

接下来，控制部200通过应用其它的照明图案，来使照明部110将点亮的照明灯替换为与照明灯112不同的照明灯，使被摄体所被放置的加热室中照明。这里，假定控制部200使照明部110将照明灯114点亮。然后，控制部200在照明部110通过照明灯114来将加热室中照明时，使摄像部100拍摄与之前相同的摄影范围的图像。

接下来，控制部200通过进一步应用其它的照明图案，来使照明部110将点亮的照明灯替换为与照明灯112和照明灯114都不同的照明灯，换句话说替换为照明灯116，使被摄体所被放置的加热室中照明。然后，控制部200在照明部110通过照明灯116来将加热室中照明时，使摄像部100拍摄与之前相同的摄影范围的图像。

这样，使加热室内的高度位置不同的照明灯依次点亮，拍摄捕捉了相同的摄影范围的多个图像。拍摄的图像的数据被保存于存储部120。

图4中，表示了由摄像部100拍摄的图像的例子即图像P900。图像P900包含附有标签910的便当900以及其背景的加热室的内侧的底面的像。另外，图4所示的图像P900是文字图形识别的对象即文字、符号、条形码等的图形全部明确地映射的、适合后述的步骤的处理的图像。但是，根据被摄体的大小、形状、位置以及姿势和拍摄时点亮的照明灯(用于的照明图案)，可能被拍摄的图像的全部或者一部分过于明亮或者过于阴暗导致不适合文字图形识别。以下的说明中，假设上述拍摄的多个图像中会包含不适合这种文字图形识别的图像。

[3-2.读取区域的决定]

步骤S20中，读取区域决定部210从存储部120获取摄像部100所拍摄的多个图像的数据，读取区域决定部210决定这些图像中的读取区域。

在本例中，读取区域是图像内标签910的像所映射的区域。在这种标签910，作为文字图形识别的对象的文字、图形被描绘为黑色的单色，文字、图形以外的部分(背景)是白色等单色所扩展的平坦区域的情况较多。此外，在标签910以外的区域，映射便当的食材、容器等的各种颜色、存在凹凸并看到阴影的情况较多。读取区域决定部210能够利用这种标签910及其以外的外观上的不同，执行使用已知手法的基于像素值的读取区域的决定。

例如也可以基于图像中的各像素的颜色信息来检测存在标签910的像的区域，将检测到的区域决定为读取区域。作为其它的例子，也可以基于图像中的各像素的颜色信息，检测成为文字、图形的像的像素，将该检测到的文字或者图形的像所集中的区域决定为读取区域。此外，作为其它的例子，也可以基于图像中的相邻像素彼此的像素值之差(边缘)，将被存在标签的像的边缘围起的区域决定为读取区域。作为另一例子，也可以基于边缘来检测成为文字、图形的像的像素，将该检测到的文字或者图形的像所集中的区域决定为读取区域。

决定读取区域的读取区域决定部210将表示决定的读取区域的信息包含于原图像数据或者将其变换得到的其它图像数据，或者以与原图像数据建立关联的其它数据的形式输出并保存于存储部120。另外，读取区域决定部210也可以在表示决定的读取区域的信息的基础上，输出并保存表示该读取区域的决定的准确度的信息。

[3-3.文字或者图形的识别]

步骤S30中，识别部220从存储部120获取由读取区域决定部210保存的数据，对该数据所表示的读取区域执行以文字或者图形为对象的文字图形识别从而获取信息。识别部220能够使用已知的手法来执行文字图形识别。

执行文字图形识别并获取信息的识别部220将该信息输出为识别结果信息并保存于存储部120。另外，识别部220也可以将获取的信息的准确度包含于该识别结果信息。图5是表示识别部220输出的、包含由文字识别获取的信息和其准确度的识别结果信息的例子的图。在本例中，作为被获取的信息的所识别的文字(也可以包含数字、符号，以下同样)的候选、以及被识别的各文字的候选以及这些文字的候选的规定的组(行单位以及区域整体)的每一个的准确度作为识别结果信息，以表T910的形式的数据而被输出。

此外，在对条形码等的图形执行步骤S30的情况下，识别构成读取区域内的图形的线等要素。并且，将通过该识别而掌握的图形的特征(例如线的粗细以及间隔)对照规定的规则来进行解读，通过该解读而得到的文字或者其候选作为获取的信息而被包含于识别结果信息。在该情况下，获取到的信息的准确度也可以包含于识别结果信息。

[3-4.识别结果的统一]

步骤S40中，识别结果统一部230从存储部120获取由识别部220保存的识别结果信息的数据，进行其数据所表示的识别结果信息的统一处理从而获取最终的信息。

作为这里的统一处理的例子，识别结果统一部230也可以获取并比较各图像的读取区域、上述的例子中为根据3个图像而决定的3个读取区域各自的识别结果信息的准确度(图5的表T910中为最右列的数值)，选择准确度最高的识别结果信息。选择的识别结果信息经由输入输出部300而输出到微波炉。

作为其它的例子，在识别结果信息间比较各个文字的准确度(图5的表T910中为从右起第3列的数值)，按照每个文字来选择准确度最高的结果，也可以使用行单位的准确度(图5的表T910中为从右起第2列的数值)来按照行单位选择准确度最高的结果。在该情况下，将选择的文字或者行集合来生成新的识别结果信息，该新的识别结果信息经由输入输出部300而被输出到微波炉。

[4.动作的变形例]

上述的文字图形识别装置10的动作是一个例子，并不限定于此。以下表示上述的动作的变形例。另外，共用的步骤使用相同的参照符号来表示，省略说明，以与上述动作的差异点为中心来进行说明。

[4-1.选择最佳图像的变形例]

图6A是表示基于文字图形识别装置10的用于信息获取的动作的一变形例即变形例1的流程图。图6B是表示基于文字图形识别装置10的用于信息获取的动作的一变形例即变形例2的流程图。

变形例1中，在上述中示例的动作中追加从摄像部100拍摄的多个图像选择一个适合文字图形识别的图像(变形例1以及2中称为最佳图像)的步骤S15A。

步骤S15A中，读取区域决定部210基于摄像部100拍摄到的多个图像各自包含的像素的像素值来选择一个图像。

作为基于像素值的图像的选择的具体例，也可以对多个图像内处于同一位置的像素的明亮度进行比较，推断与各个照明灯112、114以及116的距离、换句话说作为被摄体的便当900的高度，选择通过与该推断的高度相应的照明灯来照明加热室中时所拍摄的图像。该情况下，与高度相应的照明灯作为按照每个高度的推断值的范围而预先决定的数据而被保存于存储部120，在该步骤中被读取区域决定部210参照。

图7表示该参照的数据的例子。根据该数据，在推断的被摄体的高度h比照明灯116的高度低的情况下，选择由照明灯116照明加热室中时拍摄的图像。此外，在推断的被摄体的高度h与照明灯116的高度相同或者比其高、并且比照明灯114的高度低的情况下，选择由照明灯114照明加热室中时拍摄的图像。图7所示的高度范围与点亮的照明灯的对应例如在微波炉的设计中准备并保存于存储部120。

此外，作为其它的例子，也可以基于像素值，评价各图像的整体或者规定的区域(例如图像的中央周边)的画质(这里是指对比度、噪声的多少等的意思)，比较该评价的结果并选择图像。

变形例1中，例如上述的动作例那样决定被拍摄的全部图像的读取区域，文字图形识别装置10的处理负载比执行文字识别的情况小。因此，文字图形识别装置10中作为规格而要求的资源也可以更加少。或者，能够以比上述动作里更短时间输出作为识别结果而得到的最终的信息。

此外，也可以如图6B所示的变形例2那样，执行直到所拍摄的全部图像的读取区域的决定(步骤S20)，基于各图像的读取区域内的像素值来选择最佳图像(步骤S25)。虽然变形例1的处理负载的减少程度更大，但读取区域中判定画质的变形例2可得到准确度更高的文字识别结果的可能性更高。

[4-2.生成最佳图像的变形例]

图8是表示基于文字图形识别装置10的用于信息获取的动作的一变形例即变形例3的流程图。

变形例3中，在「3.动作例」中说明的动作中追加，根据摄像部100所拍摄的多个图像，读取区域决定部210生成适合文字图形识别的图像(本变形例中也为了方便而称为最佳图像)的步骤S15B。

由于摄像部100拍摄的多个图像的摄影范围共用，此外，被摄体是静物，因此处于各图像的相同位置的像素的像素值基本上在多个图像间表示相同物品的相同位置的信息。利用此，也可以例如计算处于多个图像的相同位置的像素的像素值的平均值从而生成平均图像，将该平均图像用作为最佳图像。或者，也可以从多个图像生成差分图像，将该差分图像用作为最佳图像。

图9所示的是使用该差分图像的文字图形识别的概要。图9所示的例子中，从摄像部100拍摄的多个图像中，例如基于图像整体的亮度的平均值，首先选择整体较暗的图像(该图中的低色调图像)以及整体较亮的图像(该图中的高色调图像)的2个图像。然后，生成基于处于这些图像的相同位置的像素的像素值的差分的差分图像(该图左下)。以下，使用辨别分析法等的已知的手法来根据该差分图像生成二元化图像。然后，读取区域决定部210获取该二元化图像来决定读取区域。另外，差分图像的生成方法并不限定于本例，例如也可以从3个以上的多个图像找到处于相同位置的像素的像素值的最大值以及最小值，计算该最大值与最小值的差分来进行生成。此外，例如在差分图像整体的对比度不充分(例如亮度分布集中于亮度值直方图的中央的状态)的情况下，也可以在二元化的处理之前进行正规化来调整差分图像内的亮度分布。

这样，最佳图像也可以根据拍摄的全部图像生成，也可以根据其一部分(至少2个)的图像生成。此外，也可以按照像素单位，将表示极亮或者极暗的像素值从平均、差分的计算中去除。

此外，读取区域决定部210在3个以上的某个图像之中，首先合成2个图像来生成最佳图像候选。并且，在该最佳图像候选中不存在极暗或者极亮的区域(或者占图像整体的比例小于规定的值)的情况下，将该最佳图像候选用作为最佳图像，在存在这种区域(或者占图像整体的比例为规定的值以上)的情况下，也可以将该最佳图像候选与其它的图像进一步合成。

通过本变形例，在拍摄的图像均包含不适合文字图形识别的区域的情况下，也能够获取适合文字识别的图像。

[4-3.包含最佳图像的选择以及其修正的变形例]

图10是表示基于文字图形识别装置10的用于信息获取的动作的一变形例即变形例4的流程图。

变形例4中，在「3.动作例」中说明的动作中，追加了从摄像部100拍摄的多个图像选择一个最适合文字图形识别的图像(本变形例中也为了方便称为最佳图像)的步骤S15A、和为了提高文字图形识别的精度而对该最佳图像追加修正的步骤S15C。

变形例1中选择的图像即使是摄像部100所拍摄的多个图像中能够进行精度最高的文字图形识别的图像，也存在其一部分不适合文字图形识别的情况、例如包含极亮区域、极暗区域的情况。本变形例中，在这种情况下，使用未被选择为最佳图像的图像的、与该最佳图像的不适合于文字图形识别的区域对应的区域的像素值，读取区域决定部210对不适合于该文字图形识别的区域进行修正。

作为该修正的具体例，例如也可以将最佳图像中明亮度不充分的区域的各像素的像素值加上其他图像的对应的区域的各像素的像素值。或者，也可以将明亮度不充分的区域的各像素的像素值与其他图像的对应的区域的各像素的像素值平均化。此外，也可以将最佳图像中过亮区域的各像素的像素值与其他图像的对应的区域的各像素的像素值平均化。

通过本变形例，即使在最佳图像包含不适合于文字图形识别的区域的情况下，也能够获取能够进行更高精度的文字图形识别的图像。

[4-4.每当拍摄都评价图像的变形例]

图11A以及图11B分别是表示基于文字图形识别装置10的用于信息获取的动作的一变形例即变形例5以及变形例6的流程图。

在「3.动作例」中说明的动作中，首先，多个照明图案被依次变更，按照各照明图案来执行拍摄(步骤S10)。

变形例5中，每当按照某个照明图案来照明加热室时摄像部100拍摄图像(步骤S100)，读取区域决定部210就判定所拍摄的图像是否适合于基于识别部220的文字图形识别(步骤S110)。在判断为所拍摄的图像适合于基于识别部220的文字图形识别的情况下(步骤S110中为是)，读取区域决定部210使用上述的手法来决定该图像中的读取区域(步骤S20)。在判定为所拍摄的图像不适合于基于识别部220的文字图形识别的情况下(步骤S110中为否)，若存在未应用的照明图案(步骤S130中为否)，则控制部200使照明部110以该照明图案照明加热室内(步骤S800)。摄像部100在以与之前不同的照明图案照明加热室内时拍摄图像(步骤S100)。在已经按照全部照明图案下的照明执行了拍摄的情况下(步骤S130中为是)，通过上述的任意动作例或者变形例中包含的步骤来从已经拍摄的多个图像决定读取区域(步骤S20)。

步骤S110中的判定例如基于像素值，来评价并执行图像的整体或者规定的区域(例如图像的中央周边)的画质(这里是指对比度、噪声的多少等的意思)。

此外，如图11B所示的变形例6的步骤那样，读取区域决定部210也可以在变形例5中的步骤S110中的图像的判定之前，决定所拍摄的图像的读取区域(步骤S20)，基于该决定的读取区域的像素值来进行画质的评价从而执行步骤S110的判定。

在上述的动作例以及其变形例1～4中，至少图像的拍摄的步骤(步骤S10)被重复所采用的照明图案的数量。但与此相对地，在变形例5以及6中，拍摄(步骤S100)的执行次数可能更少，结果是，识别结果信息可更加迅速地输出。此外，若比较变形例5与变形例6，则虽然变形例5能够更加大幅缩短了到识别结果信息的输出为止的时间，但读取区域中判定画质的变形例6可得到准确度更高的文字识别结果的可能性较高。

另外，相比于处于更低位置的照明灯的照明，在处于更高位置的照明灯的照明中，基于被摄体本身的影子更难以产生于被摄体的上表面，因此可得到适合于文字图形识别的图像的可能性较高。因此，在变形例5以及6中，最好从基于处于更高位置的照明灯的照明、图1的例子中来讲为基于照明灯112的照明下的拍摄开始。此外，在事先知道作为对象的被摄体的高度的分布存在偏差的情况下，最好从基于出现频度较高的被摄体的高度所对应的照明灯的照明开始拍摄。在该情况下，照明灯的点亮步骤被保存于存储部120。

[4-5.每当拍摄都执行文字识别的变形例]

图12是表示基于文字图形识别装置10的用于信息获取的动作的一变形例即变形例7的流程图。

变形例7中，每当按照某个照明图案来照明加热室时摄像部100拍摄图像(步骤S100)，都执行基于读取区域决定部210的读取区域的决定(步骤S200)以及基于识别部220的读取区域的文字图形识别(步骤S300)。

接下来，识别结果统一部230获取步骤S300中识别部220输出的识别结果信息中包含的准确度，判定获取到的准确度是否充分(步骤S400)。在判定为获取到的准确度充分的情况下(步骤S400中为是)，识别结果统一部230将该识别结果信息中包含的文字等信息确定为最终信息并进行输出(步骤S500)。在判定为获取到的准确度不充分的情况下(步骤S400中为否)，若存在未应用的照明图案(步骤S600中为否)，则控制部200使照明部110以该照明图案照明加热室内(步骤S800)。并且，摄像部100在以与之前不同的照明图案照明加热室内时拍摄图像(步骤S100)。在已经以全部照明图案下的照明执行了拍摄的情况下(步骤S600中为是)，识别结果统一部230例如经由微波炉所具备的显示部、声音输出部(均未图示)来输出信息的获取失败这一内容的通知(步骤S700)。

在本变形例中，识别结果信息可能比上述的动作例以及其变形例更快地输出。此外，在本变形例中，也由于与变形例5以及6相同的理由，组好从基于处于更高位置的照明灯的照明、图1的例子中来讲基于照明灯112的照明下的拍摄开始。此外，在事先已知作为对象的被摄体的高度的分布存在偏差的情况下，最好从基于出现频度较高的被摄体的高度所对应的照明灯的照明开始拍摄。在该情况下，照明灯的点亮步骤被保存于存储部120。

[4-6.每当拍摄都执行图像合成的变形例]

图13A～图13C分别是表示基于文字图形识别装置10的用于信息获取的动作的一变形例即变形例8～10的流程图。

变形例5以及6中，判定图像是否适合于文字识别(步骤S110)，在图像不适合于文字识别的情况下，以其它的照明图案进行照明并进行拍摄从而拍摄新的图像(步骤S800，步骤S100)，判定该新的图像是否适合于文字识别(步骤S110)。变形例7中，在文字图形识别的准确度不充分的情况下(步骤S400)，以其它的照明图案进行照明并进行拍摄从而拍摄新的图像(步骤S800，步骤S100)，对该新的图像执行文字图形识别(步骤S300)来进行其准确度的判定(步骤S400)。

变形例8～10中，在变形例5～7中的步骤S110或者步骤S400中判定结果为否定的情况下，通过拍摄以及合成并获取下一个新的图像。该合成的详细与上述的变形例3的步骤中的最佳图像的生成(步骤S15B)的合成相同。并且，对通过合成得到的该图像，与变形例5～7同样地执行之后的步骤。

在图13A所示的变形例8中，若读取区域决定部210通过合成得到图像(步骤S105)，则判定该得到的图像是否适合于基于识别部220的文字图形识别(步骤S110)。该判定与变形例5以及6的步骤中包含的步骤110中的判定相同。在判定为通过合成得到的图像适合于基于识别部220的文字图形识别的情况下(步骤S110中为是)，读取区域决定部210使用上述的手法来决定该图像中的读取区域(步骤S20)。在判定为通过合成得到的图像不适合于基于识别部220的文字图形识别的情况下(步骤S110中为否)，若存在未应用的照明图案(步骤S130中为否)，则控制部200使照明部110以该照明图案照明加热室内(步骤S800)。摄像部100在以与之前不同的照明图案照明加热室内时拍摄图像(步骤S100)。读取区域决定部210进一步使用该新拍摄得到的图像来合成新的图像，判定通过该合成而得到的图像是否适合于基于识别部220的文字图形识别(步骤S110)。

此外，如图13B所示的变形例9的步骤那样，读取区域决定部210也可以在变形例8中的步骤S110中的图像的判定之前，决定所拍摄的图像的读取区域(步骤S20)，基于该决定的读取区域的像素值来进行画质的评价从而执行步骤S110的判定。

此外，如图13C所示的变形例10的步骤那样，也可以每当通过读取区域决定部210来合成图像(步骤S105)，就执行基于读取区域决定部210的读取区域的决定(步骤S200)以及基于识别部220的读取区域的文字图形识别(步骤S300)。然后，识别结果统一部230获取步骤S300中识别部220输出的识别结果信息中包含的准确度，判定所获取的准确度是否充分(步骤S400)。在判定为所获取的准确度充分的情况下(步骤S400中为是)，识别结果统一部230将该识别结果信息中包含的文字等信息确定为最终信息并进行输出(步骤S500)。在判定为获取的准确度不充分的情况下(步骤S400中为否)，若存在未应用的照明图案(步骤S600中为否)，则控制部200使照明部110以该照明图案照明加热室内(步骤S800)。并且，摄像部100在以与之前不同的照明图案照明加热室内时拍摄图像(步骤S100)。在已经以全部照明图案下的照明执行了拍摄的情况下(步骤S600中为是)，识别结果统一部230例如经由微波炉所具备的显示部、声音输出部(均未图示)来输出信息的获取失败这一内容的通知(步骤S700)。

另外，上述的说明中，在变形例8～10的各步骤中，也可以在最初拍摄的图像就是适合于文字识别的图像，或者可得到准确度充分的文字识别结果的情况下，不执行改变照明图案的拍摄以后的步骤。

通过变形例8～10的步骤，拍摄(步骤S100)的执行次数比上述的动作例以及其变形例1～4中的步骤更少，结果是，识别结果信息可能能够更快地输出。此外，若相比于变形例5～7，由于追加了图像的合成的步骤因此到识别结果信息的输出为止的时间更长，但由于使用仅一个图像不能得到的适合于文字图形识别的图像，因此可得到精度更高的文字识别结果。

[5.其另一变形例等]

上述中，以一次拍摄中被点亮的照明灯仅仅为一个的情况为例说明了文字图形识别装置10的动作例，但本实施方式中控制部200应用于照明部110的照明图案并不限定于仅一个照明灯被点亮。应用于照明部110的照明图案中也可以包含多个照明灯点亮的点亮与熄灭的组合。进一步地，在加热室打开开口部并且外部光照射于被摄体的情况下，也可以将全部照明灯熄灭来进行拍摄。这样全部照明灯被熄灭的组合也可以包含于上述的照明图案之一。另外，不必采用多个照明灯各个点亮或者熄灭的全部组合。

此外，在上述的结构中，摄像部100从上方进行被摄体的拍摄，但也可以从水平方向等其它的角度进行拍摄。

此外，根据被摄体、读取对象信息，也存在文字、符号、条形码未记载于特定的读取区域的情况。在该情况下，读取区域决定部210将图像整体设为读取区域。

此外，上述的结构中，不取决于在空间内放置的被摄体的高度的变动地拍摄适合于文字图形识别的图像，因此将多个照明灯设定于不同的高度，但通过将多个照明灯在水平方向排列设置，能够去取决于在空间内放置的被摄体的深度的变动地拍摄适合于文字图形识别的图像。进一步地，也可以在水平、垂直两个方向排列设置。在该情况下，能够在空间内放置的被摄体的高度的基础上，还不取决于被摄体的位置、大小或者读取区域的朝向的变动地拍摄适合于文字图形识别的图像。

[6.效果等]

如以上那样，在本实施方式中，执行以附加在处于规定的空间的被摄体上的文字或者图形为对象的识别并获取信息的文字图形识别装置10具备：控制部200、摄像部100、照明部110、读取区域决定部210和识别部220。

摄像部100对包含处于上述的规定的空间的被摄体的规定的摄影范围的图像进行拍摄。

照明部110包含从不同位置向上述规定的空间射出光的多个照明灯112、114以及116。通过控制部200来对照明部110应用多个照明灯112、114以及116各个点亮或者熄灭的组合即照明图案，照明部110以该被应用的照明图案来照明上述的空间。另外，本公开中的“照明”中，也包含多个照明灯112、114以及116的任意一个熄灭的情况。并且，摄像部100在照明部110以应用的照明图案照明上述空间时，对上述规定的摄影范围的图像进行拍摄。

更具体而言，控制部200通过依次变更应用的照明图案，来使照明部110以不同的多个照明图案来照明上述的规定的空间。

此外，控制部200对基于摄像部100的上述的拍摄的定时进行控制。更具体而言，照明部110以各个照明图案来照明上述的空间时使其进行拍摄，从而拍摄多个包含被摄体的规定的摄影范围的图像。此外，控制部200使读取区域决定部210决定多个图像中的至少一个读取区域。例如读取区域决定部210基于多个图像分别包含的像素的像素值来选择一个图像，决定该选择的图像中的读取区域。或者，也可以在多个图像的每个中决定读取区域的候选从而获取多个临时读取区域，基于这些多个临时读取区域的每一个所包含的像素的像素值来选择一个读取区域。

由此，从多个图像中限定执行文字图形识别的读取区域，相比于以多个图像全部或者一张图像整体为对象，可高效地执行文字图形识别。此外，由于从改变点亮的照明灯而拍摄的多个图像选择读取区域，因此能够从更适合于文字图形识别的图像获取信息。

此外，本实施方式中，控制部200也可以使读取区域决定部210根据多个图像的至少2个生成平均图像，来决定该平均图像中的读取区域。或者控制部200也可以使读取区域决定部210根据多个图像的至少2个，生成表示处于各图像的相同位置的像素的像素值的最大值与最小值的差分的差分图像，来决定该差分图像中的读取区域。或者控制部200也可以使读取区域决定部210基于多个图像的每一个所包含的像素的像素值来选择一个图像，使用多个图像的其他图像的一部分的区域来修正该选择的图像的一部分的区域，从而决定选择的图像中的读取区域。

由此，在改变点亮的照明灯而拍摄的各图像中，在不能得到对于文字图形识别充分的画质的读取区域的情况下，也能够获取适合于文字图形识别的读取区域。

此外，文字图形识别装置10也可以还具备识别结果统一部230。在该情况下，控制部200使读取区域决定部210根据多个图像的每一个来决定读取区域从而获取多个读取区域，使识别部220对这些多个读取区域分别执行文字图形识别，按照每个读取区域来输出包含通过文字图形识别而获取的信息以及该信息的准确度的识别结果信息。并且，使识别结果统一部230基于每个读取区域的准确度来统一信息。

由此，根据对改变点亮的照明灯而拍摄的各图像实施得到的文字识别的结果来选择精度最好的可能性较高的结果，获取有用性较高的信息。

此外，控制部200也可以使读取区域决定部210基于图像所包含的至少一部分的像素的像素值，判定该图像是否适合于基于识别部220的识别。然后，在读取区域决定部210判定为该图像不适合于基于识别部220的识别的情况下，也可以使照明部110以与之前的拍摄时不同的照明图案照明空间，使摄像部100在照明部110以该不同的照明图案照明空间时进一步拍摄图像。或者，在读取区域决定部210判定为图像不适合于基于识别部220的文字图形识别的情况下，控制部200也可以使读取区域决定部210将进行了该判定的图像与改变之后点亮的照明灯并进一步拍摄的图像合成并获取新的图像，基于该新的图像包含的至少一部分的像素的像素值，判定是否适合于基于识别部220的识别。

由此，每当拍摄图像，都判定该图像是否适合于文字图形识别。在第一个图像适合于文字图形识别的情况下，能够相比于比较多个图像彼此来判定是否适合于文字图形识别的步骤更快地获取信息。

或者，控制部200也可以使识别部220对读取区域执行文字图形识别，输出包含通过文字图形识别并获取的信息以及该信息的准确度的识别结果信息，使识别结果统一部230判定该准确度为规定的阈值以上还是小于规定的阈值。并且，在识别结果统一部230判定为该准确度小于规定的阈值的情况下，也可以使照明部110以与之前拍摄时不同的照明图案照明空间，使摄像部100在照明部110以该不同的照明图案照明空间时进一步拍摄图像。或者，在识别结果统一部230判定为准确度小于规定的阈值的情况下，控制部200使读取区域决定部210将进行了之前的判定的图像与改变之后点亮的照明灯并进一步拍摄的图像合成并获取新的图像，决定该新的图像中的读取区域。进一步地，也可以使识别部220对新的图像中的读取区域执行文字图形识别，输出包含通过该文字图形识别而获取的信息以及该信息的准确度的识别结果信息，使识别结果统一部230判定该准确度是否为规定的阈值以上或者小于规定的阈值。

由此，每当拍摄图像，都判定根据其图像而得到的信息的准确度是否充分。在根据第一个图像得到的信息的准确度充分的情况下，相比于比较根据多个图像彼此得到的信息彼此后判定所得到的信息的准确度是否充分的步骤，能够更快地获取信息。

作为这样得到的信息的一个例子，例如举例表示食品的加热时间、品尝或者消费期限、管理温度区域的信息。这种信息可以被微波炉、冰箱等活用于控制，也可以在这些设备具备显示部的情况下，显示于显示部。此外，作为其它的活用例，也可以将快递物的发送票中记载的信息、货物的外部贴着的记载有注意事项的标签的信息活用于送货箱中的货物管理。

(实施方式2)

以下，使用图14～16，对实施方式2进行说明。

[1.概要]

实施方式2中，在使用包含从加热室的侧方的不同高度的位置向加热室的内部射出光的多个照明灯的照明部，对放置于该加热室内的大小、形状不同的被摄体的适合于文字图形识别的图像进行拍摄方面，与实施方式1共用。

实施方式2中，在基于摄像部的拍摄前检测被摄体的高度、使照明部进行基于与该高度相应的照明灯的照明这方面，与实施方式1不同。

图14是用于对实施方式2中的文字图形识别装置的概要进行说明的图。实施方式2中的文字图形识别装置在还具备多个光传感器402、404以及406这方面，与实施方式1中的文字图形识别装置不同。光传感器402、404以及406被设置于加热室的侧方的不同的高度的位置，对各位置处的该加热室内的明亮度进行检测。另外，在本例中，光传感器402、404以及406分别被设置于照明灯112、114以及116的几乎正面。

如图示那样在不同的高度的位置检测明亮度是用于将各位置处检测得到的明亮度的信息(以下，也称为明亮度信息)作为用于被摄体的高度的推断的信息而提供。例如图14中，表示高度不同的3个被摄体900A、900B以及900C。被摄体900A的高度比照明灯以及光传感器的位置都低。被摄体900B的高度比照明灯116以及光传感器406的位置高，比照明灯114以及光传感器404的位置低。被摄体900C的高度比照明灯114以及光传感器404的位置高，比照明灯112以及光传感器402的位置低。使用例子来对这些被摄体的高度与各光传感器所检测的明亮度的关系进行说明。

在本例中，假定照明灯112、114以及116全部被点亮，射出实质相同强度的光。若此时处于加热室内的是被摄体900A，则任意照明灯射出的光都未被遮挡地到达光传感器402、404以及406，因此各光传感器检测的明亮度没有较大差别。若处于加热室内的是被摄体900B，则照明灯116射出的光的大多数被被摄体900B遮挡并未到达各光传感器。特别地，光传感器406在正面被遮挡射出的光从而不能受光，因此光传感器406检测的明亮度比光传感器402以及404检测的明亮度较大下降。若处于加热室内的是被摄体900C，则照明灯114以及116射出的光的大多数被被摄体900C遮挡并未到达各光传感器。特别地，光传感器404以及406在正面被遮挡射出的光从而不能受光，因此光传感器404以及406检测的明亮度比光传感器402检测的明亮度较大下降。

这样，各光传感器检测的明亮度之差根据放置于空间内的被摄体的高度而不同。因此，能够基于各光传感器检测的明亮度的信息即明亮度信息来推断被摄体的高度。并且，通过预先确定适合于与被摄体的高度相应的拍摄的照明灯，从而能够基于推断的被摄体的高度来选择点亮的照明灯，拍摄适合于文字图形识别的图像。接下来，使用图15来对用于实现这种文字图形识别装置的动作的结构进行说明。

[2.结构]

图15是表示实施方式2中的文字图形识别装置1010的结构的框图。

文字图形识别装置1010在实施方式1中的文字图形识别装置10的结构的基础上，还具备包含光传感器402、404以及406的光检测部400和照明选择部240。此外，存储部120还保存明亮度信息。另外，针对与实施方式1中的文字图形识别装置10共用的结构要素，通过共用的参照符号来表示，省略详细的说明。

照明部110按照控制部200的控制，从照明灯112、114以及116的至少一个射出光来照明该空间。如图15所示，照明灯112、114以及116排列为一列。

光检测部400是包含上述的规定的空间(在本实施方式中为加热室)光传感器402、404以及406的结构要素，被设置于照明部110的对面。光检测部400按照控制部200的控制，在照明部110的全部照明灯射出光来照明该加热室时，将光传感器402、404以及406分别检测的明亮度输出为明亮度信息。该明亮度信息被保存于存储部120。光传感器402、404以及406可使用各种已知的光传感器来实现。

照明选择部240是功能性结构要素，通过执行保存于存储部120的程序的控制部200而被提供并且控制，执行以下动作。照明选择部240根据光检测部400输出的明亮度信息，对处于加热室内的被摄体900的高度进行推断。推断例如上述的概要所记载那样，基于各光传感器检测到的明亮度的强弱关系来进行。作为其它的例子，也可以基于各传感器检测到的明亮度是否比规定的阈值所表示的强度强来进行推断。此外，根据该推断到的高度，选择为了拍摄而应用的照明图案。该选择例如参照实施方式1的变形例1中参照的图7所示的数据来进行。根据该数据的例子，射出光未被被摄体900遮挡的照明灯之中，处于最低位置的照明灯被选择为使其照明的照明灯116。此外，在全部照明灯的射出光被被摄体900遮挡的情况下，全部照明灯被选择为使其照明的照明灯112、114、116。这是为了由于不存在从各照明灯达到被摄体900的上表面的直接光，因此通过加热室内的反射光，即使较少也能够使被摄体900的上表面变亮。

[3.动作例]

以下对如以上那样构成的文字图形识别装置1010的动作进行说明。图16是表示文字图形识别装置1010的动作的流程的一个例子的流程图。该动作以控制部200从微波炉接收到文字图形识别的结果的请求为契机来执行，该微波炉例如从用户接受开始自动加热的指示的输入，或者检测到加热对象的物体被放入加热室并关上门。

图16所示的动作取代图3所示的实施方式1的动作的最初的步骤即改变照明灯来拍摄多个图像(步骤S10)而包含3个步骤，之后的步骤共用。以下，以与该实施方式1的差异为中心来进行说明。

[3-1.明亮度的检测]

首先，在步骤S1000中，控制部200使照明部110点亮照明灯112、114以及116的全部，对放置有被摄体900的加热室进行照明。然后，控制部200将照明部110照明加热室时光检测部400的光传感器402、404以及406分别检测的加热室内的明亮度作为明亮度信息来输出到光检测部400。被输出的该明亮度信息的数据被保存于存储部120。

[3-2.高度的推断以及照明灯的选择]

接下来，在步骤S1005中，照明选择部240从存储部120获取明亮度信息的数据，照明选择部240基于该数据所示的光传感器402、404以及406分别检测到的明亮度来推断被摄体900的高度。该推断例如如上述那样基于各光传感器检测到的明亮度的强弱的关系来进行。此外，例如，也可以在任何光传感器检测到的明亮度都比规定的阈值所示的强度弱的情况下，照明选择部240推断为被摄体900的高度比处于最高位置的照明灯112高。

并且，照明选择部240选择与该推断的高度相应的照明灯。该选择例如参照表示图7所示的被摄体的高度的范围与为了拍摄而点亮的照明灯的对应关系的数据而进行。选择的照明灯的组合被通知给控制部200。

[3-3.拍摄]

在步骤S1010中，控制部200使照明部110点亮成为被通知的照明灯的组合的照明灯来照明加热室中。此外，控制部200在照明部110照明加热室中时，使摄像部100拍摄规定的摄影范围的图像。

[3-4.读取区域的决定以及文字或者图形的识别]

步骤S20以后的步骤中的文字图形识别装置1010的动作与实施方式1中的文字图形识别装置10的动作基本相同。但是，在上述的决定之后拍摄仅一次的情况下，不需要识别结果的统一。

[4.变形例]

上述中说明的结构以及动作是一个例子，能够进行各种变形。

例如上述中拍摄时的各照明灯被设为点亮或者熄灭的任意状态，但各照明灯的明亮度也可以根据被摄体的高度来进行多阶段的调整。另外，本公开中的照明图案中能够也包含各照明灯的明亮度。

此外，也可以增加各光传感器检测的明亮度的区分、或者设置于不同高度的光传感器的数量，来以更多的阶段推断高度的范围。并且，也可以根据以该多阶段推断的高度的范围，从上述的多阶段的明亮度来选择适当的明亮度。

此外，上述的动作中，为了高度的推断而点亮多个照明灯的全部，但也可以为了高度的推断，一部分的照明灯未被点亮。例如也可以仅点亮一个照明灯，基于被摄体未处于空间内时和某个时刻的各光传感器所检测的明亮度的差异，来推断被摄体的高度。其中，点亮多个照明灯的方法更容易以更高精度进行高度的推断。

此外，上述的结构中，为了推断放置于空间内的被摄体900的高度，将多个照明灯设置于不同的高度，但也能够通过将多个照明灯在水平方向排列设置，来推断放置于空间内的被摄体900的位置。进一步地，也可以将多个照明灯在水平、垂直两方向排列设置。在该情况下，能够推断被放置于空间内的被摄体900的位置和大小，基于该推断的结果，选择为了拍摄而点亮的照明灯或者进一步各照明灯的明亮度(照明图案)。

此外，文字图形识别装置1010也可以基于被摄体900的高度(或者还有位置、姿势)的推断，在适合于文字图形识别的图像的获取中，进行点亮不同的照明灯并拍摄多个图像并且将这些图像合成、或者将各图像中的文字图形识别的结果统一的动作。在该情况下，在文字图形识别装置1010中，拍摄多个图像之后，执行实施方式1的动作例或者其变形例1～6的步骤。

[5.效果等]

如以上那样，在本实施方式中，文字图形识别装置1010在文字图形识别装置10的结构的基础上，还具备包含被设置于空间的侧方的不同高度来检测该空间内的明亮度的多个光传感器的光检测部400、和照明选择部240。

控制部200使照明部110从多个照明灯112、114以及116之中的一个以上的照明灯射出光来照明空间。此外，控制部200使光检测部400将照明部110照明空间时多个光传感器分别检测的空间内的明亮度输出为明亮度信息。此外，控制部200使照明选择部240根据明亮度信息来推断被摄体900的高度，根据该被推断的高度来选择照明灯的组合。

由此，能够根据被推断的被摄体900的高度，快速地获取适合于基于文字图形识别的信息的获取的该被摄体900的图像。

(其他实施方式)

如以上那样，作为本申请中公开的技术的示例，说明了实施方式1以及2。但是，本公开中的技术并不限定于此，也能够应用于适当地进行了变更、置换、附加、省略等的实施方式。此外，也能够将上述实施方式1以及2中说明的各结构要素组合，设为新的实施方式。

此外，上述各实施方式中，也可以作为将各结构要素执行的步骤包含为方法步骤的方法而实现。

此外，上述各实施方式中，各结构要素由专用的硬件构成，或者也可以通过执行适合于各结构要素的软件程序来实现。各结构要素也可以通过CPU或者处理器等程序执行部读取并执行硬盘或者半导体存储器等记录介质中记录的软件程序来实现。这里，实现上述各实施方式或者其变形例中的文字图形识别装置的软件例如是如下那样的程序。

即，该程序是执行以附加在处于规定的空间的被摄体上的文字或者图形为对象的识别并获取信息的程序。并且，该程序针对包含从不同位置射出光来照明规定的空间的多个照明灯的照明部、以及用于对该空间中包含被摄体的规定的摄影范围的图像进行拍摄的摄像部所连接的控制部，控制照明部，应用多个照明灯的每一个的点亮或者熄灭的组合即照明图案从而照明空间。进一步地，该程序在控制摄像部，照明部照明规定的空间时，使其拍摄上述的摄影范围的图像。此外，是进一步使该控制部识别由摄像部拍摄的图像中的文字或者图形并获取信息的文字图形识别程序。

如以上那样，作为本公开中的技术的示例，说明了实施方式。为此，提供了附图以及详细的说明。

因此，附图以及详细的说明中所述的结构要素中，不仅包含课题解决所必须的结构要素，为了示例上述技术，也能够包含并非为了课题解决所必须的结构要素。因此，这些非必须的结构要素虽记载于附图、详细的说明，但不应直接将这些非必须的结构要素认定为必须。

此外，上述的实施方式是为了示例本公开中的技术，因此能够在权利要求书或者其均等的范围内进行各种变更、置换、附加、省略等。

产业上的可利用性

本公开能够应用于执行以附加在处于可遮挡的空间的被摄体上的文字或者图形为对象的识别并获取信息的装置。具体而言，本公开能够应用于将处于微波炉、寄存柜、送货箱、冰箱等的库内的物体设为被摄体、获取其图像来执行文字图形识别的装置。

-符号说明-

10、1010 文字图形识别装置

100 摄像部

110 照明部

112、114、116 照明灯

120 存储部

200 控制部

210 读取区域决定部

220 识别部

230 识别结果统一部

240 照明选择部

300 输入输出部

400 光检测部

402、404、406 光传感器

900 便当(被摄体)

900A、900B、900C 被摄体

910 标签

Claims (16)

1.一种文字图形识别装置，是执行以附加在处于规定的空间的被摄体上的文字或者图形为对象的识别从而获取信息的装置，所述文字图形识别装置具备：

控制部；

摄像部，对包含所述被摄体的规定的摄影范围的图像进行拍摄；

照明部，包含从不同位置射出光来照明所述规定的空间的多个照明灯；和

识别部，识别由所述摄像部拍摄的图像中的文字或者图形来获取所述信息，输出包含获取到的所述信息的识别结果信息，

所述控制部进行所述多个照明灯各自的点亮或者熄灭的组合即照明图案向所述照明部的应用、以及所述摄像部的拍摄的定时的控制。

2.根据权利要求1所述的文字图形识别装置，其中，

所述文字图形识别装置还具备读取区域决定部，

基于所述摄像部拍摄的图像的像素值，决定所述图像中的包含所述识别的对象的读取区域。

3.根据权利要求2所述的文字图形识别装置，其中，

所述控制部依次变更应用于所述照明部的所述照明图案，从而使其以不同的多个照明图案照明所述规定的空间，

所述控制部使所述摄像部在所述照明部以所述多个照明图案分别照明所述空间时进行拍摄从而拍摄多个所述图像，

所述控制部使所述读取区域决定部决定所述多个图像中的至少一个所述读取区域。

4.根据权利要求3所述的文字图形识别装置，其中，

所述控制部使所述读取区域决定部基于所述多个图像各自所包含的像素的像素值来从所述多个图像选择一个图像，并决定所选择的所述图像中的所述读取区域。

5.根据权利要求3所述的文字图形识别装置，其中，

所述控制部使所述读取区域决定部根据所述多个图像的至少2个来生成平均图像，并决定所述平均图像中的所述读取区域。

6.根据权利要求3所述的文字图形识别装置，其中，

所述控制部使所述读取区域决定部根据所述多个图像的至少2个，生成表示处于各图像的相同位置的像素的像素值的最大值与最小值的差分的差分图像，并决定所述差分图像中的所述读取区域。

7.根据权利要求3所述的文字图形识别装置，其中，

所述控制部使所述读取区域决定部基于所述多个图像各自所包含的像素的像素值来选择一个图像，使用所述多个图像的其他图像的一部分的区域来修正所选择的所述图像的一部分的区域之后，决定所选择的所述图像中的所述读取区域。

8.根据权利要求3所述的文字图形识别装置，其中，

所述控制部使所述读取区域决定部决定所述多个图像各自中的所述读取区域的候选从而获取多个临时读取区域，基于所述多个临时读取区域各自包含的像素的像素值，从所述多个临时读取区域进行选择来决定所述读取区域。

9.根据权利要求3所述的文字图形识别装置，其中，

所述文字图形识别装置还具备识别结果统一部，

所述控制部使所述读取区域决定部从所述多个图像分别决定所述读取区域，从而获取多个所述读取区域，

所述控制部使所述识别部对所述多个读取区域分别执行所述识别，使其输出所述多个读取区域的每一个读取区域的包含通过所述识别而获取的所述信息以及该信息的准确度的所述识别结果信息，

所述控制部使所述识别结果统一部基于所述多个读取区域的每一个读取区域的所述准确度来统一所述信息。

10.根据权利要求2所述的文字图形识别装置，其中，

所述控制部使所述读取区域决定部基于所述图像包含的至少一部分像素的像素值，判断所述图像是否适合于基于所述识别部的识别，

所述控制部在所述读取区域决定部判定为所述图像不适合于基于所述识别部的识别的情况下，使所述照明部应用与所述照明图案不同的照明图案，使所述摄像部在对所述照明部应用所述不同的照明图案时进一步拍摄所述图像，

所述控制部在所述读取区域决定部判定为所述图像适合于基于所述识别部的识别的情况下，使所述读取区域决定部决定所述读取区域。

11.根据权利要求2所述的文字图形识别装置，其中，

所述文字图形识别装置还具备识别结果统一部，

所述控制部使所述识别部对所述读取区域执行所述识别，输出包含通过所述识别而获取的所述信息以及该信息的准确度的所述识别结果信息，

所述控制部使所述识别结果统一部判定所述准确度是规定的阈值以上还是小于规定的阈值，

所述控制部在所述识别结果统一部判定为所述准确度小于规定的阈值的情况下，依次变更应用于所述照明部的所述照明图案，以不同的多个照明图案照明所述规定的空间，使所述摄像部在所述照明部以所述多个照明图案分别照明所述空间时进一步拍摄所述图像。

12.根据权利要求10所述的文字图形识别装置，其中，

在所述读取区域决定部判定为所述图像不适合于基于所述识别部的识别的情况下，

所述控制部使所述读取区域决定部将进行了所述判定的图像与进一步拍摄的所述图像合成从而获取新的图像，基于所述新的图像包含的至少一部分像素的像素值，判定所述新的图像是否适合于基于所述识别部的识别。

13.根据权利要求11所述的文字图形识别装置，其中，

在所述识别结果统一部判定为所述准确度小于规定的阈值的情况下，

所述控制部使所述读取区域决定部将进行了所述判定的图像与进一步拍摄的所述图像合成从而获取新的图像，并决定所述新的图像中的读取区域，

所述控制部使所述识别部对所述新的图像中的读取区域执行所述识别，输出包含通过所述识别而获取的所述信息以及该信息的准确度的所述识别结果信息，

所述控制部使所述识别结果统一部判定所述准确度是规定的阈值以上还是小于规定的阈值。

14.根据权利要求1所述的文字图形识别装置，其中，

所述照明部包含排列为一列的多个照明灯，

所述文字图形识别装置还具备：光检测部，被设置于所述照明部的对面，包含检测所述规定的空间内的明亮度的多个光传感器，

所述控制部使所述照明部从所述多个照明灯之中的一个以上的照明灯射出所述光来照明所述规定的空间，

所述光检测部将所述照明部照明所述规定的空间时所述多个光传感器分别检测的所述规定的空间内的明亮度作为明亮度信息输出，

进一步地，所述控制部根据所述明亮度信息来推断所述被摄体的位置，选择与所推断的所述位置相应的所述照明图案，使所述照明部以所选择的所述照明图案来照明所述规定的空间。

15.一种文字图形识别方法，是执行以附加在处于规定的空间的被摄体上的文字或者图形为对象的识别从而获取信息的方法，

对包含从不同位置射出光来照明所述规定的空间的多个照明灯的照明部，应用所述多个照明灯各自的点亮或者熄灭的组合即照明图案，从而照明所述规定的空间，

在对所述照明部应用所述照明图案来照明所述规定的空间时，拍摄所述规定的摄影范围的图像，

识别被拍摄的图像中的文字或者图形来获取所述信息。

16.一种文字图形识别程序，是执行以附加在处于规定的空间的被摄体上的文字或者图形为对象的识别从而获取信息的程序，

控制部连接于包含从不同位置射出光来照明所述规定的空间的多个照明灯的照明部以及用于对包含所述被摄体在内的规定的摄影范围的图像进行拍摄的摄像部，

所述文字图形识别程序使控制部控制所述照明部，通过应用所述多个照明灯各自的点亮或者熄灭的组合即照明图案来使其照明所述规定的空间，

使所述控制部控制所述摄像部，在所述照明部照明所述规定的空间时，拍摄所述规定的摄影范围的图像，

进一步地，使所述控制部识别由摄像部拍摄的图像中的文字或者图形从而获取所述信息。