CN110097057A - 图像处理装置以及存储介质 - Google Patents

图像处理装置以及存储介质 Download PDF

Info

Publication number
CN110097057A
CN110097057A CN201910089598.9A CN201910089598A CN110097057A CN 110097057 A CN110097057 A CN 110097057A CN 201910089598 A CN201910089598 A CN 201910089598A CN 110097057 A CN110097057 A CN 110097057A
Authority
CN
China
Prior art keywords
shopping
region
single image
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910089598.9A
Other languages
English (en)
Other versions
CN110097057B (zh
Inventor
水库洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN110097057A publication Critical patent/CN110097057A/zh
Application granted granted Critical
Publication of CN110097057B publication Critical patent/CN110097057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/209—Specified transaction journal output feature, e.g. printed receipt or voice output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Character Input (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Character Discrimination (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种图像处理装置以及存储介质，提高购物单图像中明细区域的识别性。图像处理装置具备：控制部，获取通过读取购物单而生成的购物单图像；以及显示部，显示所述购物单图像，所述控制部通过字符识别来识别所述购物单图像中包含的字符串，根据所述购物单图像中包含的字符串来确定所述购物单图像内的明细区域，使所述显示部显示省略所述购物单图像中比所述明细区域的上端靠上侧的区域并包含所述明细区域的一部分或者全部的区域。

Description

图像处理装置以及存储介质
技术领域
本发明涉及图像处理装置以及存储介质。
背景技术
以往已知图像处理程序，使显示器显示拍摄到购物单的购物单图像，能够确认购物单图像中包含的店名、各商品金额、共计金额等的明细(参考专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2016-126356号公报
但是，当显示器显示购物单图像时，有时在购物单的上端侧、下端侧记载有企业的广告、各种问卷等与明细无关的内容。因此，在购物单图像之中相对小地显示明细，或者明细没有进入画面内，有时用户难以确认明细。
发明内容
一种图像处理装置，其特征在于，具备：控制部，获取通过读取购物单而生成的购物单图像；以及显示部，显示所述购物单图像，所述控制部通过字符识别来识别所述购物单图像中包含的字符串，根据所述购物单图像中包含的字符串来确定所述购物单图像内的明细区域，使所述显示部显示省略所述购物单图像中比所述明细区域的上端靠上侧的区域并包含所述明细区域的一部分或者全部的区域。
一种存储介质，其特征在于，存储有图像处理程序，所述图像处理程序使计算机执行对通过读取购物单而生成的购物单图像的处理，使计算机执行使显示部显示所述购物单图像的控制功能，所述控制功能通过字符识别来识别所述购物单图像中包含的字符串，根据所述购物单图像中包含的字符串来确定所述购物单图像内的明细区域，使所述显示部显示省略所述购物单图像中比所述明细区域的上端靠上侧的区域并包含所述明细区域的一部分或者全部的区域。
附图说明
图1是简要示出图像处理装置的构成的图。
图2是示出第一实施方式涉及的处理的流程图。
图3是示出购物单的一个例子的图。
图4是示出设定画面的一个例子的图。
图5A是示出购物单显示栏中购物单图像的显示状态的一个例子的图。
图5B是示出购物单显示栏中购物单图像的显示状态的其他例子的图。
图6A是示出购物单图像的以往显示状态的一个例子的图。
图6B是示出购物单图像的以往显示状态的其他例子的图。
图7是示出第二实施方式涉及的处理的流程图。
图8是示出第三实施方式涉及的设定画面的例子的图。
图9是示出第四实施方式以及第五实施方式涉及的设定画面的例子的图。
附图标记说明
10…图像处理装置；11…控制部；12…显示部；13…操作接收部；14…通信接口(IF)；15…存储部；20…数据获取部；21…明细区域确定部；22…显示控制部；30…扫描器；40…原稿；50…设定画面；51…购物单显示栏；52…明细显示栏；A…程序。
具体实施方式
下面，参考各附图说明本发明的实施方式。此外，各附图仅是用于说明本实施方式的例示。
1.装置构成的概要说明
图1简要示出本实施方式的图像处理装置10的构成。图像处理装置10与读取装置(扫描器30)以可通信方式连接，读取装置(扫描器30)光学读取原稿，生成预定格式的图像数据作为读取结果，并将该图像数据输出至外部。扫描器30为包含公知产品在内作为图像读取装置发挥功能的装置即可。
图像处理装置10例如通过个人电脑(PC)、智能手机、平板式终端、便携式电话或者具有与其相同程度处理能力的信息处理装置来实现。另外，可以将能够实现本实施方式的控制部11以及显示部12的硬件称作图像处理装置。
图像处理装置10具备控制部11、显示部12、操作接收部13、通信接口(IF)14和存储部15等。控制部11构成为适当包含处理器(例如CPU11a。可以是ASIC，ASIC与CPU等的协作。)，具有ROM11b、RAM11c等的一个或多个IC，其他存储器等。存储部15例如是硬盘驱动器(HDD)、闪速存储器等非易失性存储装置。存储部15可以是控制部11的一部分。
在控制部11中，处理器(CPU11a)通过将RAM11c等作为工作区域使用而执行遵循ROM11b、存储部15等所存储的程序的运算处理，从而控制图像处理装置10。控制部11作为程序之一安装有程序A，按照程序A，实现数据获取部20、明细区域确定部21、显示控制部22等的各功能。程序A是使计算机执行对通过读取购物单而生成的购物单图像的处理的图像处理程序。另外，程序A是用于执行购物单图像的存储、管理的应用程序。
通信接口14是以包含公知通信标准的规定通信协议为基准通过有线或无线与外部执行通信的接口(IF)。在图1的例子中，图像处理装置10经由通信接口14与扫描器30连接。图像处理部10也可以通过通信接口14或者未图示的其他通信接口而连接于外部的网络，控制部11例如能够通过所述网络(局域网、互联网通信网络等)，向未图示的外部服务器上传从扫描器30获取的图像数据。
显示部12是用于显示视觉信息的单元，例如由液晶显示器(LCD)、有机EL显示器等构成。显示部12可以是包括显示器以及用于驱动显示器的驱动电路的构成。操作接收部13是用于接收用户操作的单元，例如通过实物按钮、触摸面板、鼠标、键盘等实现。当然，也可以作为显示部12的一个功能来实现触摸面板。另外，能够包含显示部12以及操作接收部13在内称作操作面板等。
操作接收部13、存储部15等图1示出的一部分构成可以是外置于图像处理装置10的外围设备。另外，可以将包括图1示出的图像处理装置10和扫描器30的构成视为一个系统。或者，图像处理装置10和扫描器30可以是作为实物其整体包含在一个装置中。在图像处理装置10和扫描器30包含在一个装置中时，能够将这种一个装置称为读取装置等。另外，包含图像处理装置10和扫描器30的构成也可以是一并具有打印机(复印机)、传真等的多个功能的复合机。
2.购物单图像的显示处理
图2通过流程图示出控制部11按照程序A执行的处理。图2的流程图包括显示购物单图像的处理。将按照图2的流程图说明的实施方式还称为第一实施方式。
扫描器30通过读取用户任意设置的原稿来生成图像数据。在本实施方式中，用户使扫描器30读取的原稿为由用户购物的店铺发行的购物单40。扫描器30将购物单40的读取结果即图像数据发送给图像处理装置10。在本实施方式中，将购物单40的读取结果即图像数据称作购物单图像。可以是，控制部11经由通信接口14向扫描器30指示对原稿的读取开始，扫描器30按照来自控制部11的读取开始的指示而开始原稿(购物单40)的读取。
图3示出用户使扫描器30读取的购物单40的例子。购物单40上记载了购物单40的发行源即店名、发行日期、店铺联系方式、用户购买的物品、服务的各金额(各商品金额)、用户支付的共计金额等。除此之外，购物单40上有时记载广告、各种问卷、用户的积分数等各种信息。
数据获取部20如此经由通信接口14获取从扫描器30发送的购物单图像(步骤S100)。此外，数据获取部20可以从被自扫描器30传输购物单图像的传输目的地即存储部(例如，存储部15)获取购物单图像，而不是从扫描器30直接获取(接收)购物单图像。
明细区域确定部21将在步骤S100中数据获取部20获取的购物单图像作为对象，执行字符识别(OCR：Optical Character Recognition/Reader，光学字符识别/读取)，从而识别购物单图像中所包含的字符串(步骤S110)。在该情况下，明细区域确定部21将购物单图像中所包含的字符串和可识别对象转换为字符数据(文本数据)。字符识别处理是公知技术，省略其说明。
在步骤S120中，明细区域确定部21根据在步骤S110中识别的购物单图像中所包含的字符串(下面，图像内字符串)，确定购物单图像内的明细区域。明细区域是指记载店名、各商品金额、共计金额等各预定项目的字符串的区域。明细区域确定部21从图像内字符串提取这种包含在明细区域中的各项目的字符串，将购物单图像内记载有所提取的字符串的区域确定为明细区域。
更具体而言，明细区域确定部21从图像内字符串中提取对应预定的第一项目的第一字符串以及对应预定的第二项目的第二字符串，将购物单图像内从第一字符串到第二字符串的区域确定为明细区域。关于购物单，大多在店名和共计金额之间记载各商品金额。在此，作为一个例子，第一项目是店名，第二项目是共计金额。
明细区域确定部21例如参考存储部15等中预先存储的店名列表，从图像内字符串中提取与店名列表中包含的任一店名一致或者包含店名列表中包含的任一个店名的字符串，作为对应第一项目(店名)的第一字符串。店名列表中例如记录有过去通过程序A的功能与购物单图像一起保存的店名。另外，明细区域确定部21从图像内字符串中例如提取包含“共计”、“total”、“营业额”等的预定的字、表示接续预定的字所记载金额的数字的字符串，作为对应第二项目(共计金额)的第二字符串。明细区域确定部21能够将图像内字符串中物品、服务的名称与表示金额的数字的组合在购物单图像的上下方向上排列的范围，作为表示各商品金额的字符串提取。而且，明细区域确定部21将第一字符串作为明细的起始行，将第二字符串作为明细的最末行，将购物单图像内从明细的起始行到最末行的区域确定为明细区域。参照图3，购物单40内从记载店名“XYZ Mart”的行到记载“共计￥5,550”的行的范围41对应购物单图像内的明细区域。
在步骤S130中，显示控制部22使显示部12显示购物单图像中省略购物单图像的上端并包含步骤S120中所确定的明细区域的局部或者全部的区域。为了方便起见，将在步骤S130中使显示部12所显示的购物单图像的区域还称作“对象区域”。
图4示出显示控制部22在步骤S130中使显示部12显示的设定画面50的一个例子。设定画面50包括用于显示购物单图像的购物单显示栏51、用于显示包含在明细区域中的多个项目的字符串的明细显示栏52、保存用按钮(OK按钮)55等。在购物单显示栏51中显示在步骤S100中获取的购物单图像IM。用户能够通过购物单显示栏51识别扫描器30读取的购物单40。但是，在步骤S130中，在购物单显示栏51中显示购物单图像IM中的对象区域IM3。
明细显示栏52中包括用于设定购物单的发行源(店名、商户名等)的发行源设定栏53、用于设定购物单的发行日期的发行日设定栏54、其他分别用于设定货款的支付方法、税金数额、货款的共计金额等的各设定栏。用户能够操作操作接收部13等，对明细显示栏52的各设定栏进行任意输入、编辑。另外，也可以是，控制部11从在步骤S110中识别的图像内字符串中提取店名、日期、共计金额等各种信息(字符串)，将提取的各字符串自动显示在明细显示栏52的对应的各设定栏中。
这样在显示部12显示设定画面50对应于在显示部12显示对象区域IM3。站在用户的视角，在显示部12显示设定画面50的时刻，在购物单显示栏51中显示购物单图像IM中的对象区域IM3。
图5A以及图5B分别截取例示出显示控制部22在步骤S130中使显示部12显示设定画面50的时刻的购物单显示栏51。显示控制部22可以采用图5A、图5B的显示状态的任一个。
图5A是在购物单显示栏51中以将上下方向作为长边的购物单图像IM的短边(沿横向的边)与购物单显示栏51的短边(沿横向的边)一致的尺寸显示购物单图像IM的局部的例子。
另一方面，图5B是在购物单显示栏51中以将从明细区域IM1在购物单图像IM的上下方向上的上端E1到下端E2的范围与购物单显示栏51的长边(沿上下方向的边)一致的尺寸显示购物单图像IM的局部的例子。
在图5A、后述的图6A、图6B中，为了方便说明起见，用双点划线示出明细区域IM1的上端E1、下端E2的位置，但这样示出上端E1、下端E2的双点划线并不是实际在购物单40中存在。
在图5A中，购物单显示栏51所显示的图像中比上端E1靠上侧的图像是非对应于购物单图像IM中在步骤S120中确定的明细区域IM1的非明细区域IM2的一部分。在图5A中，购物单显示栏51中所显示的图像中除非明细区域IM2之外的图像对应于在步骤S120中确定的明细区域IM1的一部分。在图5A中，购物单显示栏51所显示的非明细区域IM2是明细区域IM1的上端E1附近的极小一部分，是没有包含购物单图像IM的上端EU的图像。
因而，图5A示出的购物单显示栏51内的图像相当于购物单图像IM中省略上端EU并包含步骤S120中确定的明细区域IM1的局部或者全部的区域(对象区域IM3)的一个例子。顺便一提，图5A的购物单显示栏51内的图像与图4的购物单显示栏51内的图像相同。图5A的购物单显示栏51内的图像中用灰色表示非明细区域IM2的理由将在后文叙述。
如图5A所示，显示控制部22在步骤S130中，在使购物单显示栏51以购物单图像IM的短边与购物单显示栏51的短边一致的尺寸显示购物单图像IM的一部分时，可以使明细区域IM1的上端E1的位置与购物单显示栏51的上端对齐，在购物单显示栏51中不显示比上端E1靠上侧的非明细区域IM2。这样，使明细区域IM1的上端E1与购物单显示栏51的上端对齐的状态下的购物单显示栏51内的图像也对应于购物单图像IM中省略上端EU并包含步骤S120中确定的明细区域IM1的局部或者全部的区域(对象区域IM3)。
在图5B中，明细区域IM1的上端E1与购物单显示栏51的上端对齐，明细区域IM1的下端E2与购物单显示栏51的下端对齐，其结果，在购物单显示栏51中显示明细区域IM1整体。因而，图5B所示的购物单显示栏51内的图像也对应于购物单图像IM中省略上端EU并包含步骤S120中确定的明细区域IM1的局部或者全部的区域(对象区域IM3)。
也就是说，对象区域IM3是满足没有包含购物单图像IM的上端EU且包含明细区域IM1的局部或者全部这一条件的、购物单图像IM的局部区域，或是明细区域IM1整体，或是明细区域IM1的局部，或是明细区域IM1整体以及非明细区域IM2的局部，或是明细区域IM1的局部以及非明细区域IM2的局部。另外，作为本实施方式的一方式，可以将对象区域IM3定义为包含明细区域IM1的局部或者全部且不包含购物单图像IM的上端EU但包含明细区域IM1的上端E1的区域。
图6A以及图6B分别例示出显示部12对购物单图像IM的以往显示状态。以往，用于对购物单图像进行处理的应用程序在使购物单显示栏51以购物单图像IM的短边与购物单显示栏51的短边一致的尺寸显示购物单图像IM的一部分时，如图6A所示，使购物单图像IM的上端EU的位置与购物单显示栏51的上端对齐来显示。也就是说，显示出购物单图像IM的上端EU。因此，明细区域IM1上侧的非明细区域IM2占据购物单显示栏51的大部分或者全部，用户在画面上确认明细区域IM1时需要进行向下方向滚动购物单显示栏51内的图像的操作来显示明细区域IM1。
另外，以往，如图6B所示，用于对购物单图像进行处理的应用程序使购物单图像IM的上端EU的位置与购物单显示栏51的上端对齐，并且使购物单图像IM的下端的位置与购物单显示栏51的下端对齐，从而在购物单显示栏51显示购物单图像IM的整体。在这样的情况下，作为购物单图像IM的一部分的明细区域(从上端E1到下端E2的区域)是在购物单显示栏51中相对小而难以看到的状态，用户在画面上确认明细区域IM1时需要进行提高购物单显示栏51内图像的显示倍率的操作。
对于这样的以往例子(图6A、图6B)，在本实施方式中，如图4、图5A、图5B的例子那样，在步骤S130中显示部12显示设定画面50的时刻，在购物单显示栏51中显示明细区域IM1的大部分或者全部。另外，与图6B示出的显示购物单图像IM整体的方式比较，本实施方式放大显示明细区域IM1。因此，用户不用进行繁琐操作就能够通过购物单显示栏51轻松识别购物单图像IM的明细区域IM1。
如上所述，在显示部12显示设定画面50的状态下，显示控制部22在经由操作接收部13接收到用户的任意操作时，进行响应所接收到的操作的显示控制(步骤S140)。例如，显示控制部22在接收到与明细显示栏52的各设定栏对应的文字输入时，根据接收到的文字输入而在各设定栏中显示字符串。另外，显示控制部22在接收到对与购物单显示栏51一起显示的滚动条SB(参照图5)进行的操作时，根据滚动条SB的操作来滚动购物单显示栏51内的显示。
控制部11在从用户接收到完成对设定画面50的设定输入的预定操作，例如对OK按钮55的操作时，将在步骤S100获取的购物单图像作为文件保存在存储部15等(步骤S150)，关闭设定画面50而结束图2的流程。控制部11在将购物单图像作为文件保存时，与明细显示栏52的各设定栏中当前设定内容(显示内容)一起保存。关于与购物单图像一起保存的设定内容，用户可通过再次打开设定画面50来随时编辑。
这样，根据本实施方式，图像处理装置10具备控制部11，控制部11获取通过购物单40的读取而生成的购物单图像(步骤S100)，使显示部12显示购物单图像。控制部11通过按照程序A进行控制，通过字符识别来识别购物单图像中包含的字符串(图像内字符串)(步骤S110)，根据图像内字符串确定购物单图像内的明细区域(步骤S120)，使显示部12显示购物单图像中省略购物单图像的上端并包含明细区域的局部或者全部的区域(对象区域)(步骤S130)。其结果，在显示部12中以易于识别的状态显示购物单图像内对用户来说重要区域的明细区域，用户能够轻松确认明细区域。
另外，根据本实施方式，控制部11从图像内字符串中提取与预定的第一项目(例如，店名)对应的第一字符串和与预定的第二项目(例如，共计金额)对应的第二字符串，将购物单图像内从第一字符串到第二字符串的区域确定为明细区域(步骤S120)。根据该构成，控制部11通过提取明细区域中包含的预定的多个项目的字符串，能够容易地确定明细区域。
另外，根据本实施方式，控制部11使显示部12显示设定画面50，该设定画面50包括用于显示购物单图像的购物单显示栏51和用于显示明细区域中包含的多个项目的字符串的明细显示栏52。根据该构成，用户能够在一个画面中进行购物单图像内的明细区域确认和购物单40的发行源、发行日期等各项目的设定。
但是，图4、后述的图8、图9仅是显示作为购物单图像的一部分的对象区域的画面例子。显示对象区域的画面的布局、图案、功能是各种各样，也可以在彼此不同的画面中显示购物单显示栏51和明细显示栏52。
根据以上说明可知，作为图像处理程序的程序A使处理器执行在显示部12显示购物单图像的控制功能。另外，本实施方式还公开相当于通过图像处理程序进行的处理的方法，以及存储图像处理程序的计算机可读的记录介质。
本实施方式不仅包括上述的方式还包括后述那样的各种方式。组合各实施方式的构成也包含在本说明书的公开范围中。下面，关于与已说明的事项相同的事项，适当省略说明。
3.第二实施方式
可以是，控制部11能够执行使显示部12显示购物单图像整体的整体显示，以及使显示部12显示对象区域的局部显示，按照来自外部的指示来执行整体显示或者局部显示。
图7通过流程图示出控制部11按照程序A执行的第二实施方式的处理。以执行图7的流程图为前提，控制部11按照来自用户的指示，使局部显示模式和整体显示模式的任一方有效。在局部显示模式有效的状态下，整体显示模式是无效的，相反地，在整体显示模式有效的状态下，局部显示模式是无效的。在本实施方式中，控制部11在默认设定下使局部显示模式有效。因而，只要用户不进行整体显示模式有效的指示，就是局部显示模式有效的状态。
与图2的流程图相比较，图7的流程图在包含步骤S115、S135的点上不同。在步骤S110之后，控制部11判断当前局部显示模式是否有效(步骤S115)，如果局部显示模式有效，则从步骤S115进入步骤S120。另一方面，如果局部显示模式无效，即整体显示模式有效，则控制部11从步骤S115进入步骤S135。
在步骤S135中，显示控制部22使显示部12显示在步骤S100中获取的购物单图像的整体。即，如图6B中例示那样，显示控制部22在设定画面50的购物单显示栏51中显示购物单图像IM的整体。根据这样的第二实施方式，根据用户的自由选择，控制部11能够使显示部12显示购物单图像的整体，或者使显示部12显示对象区域。
此外，后述的第三～第五实施方式在与第二实施方式组合时，第三～第五实施方式都是局部显示模式有效状态下的实施方式。
4.第三实施方式
控制部11使显示部12显示滚动条SB。而且，可以是，控制部11以不同方式显示滚动条SB的与明细区域对应的范围和滚动条SB的与购物单图像内除明细区域以外的区域(非明细区域)对应的范围。
图8例示出第三实施方式中在步骤S130中显示部12所显示的设定画面50。在设定画面50中，购物单显示栏51中一并显示滚动条SB。图8示出的滚动条SB是用于向上下方向滚动购物单显示栏51内的图像的GUI(Graphical User Interface：图形用户界面)。用户通过操作操作接收部13在滚动条SB的区域中上下移动旋钮SBN，使购物单显示栏51内的图像向上下方向滚动。旋钮SBN的长度相对于滚动条SB中旋钮SBN可移动的区域的长度的比率表示购物单显示栏51所显示图像的上下方向长度相对于购物单图像的上下方向的长度的比率。
显示控制部22例如用比与明细区域对应的范围暗的颜色表示滚动条SB的旋钮SBN可移动的区域中与非明细区域对应的范围NH。换言之，显示控制部22用比与非明细区域对应的范围NH明亮的颜色显示滚动条SB的旋钮SBN可移动的区域中与明细区域对应的范围。通过这样的构成，用户能够直观地理解到将旋钮SBN移动到滚动条SB的区域内哪个位置就在购物单显示栏51内显示明细区域，因此对想要通过购物单显示栏51确认明细区域的用户有帮助。
5.第四实施方式
控制部11可以在显示部12显示省略明细区域所包含的多个项目中与没有预先选择的项目对应的字符串而生成的区域。如前所述，明细区域中包含的多个项目是店名、各商品金额、共计金额等。作为一个例子，用户操作操作接收部13，选择店名以及共计金额而不选择各商品金额，作为购物单显示栏51中应显示的明细区域内项目，以该选择结果作为对控制部11的指示完毕。
图9例示出在第四实施方式中在步骤S130中显示部12所显示的设定画面50。在设定画面50内的购物单显示栏51中显示购物单图像IM中省略购物单图像IM的上端而包含明细区域的一部分(后述再生成的明细区域)的对象区域IM3′。显示控制部22在步骤S120中确定明细区域的过程中从图像内字符串提取的各项目的字符串中，保留包含如上所述那样用户选择的项目(店名以及共计金额)的字符串的行，省略没有被用户选择的项目(各商品金额)的字符串，从而再生成明细区域的图像。而且，显示控制部22根据在上下非明细区域之间夹着所再生成的明细区域的图像而拼合的购物单图像(再生成后的购物单图像)，进行购物单显示栏51内的显示。其结果，在购物单显示栏51内显示图9所示那样的对象区域IM3′。图9示出的对象区域IM3′是包含仅含有店名的字符串“XYZ Mart”以及共计金额的字符串的再生成后的明细区域的图像。
根据这样的第四实施方式，在购物单显示栏51显示仅包含用户预先选择的项目的字符串的明细区域作为明细区域内的项目，因此用户能够通过购物单显示栏51有效确认上下长的购物单40中的自己想要确认的项目。此外，在第四实施方式中，如上述那样的再生成的明细区域终究是用于通过显示部12供用户确认的图像。在步骤S150中，控制部11将再生成前的明细区域、即包含省略用户没有选择的项目(各商品金额)的字符串前的明细区域的购物单图像作为文件保存即可。
6.第五实施方式
控制部11可以使显示部12以与购物单图像内的明细区域以外的区域(非明细区域)不同的方式显示明细区域。在图9中，关于购物单显示栏51内的对象区域IM3′中非明细区域，作为一个例子用灰色表示。另外，在图5A中，在购物单显示栏51内的图像(即对象区域IM3)中以灰色表示非明细区域IM2。这样的灰色表示显示控制部22在步骤S130的处理中将非明细区域变灰显示。当然，变灰显示非明细区域是一个例子，显示控制部22可以在购物单显示栏51内将非明细区域替换为白图像而实质上不显示。另外，也可以是，显示控制部22通过在购物单显示栏51内改变明细区域的亮度、颜色，使明细区域比非明细区域显眼。根据这样的第五实施方式，用户通过显示部12能够明确地识别购物单图像内的明细区域。
7.第六实施方式
控制部11可以从购物单图像中分割明细区域的图像，将分割的明细区域的图像存储在存储部(例如，存储部15)中。即，在步骤S150中，控制部11将在步骤S100中获取的购物单图像作为文件保存时，从购物单图像中分割在步骤S120中确定的明细区域，仅将明细区域的图像与明细显示栏52的各设定栏中设定内容一起保存，而不是保存整个购物单图像。根据这样的第六实施方式，能够抑制保存购物单图像所需的存储容量的消费。

Claims (10)

1.一种图像处理装置，其特征在于，具备：
控制部，获取通过读取购物单而生成的购物单图像；以及
显示部，显示所述购物单图像，
所述控制部通过字符识别来识别所述购物单图像中包含的字符串，根据所述购物单图像中包含的字符串来确定所述购物单图像内的明细区域，使所述显示部显示省略所述购物单图像中比所述明细区域的上端靠上侧的区域并包含所述明细区域的一部分或者全部的区域。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述控制部从所述购物单图像中包含的字符串中，提取与预定的第一项目对应的第一字符串以及与预定的第二项目对应的第二字符串，将所述购物单图像内从所述第一字符串到所述第二字符串的区域确定为所述明细区域。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述第一项目为店名，所述第二项目为共计金额。
4.根据权利要求1至3中任一项所述的图像处理装置，其特征在于，
所述控制部使所述显示部显示省略所述明细区域中包含的多个项目中与没有被预先选择的项目对应的字符串而生成的区域。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述控制部使所述显示部显示滚动条，以不同方式显示所述滚动条的与所述明细区域对应的范围和所述滚动条的与所述购物单图像内所述明细区域以外的区域对应的范围。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述控制部使所述显示部以与所述购物单图像内所述明细区域以外的区域不同的方式显示所述明细区域。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述控制部能够执行整体显示和局部显示，所述整体显示使所述显示部显示所述购物单图像的整体，所述局部显示使所述显示部显示省略比所述明细区域的所述上端靠上侧的区域并包含所述明细区域的局部或者全部的区域，所述控制部按照来自外部的指示来执行所述整体显示或者所述局部显示。
8.根据权利要求1所述的图像处理装置，其特征在于，
所述控制部使所述显示部显示包含购物单显示栏和明细显示栏的画面，所述购物单显示栏用于显示所述购物单图像，所述明细显示栏用于显示所述明细区域中包含的多个项目的字符串。
9.根据权利要求1所述的图像处理装置，其特征在于，
所述控制部从所述购物单图像中分割出所述明细区域的图像，将所分割出的所述明细区域的图像存储在存储部。
10.一种存储介质，其特征在于，存储有图像处理程序，所述图像处理程序使计算机执行对通过读取购物单而生成的购物单图像的处理，
使计算机执行使显示部显示所述购物单图像的控制功能，
所述控制功能通过字符识别来识别所述购物单图像中包含的字符串，根据所述购物单图像中包含的字符串来确定所述购物单图像内的明细区域，使所述显示部显示省略所述购物单图像中比所述明细区域的上端靠上侧的区域并包含所述明细区域的一部分或者全部的区域。
CN201910089598.9A 2018-01-31 2019-01-30 图像处理装置以及存储介质 Active CN110097057B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-014569 2018-01-31
JP2018014569A JP7081179B2 (ja) 2018-01-31 2018-01-31 画像処理装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN110097057A true CN110097057A (zh) 2019-08-06
CN110097057B CN110097057B (zh) 2023-01-06

Family

ID=67391483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910089598.9A Active CN110097057B (zh) 2018-01-31 2019-01-30 图像处理装置以及存储介质

Country Status (3)

Country Link
US (1) US20190236351A1 (zh)
JP (1) JP7081179B2 (zh)
CN (1) CN110097057B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021102850A1 (zh) * 2019-11-28 2021-06-03 京东方科技集团股份有限公司 图片识别的用户界面系统、电子设备及交互方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159875A (ja) * 2018-03-14 2019-09-19 セイコーエプソン株式会社 スキャン装置およびスキャン結果表示プログラム
JP7380319B2 (ja) * 2020-02-26 2023-11-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10275196A (ja) * 1997-03-28 1998-10-13 Sanyo Electric Co Ltd データ入力装置
TW200941272A (en) * 2008-03-10 2009-10-01 Nippon Steel Corp Operation support device, operation support method, and computer program
CN101859597A (zh) * 2009-04-08 2010-10-13 东芝泰格有限公司 订购接受装置及订购接受方法
CN103150652A (zh) * 2011-08-15 2013-06-12 株式会社富士通商务系统 收据定义数据编制装置
US20130230205A1 (en) * 2012-03-01 2013-09-05 Ricoh Company, Ltd. Expense report system with receipt image processing
CN103716067A (zh) * 2012-10-04 2014-04-09 Lg电子株式会社 移动终端、家用电器及其工作方法
US8832590B1 (en) * 2007-08-31 2014-09-09 Google Inc. Dynamically modifying user interface elements
CN104469071A (zh) * 2013-09-19 2015-03-25 株式会社Pfu 图像处理装置及图像处理方法
JP2016167192A (ja) * 2015-03-10 2016-09-15 ブラザー工業株式会社 情報処理装置，画像読取装置，および画像表示方法
US20160307034A1 (en) * 2015-04-14 2016-10-20 Microsoft Technology Licensing, Llc Digital image manipulation
JP2017162078A (ja) * 2016-03-08 2017-09-14 グローリー株式会社 取引処理装置及び取引処理システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6646765B1 (en) * 1999-02-19 2003-11-11 Hewlett-Packard Development Company, L.P. Selective document scanning method and apparatus
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
JP2012043204A (ja) 2010-08-19 2012-03-01 Konica Minolta Business Technologies Inc 画像処理装置、コンテンツ処理方法およびコンテンツ処理プログラム
US9547668B2 (en) * 2012-10-29 2017-01-17 Dropbox, Inc. Event-based content item view
JP6100532B2 (ja) 2013-01-15 2017-03-22 株式会社富士通マーケティング レシート定義データ作成装置およびそのプログラム
JP2015049656A (ja) 2013-08-30 2015-03-16 キヤノン株式会社 情報処理装置、方法及びプログラム
JP6098628B2 (ja) 2014-12-26 2017-03-22 ブラザー工業株式会社 画像処理プログラム、画像処理方法、及び画像処理装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10275196A (ja) * 1997-03-28 1998-10-13 Sanyo Electric Co Ltd データ入力装置
US8832590B1 (en) * 2007-08-31 2014-09-09 Google Inc. Dynamically modifying user interface elements
TW200941272A (en) * 2008-03-10 2009-10-01 Nippon Steel Corp Operation support device, operation support method, and computer program
CN101859597A (zh) * 2009-04-08 2010-10-13 东芝泰格有限公司 订购接受装置及订购接受方法
CN103150652A (zh) * 2011-08-15 2013-06-12 株式会社富士通商务系统 收据定义数据编制装置
US20130230205A1 (en) * 2012-03-01 2013-09-05 Ricoh Company, Ltd. Expense report system with receipt image processing
CN103716067A (zh) * 2012-10-04 2014-04-09 Lg电子株式会社 移动终端、家用电器及其工作方法
CN104469071A (zh) * 2013-09-19 2015-03-25 株式会社Pfu 图像处理装置及图像处理方法
JP2016167192A (ja) * 2015-03-10 2016-09-15 ブラザー工業株式会社 情報処理装置，画像読取装置，および画像表示方法
US20160307034A1 (en) * 2015-04-14 2016-10-20 Microsoft Technology Licensing, Llc Digital image manipulation
JP2017162078A (ja) * 2016-03-08 2017-09-14 グローリー株式会社 取引処理装置及び取引処理システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021102850A1 (zh) * 2019-11-28 2021-06-03 京东方科技集团股份有限公司 图片识别的用户界面系统、电子设备及交互方法
CN113260970A (zh) * 2019-11-28 2021-08-13 京东方科技集团股份有限公司 图片识别的用户界面系统、电子设备及交互方法
CN113260970B (zh) * 2019-11-28 2024-01-23 京东方科技集团股份有限公司 图片识别的用户界面系统、电子设备及交互方法

Also Published As

Publication number Publication date
US20190236351A1 (en) 2019-08-01
CN110097057B (zh) 2023-01-06
JP7081179B2 (ja) 2022-06-07
JP2019133379A (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
US10049410B2 (en) Receipts scanner and financial organizer
CN103218595B (zh) 一种终端及二维码的识别方法
US20190073350A1 (en) Non-Transitory Computer-Readable Medium, Data Processing Device and Data Processing Method
CN110097057A (zh) 图像处理装置以及存储介质
CN102611815A (zh) 图像处理装置、图像处理系统以及图像处理方法
US10909361B2 (en) Receipt processing apparatus, program, and report production method
WO2016117321A1 (en) Electronic information board apparatus and method
JP7255121B2 (ja) レシート処理装置及びレポートの生産方法
US11288500B2 (en) Scan apparatus and scan result display program
JP2015158900A (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN105912315A (zh) 信息处理装置、信息处理系统、信息处理方法和计算机程序产品
CN100514290C (zh) 显示面板的管理系统和管理方法
EP2437184A1 (en) Host apparatus and method of displaying content by the same
CN109598748A (zh) 图像提取装置、图像提取方法及图像提取程序以及存储有该程序的记录介质
US20140237427A1 (en) Browsing device, browsing system, and non-transitory computer readable medium
US20210224924A1 (en) Receipts scanner and financial organizer
CN110097040B (zh) 图像处理装置以及存储介质
CN111724455A (zh) 图像处理方法及电子设备
US20200133404A1 (en) Signature input device, settlement terminal, and signature input method
CN106021279A (zh) 信息显示方法和装置
JP4609560B2 (ja) 画像形成装置及び当該画像形成装置における印刷制御方法
CN116795243A (zh) 标贴打印方法及系统、计算机设备及介质
JP2016031729A (ja) 伝票処理装置、伝票処理方法、及びプログラム
CN110298680A (zh) 广告管理装置、广告管理方法以及计算机可读记录介质
KR101248420B1 (ko) 탬플릿 기반의 전자 제안서 제작 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant