CN111586328B - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN111586328B
CN111586328B CN202010098832.7A CN202010098832A CN111586328B CN 111586328 B CN111586328 B CN 111586328B CN 202010098832 A CN202010098832 A CN 202010098832A CN 111586328 B CN111586328 B CN 111586328B
Authority
CN
China
Prior art keywords
display
condition
unit
display image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010098832.7A
Other languages
English (en)
Other versions
CN111586328A (zh
Inventor
星野彰市
真继优和
御手洗裕辅
野上敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111586328A publication Critical patent/CN111586328A/zh
Application granted granted Critical
Publication of CN111586328B publication Critical patent/CN111586328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及信息处理装置、信息处理方法和记录介质。根据本公开的装置获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件，在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中，并且在确定要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开涉及信息处理装置、信息处理方法和记录介质。
背景技术
在对诸如桥梁的结构物体的壁面进行检查以及对产品的部件或外包装的外观进行检查时，由检查技术人员目视核查诸如裂缝的缺陷。上述称为接近视觉检查的检查工作需要高昂的操作成本。因此，近年来，提供了一种从检查目标的拍摄图像中检测缺陷的方法。日本特开2014-228357号公报讨论了一种裂缝检测方法，即使在混凝土表面的图像中存在与实际裂缝相似的污垢、污点、摄像不均匀或模板标记(formwork mark)的情况下，也能够仅检测实际裂缝。
在上述方法中，存在获取假阳性结果或假阴性结果的情况。因此，基于检测结果，由专家(即，用户)根据需要核查和修改图像。在上述核查和修改操作中，用户重复执行用于放大/缩小图像的操作和用于改变坐标的操作，以精确地查看检测结果的图像中的缺陷。例如，在用户核查了在图像中显示放大的关注部分的一个画面之后，用户可以将一个画面返回到原始画面以继续查看操作，或者可以将一个画面返回到画面之间的中间画面，以查看其他缺陷。然而，为了将一个画面返回到另一个画面，用户必须执行麻烦的操作，例如放大/缩小操作和坐标改变操作，因此将需要用户的时间和精力。因此，提供了一种减少用户的时间和精力的技术。根据在日本特许第5281533号公报中讨论的技术，基于用户指令预先存储了返回目的地画面，从而可以将画面返回到用户指示的返回目的地画面。
然而，在传统技术中，用户必须基于用户指令存储关于用户想要返回到的画面的信息。例如，在用于核查画面上不均匀地存在的各种缺陷的图像检查工作中，用户在核查缺陷之后希望返回的画面位置或显示倍率每次都不同。因此，由于用户必须执行麻烦的操作来存储关于返回目的地画面的信息，因此给用户带来了过多的负担。
发明内容
根据本公开的各种实施例，信息处理装置包括：条件获取单元，其被构造为获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件；确定单元，其被构造为在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中；以及存储控制单元，其被构造为在确定单元确定要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中。
通过以下参考附图对示例性实施例的描述，各种实施例的其他特征将变得清楚。
附图说明
图1A、图1B、图1C和图1D是示意性示出由信息处理装置执行的处理的示例的图。
图2A、图2B、图2C和图2D是示意性示出由信息处理装置执行的处理的示例的图。
图3A和图3B是分别示出信息处理装置的硬件构造和功能构造的示例的框图。
图4A和图4B是示出显示条件等的示例的图。
图5是示出由信息处理装置执行的处理的示例的流程图。
图6A和图6B是示出显示图像的示例的图。
图7A、图7B、图7C和图7D是示出内容变化量的示例的图。
图8A和图8B是示出更新前后的列表的示例的图。
图9A和9B是示出查看状态的示例的图。
图10是示出信息处理装置的功能构造的示例的框图。
图11是示出信息处理装置执行的处理的示例的流程图。
图12是示出确定注视状态的方法的示例的图。
图13A、图13B、图13C、图13D和图13E是示出由信息处理装置执行的处理的示例的图。
图14A、图14B和图14C是示出查看状态的示例的图。
具体实施方式
在下文中，将参照附图详细描述示例性实施例。在下述示例性实施例中描述的构造是代表性示例，并且一些实施例的范围不限于特定构造。
根据第一示例性实施例的信息处理装置100在显示单元(例如，下面在图3A中描述的显示单元155)上显示表示目标数据的图像。目标数据是作为用户查看的目标的数据。在本示例性实施例中，目标数据是二维可见光图像(红绿蓝(RGB)图像)。然而，可以给出诸如由红外照相机拍摄的热图像或由线性传感器照相机拍摄的图像的其他图像作为目标数据的另一示例。此外，在下文中，因为目标数据是图像，所以可以将目标数据称为目标图像。
此外，在本示例性实施例中，“显示图像”是指当信息处理装置100在显示单元155上显示目标图像时实际显示在显示单元155上的图像。换句话说，显示图像是包括全部或部分目标图像的图像。此外，在下文中，“关注区域”是指目标图像中出现在显示图像中的区域。例如，在本示例性实施例中，为了检查缺陷的目的而被查看的图像数据(即，对具体的结构物体摄像的照片、基于照片生成的图像以及示出从图像检测到的裂缝的图像)，例如混凝土结构物体的壁面上产生的裂缝，被视为目标数据。用户可以放大和显示或移动(滚动)上述图像数据以检查关注区域或提供用于修补裂缝的指令。然而，本示例性实施例还可以应用于除缺陷检查以外的目的。例如，本示例性实施例可以用于对出现在图像中的预定目标物体的数量进行计数。
此外，在下文中，用于在显示单元155上显示目标图像的条件称为“显示条件”。显示条件包括用于指定关注区域的坐标信息、关注区域的中心坐标、图像的倾斜角度以及图像的显示倍率。显示条件包括显示图像时使用的任何类型的条件。
首先，将参考图1A、图1B、图1C和图1D以及图2A、图2B、图2C和图2D描述根据本示例性实施例的处理的概况。
图1A是示出在显示单元155上显示的窗口120中显示目标数据的一部分的状态的图。窗口120用于显示显示图像，即关注区域的图像。在图1A的示例中，诸如瑕疵、退化、损坏和其他缺陷等的缺陷110至112被显示在窗口120中。用户(例如，核查数据或负责检查的人)查看窗口120以核查是否存在任何缺陷，例如裂缝。为了详细核查缺陷的状态，例如，如图1B所示，用户放大并显示缺陷110的一部分或显示其周边部分。
在图1A、图1B、图1C和图1D所示的示例中，用户通过图1B中的窗口120核查状态。然后，在详细核查缺陷110之后，用户使画面返回到图1A所示的显示状态以连续核查目标数据。
在此，为了允许用户以较少的时间和精力来返回显示状态，信息处理装置100执行以下处理。如图1C所示，信息处理装置100显示列表130，该列表130是包括用于返回显示状态的对象的列表的对象，并允许用户根据从列表130中选择的对象将画面返回到显示状态。在图1C所示的状态下，当用户从列表130中选择根据返回目的地的对象(即，在图1C的示例中作为按钮对象的对象131)时，信息处理装置100根据选择的对象将画面返回到显示状态。
优选地，将帮助用户确定用户想要返回到的显示状态的信息包括在列表130中。例如，如图1D所示，优选地，信息处理装置100将诸如示出返回目的地的显示状态、位置坐标、显示倍率以及各个对象的显示角度的画面缩略图等的信息与列表130中的对象一起显示。
然而，为了如图1D所示在列表130中显示与多个返回目的地相对应的对象，必须预先存储关于与用户想要返回的显示状态相对应的显示条件的信息。因此，在本示例性实施例中，信息处理装置100获取用于确定是否存储目标数据的显示条件的指标，基于获取的指标确定是否存储显示条件，并在确定要存储显示条件时执行存储处理。通过该处理，信息处理装置100可以存储用于返回目标数据的显示状态的信息，而无需花费用户的时间和精力。以下，将用于确定是否存储显示条件的指标称为确定指标。
图2A、图2B、图2C和图2D是示出在窗口120中显示目标数据的一部分的状态的图。
在本示例性实施例中，信息处理装置100基于显示在显示单元155上的目标数据的显示内容(多个内容)的变化量来获取确定指标。以下，指示目标数据的显示内容的变化量的指标称为内容变化量。可以给出下面在图7A至图7D中描述的指标，作为内容变化量的示例。
将描述目标数据的显示内容的变化量。显示内容的变化量是指：指示用户当前将其视为目标的显示图像与基于过去已经存储的显示条件显示目标数据的显示图像之间的变化程度的指标。
图2A中的显示图像示出了基于过去已经存储的显示条件而显示的目标数据的显示图像。在其上显示包括缺陷210的缺陷图案。图2B中的显示图像示出了在窗口120中显示的用户当前视为目标的显示图像。与图2A中的显示图像相比，缺陷210以放大状态显示。如上所述，当窗口120的显示内容的变化量是基准变化量以上时，信息处理装置100存储在窗口120中显示的用户当前视为目标的显示图像的显示条件。另一方面，当显示内容的变化量小于基准变化量时，信息处理装置100不存储在窗口120中显示的用户当前视为目标的显示图像的显示条件。
图2C中的显示图像示出了在向右的方向上与图2A的显示图像中的区域相距一定距离的在目标数据中的区域的图像。假设图2C中的显示图像相对于图2A的显示图像的变化量小于基准变化量。在这种情况下，信息处理装置100不存储图2C中的显示图像的显示条件。
信息处理装置100将列表130叠加在窗口120中显示的显示图像上。列表130包括用于提供基于过去的显示条件返回到显示状态的指令的对象。在图2D中，显示列表130，列表130包括用于提供基于过去存储的显示条件返回到显示状态的指令的对象。信息处理装置100存储显示条件，并且在列表130中显示与显示条件相对应的预定数量的最新对象。
图3A是示出信息处理装置100的硬件构造的示例的框图。在本示例性实施例中，信息处理装置100是个人计算机(PC)。然而，可以给出诸如服务器装置、平板装置或嵌入式计算机等的其他信息处理装置作为信息处理装置100的另一示例。
信息处理装置100包括中央处理单元(CPU)151，主存储设备152，辅助存储设备153，操作单元154，显示单元155和网络接口(I/F)156。各个元件经由系统总线157以可通信的方式彼此连接。
CPU 151是控制信息处理装置100的中央处理单元。主存储设备152是诸如充当CPU151的工作区或数据的临时存储区的随机存取存储器(RAM)等的存储设备。辅助存储设备153是用于存储各种程序、各种类型的设置信息、各种显示条件和目标数据的存储设备。例如，辅助存储设备153是只读存储器(ROM)、硬盘驱动器(HDD)或固态驱动器(SSD)。主存储设备152和辅助存储设备153中的各个是存储单元的示例。
操作单元154是用于将信息输入到信息处理装置100的输入设备，例如鼠标，键盘，触摸板，触摸面板或手写板设备。显示单元155是显示设备，例如监视器、显示器或触摸面板的显示部分。网络I/F 156是用于经由网络与外部装置进行通信的接口。
CPU 151根据存储在辅助存储设备153中的程序执行处理，从而实现图3B和图10中的下述功能以及图5和图11中的下述流程图的处理。
在本示例性实施例中，操作单元154和显示单元155是分离的构成元件。然而，作为另一示例，操作单元154和显示单元155可以是包括输入设备和显示设备两者的功能的单个构成元件，诸如触摸面板或平板电脑。
图3B是示出信息处理装置100的功能构造的示例的框图。信息处理装置100包括数据管理单元101、显示数据生成单元103、显示条件获取单元104、确定单元105和显示条件管理单元106。
数据管理单元101管理存储在辅助存储设备153中的目标数据。显示数据生成单元103生成显示在显示单元155上的显示图像。显示条件获取单元104设置指定的显示条件或获取显示在显示单元155上的显示图像的显示条件。确定单元105确定是否存储由显示条件获取单元104获取的显示条件。显示条件管理单元106将通过确定单元105确定为要存储的显示条件存储在辅助存储设备153中并管理所存储的显示条件。
图4A是用于管理显示条件的表的示例。以下，将用于管理显示条件的表称为管理表。管理表存储在辅助存储设备153中。管理表包括关于预定显示条件的信息。在本示例性实施例中，管理表包括关于关注区域坐标、中心坐标、显示倍率和角度的各个信息。在本示例性实施例中，在管理表中存储用于识别显示条件的标识(ID)、包括在显示条件中的条件以及显示条件的存储日期/时间。此外，关于显示条件的存储顺序的信息也可以存储在管理表中。
在图4A所示的示例中，关注区域由具有标识“ID001”的显示条件的关注区域坐标指示。被关注区域坐标(X001_1，Y001_1)至(X001_n，Y001_n)的n个点围绕的区域是对应的关注区域。中心坐标表示目标数据中的关注区域的中心的坐标。显示倍率表示关注区域的显示图像被显示的显示倍率。角度表示关注区域的显示图像被显示的倾斜度。日期/时间信息表示关于在显示条件被存储时的日期/时间的信息。
图4B是示出在显示单元155上显示显示图像的状态的示例的图。图像300是检测目标对象的拍摄图像(例如，由100,000×100,000或者更多像素构成的图像)。在本示例性实施例中，图像300被视为目标数据。由x轴和y轴定义的图像坐标系被设置到图像300。在图像300中存在缺陷C001至C003。信息处理装置100在窗口120中将图像300的一部分的放大图像显示为显示图像以核查图像300中包括的缺陷的细节。
在图4B的示例中，由虚线指示的区域310是关注区域，即，在窗口120中显示的区域。在图4B中示出了与显示条件ID001相对应的关注区域。信息处理装置100将由显示条件中包括的关注区域坐标的坐标所指定的目标数据中的区域指定为关注区域，并且在显示单元155上显示示出关注区域的图像的窗口。
将参照图5描述由本示例性实施例的信息处理装置100执行的处理的示例。
在S501中，显示数据生成单元103从辅助存储设备153读取并获取目标数据和预定显示条件。
在S502中，显示数据生成单元103在显示单元155上显示在S501中获取的目标数据中的预定区域(在本示例性实施例中，具有预定大小的左上部分的区域)的图像作为显示图像。此外，显示数据生成单元103基于在S501中获取的显示条件，生成列表130，作为用于提供返回到与显示条件相对应的显示状态的指令的对象的列表，并将列表130显示在显示单元155上。当显示数据生成单元103检测到对列表130中包括的对象的选择时，显示数据生成单元103基于与所选择的对象相对应的显示条件在显示单元155上显示目标数据。
图6A和图6B是示出通过S502中的处理在窗口120中显示的显示图像的示例的图。在图6A的示例中，作为允许用户容易地确定用户想要返回的显示状态的信息，显示数据生成单元103基于列表130上的相应显示条件显示缩略图和关于所显示的显示图像的显示条件的信息。
当存储了相应的显示条件时，显示数据生成单元103以最新日期/时间的顺序排列列表130中包括的对象。然而，作为另一示例，显示数据生成单元103可以以基于对应的显示条件显示的目标数据的区域与窗口120中显示的区域之间的最短距离的顺序排列列表130中包括的对象。
在图6B的示例中，显示数据生成单元103在列表130上显示整个目标数据的俯视图像620以及与作为返回目的地的候选的显示状态的显示条件相对应的对象621和622。对象621和622中的各个是指示目标数据中的相应关注区域的框形对象。例如，当检测到通过操作单元154的操作选择对象621时，显示数据生成单元103基于与对象621相对应的显示条件来显示目标数据。通过上述处理，由对象621指示的目标数据中的区域的图像作为显示图像在显示单元155上进行显示。
信息处理装置100在列表130中显示目标数据的俯视图像620，使得用户可以容易地理解整个目标数据与在返回目的地的显示状态下显示的区域之间的位置关系。此外，如图6B所示，显示数据生成单元103可以在列表130中的俯视图像620上显示对象623，该对象623指示与在处理时在窗口120中显示的显示图像相对应的位置。通过该构造，用户能够更容易地理解当前关注区域与返回目的地候选的关注区域之间的距离关系。
将通过返回图5来描述本示例性实施例。
在S503中，显示条件获取单元104获取在显示单元155上显示的显示图像的显示条件作为与该显示图像相对应的显示条件。
更具体地，显示条件获取单元104获取关于在显示单元155上显示的显示图像的关注区域坐标、中心坐标、显示倍率以及角度的信息，作为显示条件。S503中的处理是条件获取处理的示例。
在S504中，确定单元105基于在窗口120中显示的显示图像的内容变化量来获取确定指标。换句话说，确定单元105基于根据两个不同的显示条件显示的两个显示图像来获取确定指标。
更具体地，确定单元105通过使用两个显示条件来计算内容变化量。第一显示条件是在S503中获取的显示条件，其被视为确定单元105确定是否存储的目标。第二显示条件是从过去已经存储在辅助存储设备153中的显示条件中选择的显示条件。在下文中，将在S503中获取的显示条件称为候选显示条件。此外，在下文中，将从过去已经存储在辅助存储设备153中的显示条件中选择的显示条件称为存储的显示条件。确定单元105从辅助存储设备153中存储的显示条件当中选择一个或多个显示条件作为存储的显示条件。在本示例性实施例中，确定单元105从辅助存储设备153中存储的显示条件当中选择先前确定的一个或多个显示条件作为存储的显示条件。然而，作为另一示例，确定单元105可以从辅助存储设备153中存储的显示条件当中随机选择一个或多个显示条件作为存储的显示条件。
将参考图7A、图7B、图7C和图7D描述内容变化量的示例。
图7A是示出基于存储的显示条件在窗口120中对显示图像进行显示的状态的图。在图7A中，关注区域是用虚线表示的区域721，并且在区域721中存在缺陷711和712。这里，为了改变显示内容，平行移动目标数据中的显示位置。图7B是示出显示位置从图7A所示的状态向左移动的状态的示例的图。
当窗口120中的显示图像改变为图7B所示的显示图像时，图7B中的关注区域是由虚线指示的区域722，并且从图7B中的显示图像获取的显示条件为候选显示条件。此时，在区域721和区域722之间交叠的区域由用实线包围的区域723表示。
内容变化量表示为“C”。在本示例性实施例中，内容变化量C是由以下公式1和2定义的指标。
C＝α (S∧S1＝0) 公式2
公式1中的符号S1表示基于存储的显示条件在窗口120中显示的显示图像中的关注区域，即，图7A和图7B的示例中的区域721。此外，符号S表示基于候选显示条件在窗口120中显示的显示图像中的关注区域，即，在图7A和图7B的示例中的区域722。关注区域S1与S之间交叠的区域的大小被表示为“S∧S1”。在图7A和图7B的示例中，“S∧S1”表示区域723的大小。在图7A和图7B的示例中，当区域723较小时，内容变化量C的值增加。换句话说，内容变化量C是当和候选显示条件相对应的显示图像与和存储的显示条件相对应的显示图像之间交叠的部分较小时变大的指标。如果关注区域S和S1彼此不重叠，则内容变化量C是如公式2中所示的常数α。这里，公式2中的常数α是大于预定阈值的可选常数。
通过将由公式1和2定义的指标用作内容变化量C，信息处理装置100可以存储用于显示与和存储的显示条件相对应的关注区域明显不同的关注区域的显示条件。
在本示例性实施例中，将内容变化量C描述为由公式1和2定义的指标。然而，作为另一示例，内容变化量C可以是与公式1和2定义的指标不同的指标。在下文中，参照图7C和图7D，将针对内容变化量是与公式1和2定义的指标不同的指标的情况来描述本示例性实施例。更具体地，将针对如下情况来描述本示例性实施例：其中，内容变化量C是基于在放大显示图像时预定关注区域的显示尺寸的变化程度而定义的指标。
图7C是示出基于存储的显示条件在窗口120中对显示图像进行显示的状态的图。在图7C的示例中，关注区域是用虚线表示的区域724，并且在区域724中存在缺陷713和714。这里，为了详细核查缺陷713，假定用户指示信息处理装置100放大图7C中的范围731。图7D示出了信息处理装置100根据该指令在窗口120中显示的显示图像。图7D的示例中的关注区域是由虚线表示的区域725。区域725的由实线包围的区域726是图7C中的区域724的一部分。在图7C中的状态转变为图7D中的状态的情况下，候选显示条件是从图7D中的显示图像获取的显示条件。在这种情况下，信息处理装置100可以使用由以下公式3和4定义的指标作为内容变化量C。
C＝α (S∧S1＝0) 公式4
类似于公式1，公式3中的符号“S1”表示基于存储的显示条件在窗口120中显示的显示图像中的关注区域，即，图7C和图7D的示例中的区域724。符号“d1”表示由存储的显示条件指示的显示倍率。与公式1类似，符号“S”表示基于候选显示条件在窗口120中显示的显示图像中的关注区域，即，在图7C和图7D的示例中的区域725。符号“d”表示由候选显示条件指示的显示倍率。
符号“β”表示大于1的可选常数。如公式4所示，当“S∧S1”为0时(即，当显示内容不具有交叠区域时)，内容变化量C是常数α。
在以缩小状态(d>d1)显示图像的情况下，不必过多考虑显示倍率。因此，为了对应于上述情况，信息处理装置100可以使用由以下公式5定义的指标作为内容变化量C。
如上所述，描述了内容变化量。
将通过返回图5来描述本示例性实施例。
在本示例性实施例中，确定单元105使用由公式1和2定义的内容变化量C。在S504中，确定单元105将基于存储的显示条件在窗口120中显示的显示图像所指示的关注区域指定为关注区域S1，并且将基于候选显示条件在窗口120中显示的显示图像所指示的关注区域指定为关注区域S。然后，确定单元105基于指定的关注区域S和S1以及预定的常数α、通过以下公式1和2获取内容变化量C。
此外，确定单元105选择一个或多个显示条件(n个显示条件，其中“n”是一或大于一的整数)作为存储的显示条件。然后，确定单元105针对所选择的n个存储的显示条件中的各个获取内容变化量C。通过以上处理，确定单元105获取n个内容变化量C。将这n个内容变化量C统称为“CN”(CN＝(C1，C2，...，Cn))。然后，确定单元105获取“CN”作为确定指标。S504中的处理是指标获取处理的示例。
在本示例性实施例中，确定单元105使用由公式1和2定义的内容变化量C。然而，作为另一示例，确定单元105可以使用由其他定义来定义的内容变化量C。例如，确定单元105可以使用由公式3和4定义的内容变化量C。在这种情况下，确定单元105基于指定的关注区域S和S1、由候选显示条件指示的显示倍率d、由存储的显示条件指示的显示倍率d1、预定的常数α和β，通过公式3和4获取内容变化量C。此外，确定单元105还可以使用由公式5定义的内容变化量C。在这种情况下，确定单元105基于指定的关注区域S和S1以及预定的常数β，通过公式5获取内容变化量C。
在S505中，基于在S504中获取的确定指标CN，确定单元105确定是否存储候选显示条件。在本示例性实施例中，如果确定指标CN的所有元素(C1至Cn)均为阈值或以上，则确定单元105确定存储候选显示条件(S505中为“是”)，并且处理进入S506。例如，该阈值应该是通过实验获取的适当值。
此外，如果在确定指标CN的元素C1至Cn中包括值小于预定阈值的元素，则确定单元105确定不存储候选显示条件(S505中为“否”)，因此处理进行到S508。
在本示例性实施例中，如果确定指标CN的所有元素C1至Cn均为预定阈值或以上，则确定单元105确定存储候选显示条件。然而，作为另一示例，如果确定指标CN的元素C1至Cn当中，具有预定阈值或以上的元素的数量是预定数量以上，则确定单元105可以确定存储候选显示条件。
在S506中，显示条件管理单元106将在S503中获取的候选显示条件存储在辅助存储设备153中。S506中的处理是存储控制处理的示例。
在S507中，显示数据生成单元103更新在S502中生成的列表130，并在显示单元155上显示更新后的列表130。更具体地，显示数据生成单元103通过将与S506中存储的候选显示条件相对应的对象添加到列表130中来更新列表130。S507中的处理是显示控制处理的示例。
将参考图8A和图8B描述列表130的更新处理的示例。图8A中的列表130是预更新列表130的示例。图8B中的列表130是从图8A中的列表130更新的列表130。
在本示例性实施例中，显示数据生成单元103以从顶部起最新存储的日期/时间的顺序在列表130中布置与各显示条件相对应的对象。在S506中存储了候选显示条件之后，显示数据生成单元103基于候选显示条件生成用于提供返回显示状态的指令的对象，并将该对象布置在列表130的顶部。显示数据生成单元103从预更新列表130中的对象当中删除最下面的对象，并将其余对象布置在新布置的对象之下。结果，如图8B所示，列表130被更新。
在本示例性实施例中，如图8A和图8B所示，显示数据生成单元103在列表130中布置分别对应于五个显示条件的五个对象。然而，作为另一示例，显示数据生成单元103可以在列表130中布置分别与四个以下显示条件对应的四个以下的对象，或者可以布置分别对应于六个以上显示条件的六个以上对象。
为了指示对象对应于最近存储的显示条件的对象，显示数据生成单元103可以执行以下处理。换句话说，对于列表130中显示的对象，显示数据生成单元103可以在与预定数量的最近存储的显示条件相对应的对象上叠加标记，或者可以改变其显示颜色，以便使用户可以从视觉上识别这些对象。
在本示例性实施例中，显示数据生成单元103在S506中的处理完成的定时执行S507中的处理。然而，作为另一示例，显示数据生成单元103可以在不同的定时执行S507中的处理。此外，显示数据生成单元103除了在S506中的处理完成的定时之外还可以在其他定时执行S507中的处理。
例如，显示数据生成单元103可以在S506中的处理完成之后用户开始对操作单元154进行操作以改变窗口120中的显示图像的显示条件的定时执行S507中的处理。这是因为当用户开始改变显示条件时，可以假定执行用于存储前一显示条件的处理。此外，例如，显示数据生成单元103可以在S506中的处理完成之后经过预定时间时执行S507中的处理。
在S508中，如果显示数据生成单元103通过在操作单元154上执行的用户操作，接收到结束对目标数据的查看操作的指令(S508中为“是”)，则图5中的处理结束。此外，如果显示数据生成单元103未接收到用于结束对目标数据的查看操作的指令(S508中为“否”)，则处理进入S509。
在S509中，如果显示条件获取单元104通过在操作单元154上执行的用户操作，接收到用于改变显示条件的指令，则显示条件获取单元104基于根据指令的显示条件，更新在窗口120中显示的显示图像，并将处理前进到S503。
如上所述，通过根据本示例性实施例的处理，信息处理装置100可以在未接收用于将与显示状态相对应的显示条件存储为期望返回目的地的用户指令的情况下，将与显示状态相对应的显示条件存储为返回候选。因此，信息处理装置100可以减轻用户的负担。
此外，即使在不能预先确定用户想要返回的画面的情况下，信息处理装置100也可以将与显示状态相对应的显示条件存储为返回目的地的候选。
<第一示例性实施例的变型例1>
在变型例1中，信息处理装置100基于显示条件的变化量来获取确定指标。变型例1的信息处理装置100的硬件构造和功能构造与第一示例性实施例的类似。变型例1中的处理与第一示例性实施例中的处理不同之处在于图5的S504和S505中的处理。以下，将描述与第一示例性实施例中的处理不同的在变型例1中的处理。
在S504中，确定单元105基于与窗口120中显示的显示图像相对应的显示条件的变化量(以下称为“条件变化量”)来获取确定指标。条件变化量是指示候选显示条件相对于存储的显示条件的变化程度的指标。
在变型例1中，确定单元105将下述指标用作条件变化量。条件变化量表示为“D”。在变型例1中，条件变化量D是由以下公式6和7定义的指标。
在公式6和7中，“(x，y)”表示由候选显示条件指示的中心坐标，而“(x1，y1)”表示由存储的显示条件指示的中心坐标。此外，符号“d”表示候选显示条件所指示的显示倍率，而符号“d1”表示由存储的显示条件指示的显示倍率。此外，符号“γ”表示大于1的预定的可选值。在公式6和7中的各个中，当中心坐标的变化量和显示倍率的变化量增大时，条件变化量D的值变得更大。
在变型例1中，条件变化量D是由公式6和7定义的指标。但是，条件变化量D可以是其他指标，只要该指标是使用有关显示条件的可选信息定义的即可。
确定单元105将候选显示条件所指示的中心坐标和显示倍率分别指定为“(x，y)”和“d”，并且将存储的显示条件所指示的中心坐标和显示倍率分别指定为“(x1，y1)”和“d1”。然后，确定单元105基于指定的“(x，y)”，“d”，“(x1，y1)”和“d1”以及预定的“γ”，通过公式6和7获取条件变化量D。确定单元105针对选择的n个存储的显示条件中的各个，获取条件变化量D。这样，确定单元105获取n个条件变化量D。这n个条件变化量D被统一表示为“DN”＝(D1，D2，...，Dn)。然后，确定单元105获取“DN”作为确定指标。
在S505中，基于在S504中获取的确定指标DN，确定单元105确定是否存储候选显示条件。在变型例1中，如果确定指标DN的所有元素D1至Dn均为预定阈值或以上，则确定单元105确定存储候选显示条件(S505中为“是”)，并且处理进入S506。例如，该阈值应该是通过实验获得的适当值。此外，如果在确定指标DN的元素D1至Dn中包括具有小于预定阈值的值的元素，则确定单元105确定不存储候选显示条件(S505中为“否”)，从而处理进行到S508。
在变型例1中，如果确定指标DN的所有元素D1至Dn均为预定阈值或以上，则确定单元105确定存储候选显示条件。然而，作为另一示例，如果确定指标DN的元素D1至Dn当中的具有预定阈值或以上的元素的数量是预定数量以上，则确定单元105可以确定存储候选显示条件。
如上所述，通过变型例1中的处理，信息处理装置100可以实现与在第一示例性实施例中实现的效果相似的效果。
<第一示例性实施例的变型例2>
在变型例2中，将针对目标数据是诸如运动图像数据等的时序数据的情况来描述示例性实施例。在变型例2中，显示条件包括与指示运动图像数据中的帧的时间的图像拍摄时间有关的信息。变型例2的信息处理装置100的硬件构造和功能构造与第一示例性实施例的那些相似。在变型例2中，信息处理装置100基于亮度值和图像拍摄时间来获取确定指标。
将参照图9A和图9B描述根据变型例2的处理的概况。
当目标数据是运动图像时，用户在改变帧(图像拍摄时间)的同时核查目标数据。在变型例2中，假设目标数据是由网络相机获取的运动图像数据。图9A示出在显示单元155上显示对房间的内部进行摄像的运动图像帧的显示图像的状态。在图9A的示例中，关注区域是由虚线指示的区域911。
在对运动图像的查看操作中，即使显示坐标或显示倍率固定，如果图像拍摄时间改变，由于摄像目标的时间变化或外部因素(例如天气)，显示图像的显示内容也可能改变。
假设从图9A中的状态仅改变图像拍摄时间这个显示条件。这种改变的状态在图9B中示出。图9B中的显示图像是当从图9A中的显示图像的图像拍摄时间起经过预定时间时拍摄的同一地点的图像。图9B中的关注区域是由虚线表示的区域912。
显示范围固定在区域911和912之间，并且其显示内容只有很小的变化。更具体地说，仅有的变化在于图9B中打开的门921。在变型例2中，为了检测上述变化，信息处理装置100使用关注区域的亮度值。信息处理装置100还使用关于显示图像的图像拍摄时间的信息。更具体地说，在变型例2中，信息处理装置100通过使用由以下公式8定义的内容变化量C来获取确定指标。
公式8中的符号“t1”表示由存储的显示条件指示的图像拍摄时间。符号“t”表示由候选显示条件指示的图像拍摄时间。符号“γ”表示大于1的预定的可选常数。符号“p”表示用于识别显示图像的像素的指标。符号“I1p”表示基于所存储的显示条件在窗口120中显示的显示图像的各个像素值。符号“Ip”表示基于候选显示条件在窗口120中显示的显示图像的各个像素值。通过使用由公式8获取的内容变化量C，信息处理装置100可以获取考虑了时间变化量的显示内容中的变化量的指标。
将描述根据变型例2的处理的细节。
变型例2中的处理与第一示例性实施例的不同之处在于，将运动图像数据指定为目标数据，并且在图5的S504中的处理中也不同。将描述与第一示例性实施例中的处理不同的在变型例2中的处理。
在S504中，确定单元105将基于存储的显示条件显示的显示图像中的各个像素的亮度值指定为“I1p”。然后，确定单元105将基于候选显示条件显示的显示图像中的各个像素的亮度值指定为“Ip”。此外，确定单元105将由存储的显示条件指示的图像拍摄时间指定为“t1”。然后，确定单元105将由候选显示条件指示的图像拍摄时间指定为“t”。确定单元105基于指定的亮度值I1p和Ip、指定的图像拍摄时间t1和t以及预定的常数γ，通过公式8获取内容变化量C。
确定单元105针对选择的n个存储的显示条件中的各个，获取内容变化量C。通过以上处理，确定单元105获取n个内容变化量C。将这n个内容变化量C统一表示为“CN”(CN＝(C1，C2，...，Cn))。然后，确定单元105获取“CN”作为确定指标。
在变型例2中，信息处理装置100基于内容变化量获取确定指标。然而，作为另一示例，信息处理装置100可以如变型例1中所述基于条件变化量来获取确定指标。此外，信息处理装置100可以基于条件变化量和显示条件指示的图像拍摄时间来获取确定指标。
通过变型例2中的处理，即使在目标数据是时间序列数据的情况下，信息处理装置100也可以在没有接收用户指令的情况下将与显示状态相对应的显示条件存储为返回候选。
<第一示例性实施例的变型例3>
在用户仔细核查目标数据的一部分时，存在应固定显示内容或显示条件的情况。例如，在使用产品的部件或外包装的图像的外观检查中，用户在保持或逐渐改变显示条件以显示关注区域的图像的同时核查图像，以核查具有亮度变化的缺陷图案，例如细小的划痕或瑕疵。此时，由于显示内容或显示条件的变化最小，所以存在内容变化量或显示条件变化量最小的情况。因此，存在难以基于内容变化量或显示条件变化量来确定是否存储显示条件的可能性。
因此，变型例3的信息处理装置100获取注视度作为指示用户注视显示图像多长时间的指标，并基于注视度获取确定指标。利用该构造，信息处理装置100可以基于用户是否注视画面来确定是否存储与显示状态相对应的显示条件。
变型例3的信息处理装置100的硬件构造与第一示例性实施例相似。
此外，在变型例3中，信息处理装置100经由网络I/F 156连接到外部图像拍摄装置(以下称为“连接的图像拍摄装置”)。在变型例3中，连接的图像拍摄装置是具有红外传感器的红外照相机。所连接的图像拍摄装置布置在可以对用户的脸部进行摄像的位置，并且在发射红外光的同时对正在查看目标数据的用户的脸部进行摄像。信息处理装置100从连接的图像拍摄装置获取由连接的图像拍摄装置拍摄的图像。
图10是示出变型例3的信息处理装置100的功能构造的示例的框图。变型例3的信息处理装置100的功能构造与图3B的功能构造的不同之处在于：功能构造包括注视信息检测单元1001和注视信息管理单元1002。
另外，变型例3的确定单元105获取由注视信息管理单元1002管理的用户的注视点的位置(以下，称为“注视点位置”)，并基于所获取的注视点位置分析用户的注视状态。注视点是指用户注视的点。
注视信息检测单元1001使用公知方法来从连接的图像拍摄装置发送的运动图像中检测用户的眼睛的位置和用户的视线，并基于检测到的眼睛位置和检测到的视线获取注视点位置。
可以给出以下方法作为用于检测用户的眼睛的位置和用户的视线的公知方法的示例。在该方法中，将边缘检测方法(例如，精巧边缘检测方法)应用于所拍摄的用户面部的运动图像中的各个帧，并且使用检测到的边缘信息通过图案匹配来检测眼睛和瞳孔。随后，通过使用运动图像的亮度信息来检测瞳孔附近的角膜反射光(浦肯野图)。此后，基于瞳孔与浦肯野图之间的位置关系，通过角膜反射法计算视线信息。
例如，以下方法可以用作注视点位置的获取方法。在该方法中，在要求用户注视数据的特定位置的同时拍摄用户面部的运动图像，通过先前校准，从拍摄的运动图像的帧中获取坐标位置、视线和眼睛的注视点之间的对应关系，并使用获取的对应关系。
注视信息管理单元1002将由注视信息检测单元1001获取的注视点位置存储在辅助存储设备153中，并管理所存储的注视点位置。
图11是表示变型例3的信息处理装置100执行的处理的示例的流程图。图11的处理与图5的处理不同之处在于，执行S510至S511的处理代替S504至S505中的处理。S501至S503和S506至S509中的各个处理类似于图5中所描述的处理。将描述与图5中的处理不同的在图11中的处理。
在S510中，确定单元105获取由注视信息管理单元1002管理的注视点信息，并获取指示注视点位置的移位状态的移位信息。移位状态是指指示注视点位置根据经过时间如何移位的信息。然后，基于所获取的移位信息，确定单元105指定用户的注视点在显示图像中处于静止状态的时间段。静止状态是指注视点在预定范围内包括的位置处连续存在一定时间或更长时间的状态。确定单元105获取指定时间段作为确定指标。
将参考图12描述处于静止状态的用户的注视点位置的示例。
图12是示出在二维坐标上绘制的、由注视信息检测单元1001在特定时间段内获取的注视点的图。注视点1201是在特定时间段开始时用户的注视点。随着时间的流逝，用户的注视点沿箭头指示的方向移动。注视点1202是经过一定时间后的用户的注视点。当用户正在查看用户高度关注的数据时，用户的注视点趋于静止。在变型例3中，信息处理装置100通过使用上述特性，获取用户的注视点停留在显示单元155上显示的显示图像中的特定范围(在图12的示例中为范围1210)内的时间段作为确定指标。然后，信息处理装置100根据所获取的确定指标是否为阈值以上来确定用户是否正在注视目标数据中的特定位置。
在S511中，如果在S510中获取的确定指标是预定阈值以上，则确定单元105确定用户正在注视显示图像上的某个位置，并存储与该显示图像相对应的显示条件(在S511中为“是”)。然后，处理进行到S506。如果在S510中获取的确定指标小于预定阈值，则确定单元105确定用户没有注视显示图像上的位置，并且不存储与显示图像相对应的显示条件(S511中为“否”)。然后，处理进行到S508。
在变型例3中，如果用户注视显示图像的时间段变长，则有可能重复存储相同的显示条件或非常相似的显示条件。因此，优选地，信息处理装置100执行处理以防止存储无用的显示条件。例如，信息处理装置100可以在S511中的处理完成之后待机一段时间。这样，信息处理装置100可以防止存储无用的显示条件。
如上所述，通过变型例3中所述的处理，信息处理装置100可以通过存储与用户实际上已经注视的显示图像的显示状态相对应的显示条件来存储用户非常重视的显示条件。
<第一示例性实施例的变型例4>
在用户正在查看包括许多相似图案的目标数据的同时重复执行用于改变显示条件的操作(例如，放大/缩小操作或坐标移动操作)的情况下，用户可能对目标数据被查看的程度感到困惑。例如，当检查混凝土结构物体的壁面的图像时，用户放大并显示图像的一部分以核查缺陷，例如混凝土壁面上不均匀地存在的裂缝。用户在改变显示范围的同时，对整个目标数据全面执行上述核查操作。然而，由于混凝土壁面包括许多相似的图案，因此如果反复执行改变显示条件的操作(例如放大/缩小操作或坐标移动操作)，用户可能会对目标数据被查看的程度感到困惑。
在变型例4中，信息处理装置100执行用于支持用于上述目的的操作的处理。
变型例4的信息处理装置100的硬件构造和功能构造与第一示例性实施例相似。
将参照图13A、图13B、图13C、图13D和图13E描述根据变型例4的处理的示例。图13A所示的混凝土壁面的图像1310是根据变型例4的目标数据的一个示例。
显示数据生成单元103将目标数据划分为具有特定大小的区部。各个区部具有易于查看的预定大小，例如800×600像素的大小。
图13A示出了作为目标数据的图像1310和划分图像1310的网格1320。图像1310的中央部分的四个划分区域被指定为相应的区域1331、1332、1333和1334。
显示数据生成单元103在窗口120中显示图像1310的显示图像作为目标数据。图13B示出了在窗口120中显示图像1310的中央部分的状态。在图13B的示例中，在窗口120中部分地显示区域1331、1332、1333、1334和网格1320。
基于窗口120的显示内容，信息处理装置100选择区域1331、1332、1333和1334中的任何一个。例如，信息处理装置100选择最大显示尺寸的区域。在图13B的示例中，选择区域1333。
此后，信息处理装置100执行用于从选择区域1333获取与作为返回目的地的候选的显示状态相对应的显示条件并存储所获取的显示条件的处理。在图13C中，列表130包括对象1351，该对象1351用于提供用于将显示状态返回到区域1333的显示的指令。在这种情况下，如果选择了对象1351，则信息处理装置100显示显示图像，该显示图像通过使用与对象1351相对应的显示条件在显示单元155上示出区域1333。
随后，将描述当通过用于改变显示条件的操作改变关注区域时要执行的处理。假设关注区域从图13C所示的状态平行移动。图13E示出了关注区域从图13C所示的状态向右移动的状态。在图13E的示例中，区域1331、1332、1333、1334和网格1320被部分地显示在窗口120中。此时，信息处理装置100选择具有最大显示尺寸的区域1334。信息处理装置100从选择区域1334获取与作为返回目的地的候选的显示状态相对应的显示条件，并存储所获取的显示条件。然后，信息处理装置100在列表130上显示用于提供返回到区域1334的显示状态的指令的对象1352。图13E示出了在列表130中包括对象1352的状态。
将详细描述根据变型例4的处理。变型例4中的处理与第一示例性实施例的不同之处在于，目标数据是频繁出现相似图案的图像数据，并且在图5的S503至S506中的处理中也不同。将描述与第一示例性实施例中的处理不同的在变型例4的处理。
在S503中，显示条件获取单元104基于在显示单元155上显示的显示图像，从预先设置为目标数据的多个区域当中指定该显示图像中包括的一个或多个区域。然后，对于一个或多个指定区域，显示条件获取单元104指定用于显示这些各区域的显示条件。显示条件获取单元104获取一个或多个指定显示条件作为与显示图像相对应的各候选显示条件。
在S504中，对于在S503中获取的一个或多个候选显示条件，确定单元105指定与在显示单元155上显示的显示图像中所包括的显示条件相对应的区域的尺寸。确定单元105获取针对一个或多个显示条件指定的一个或多个尺寸，作为一个或多个显示条件的确定指标。
在S505中，确定单元105从在S504中指定的一个或多个确定指标当中指定最大确定指标，并确定存储与指定的确定指标相对应的候选显示条件。然而，作为另一示例，确定单元105可以从在S504中指定的一个或多个确定指标当中指定预定数目的两个或更多个最大确定指标，并且可以确定存储与各指定的确定指标相对应的候选显示条件。然后，确定单元105使处理进入S506。
在S506中，显示条件管理单元106将在S505中确定要存储的候选显示条件存储在辅助存储设备153中。通过上述处理，信息处理装置100可以在列表130中显示与在S506中存储的显示条件相对应的对象。
如上所述，信息处理装置100存储用于显示占据用户查看的显示图像的主要部分的区域的显示条件。在列表130上显示与用于显示该区域的显示条件相对应的对象。利用该构造，信息处理装置100可以根据对在列表130中存储的对象的选择来再现与用户查看的关注区域接近的区域的显示。
在用户核查在多个区域上延伸的长裂缝的情况下，用户一个接一个地改变关注区域。因此，有可能在列表130中不容易找到与用户想要返回的画面位置相对应的对象。为了应对上述情况，信息处理装置100可以控制用于根据用户操作的内容来存储显示条件的处理。例如，在关注区域被以一定倍数或更大倍率放大并显示的同时平行移动的情况下，信息处理装置100不存储显示条件。这样，当用户放大并详细核查裂缝时，列表130的内容将不会被更新。信息处理装置100直接显示在用户放大显示之前存储的对象，从而可以容易地将画面返回到用户想要返回的显示状态。
如上所述，通过根据变型例4的处理，即使在目标数据中频繁出现相似图案的情况下，信息处理装置100也可以存储适当的显示条件并通过在列表130中显示对象来向用户提供与所存储的显示条件对应的对象。通过上述构造，用户可以返回到特定的显示画面，而与目标数据中存在的相似图案的数量无关，从而用户不太可能对于目标数据被查看的程度感到困惑。
<第一示例性实施例的变型例5>
在变型例5中，将针对目标数据是三维数据的情况来描述示例性实施例。
在目标数据是三维数据的情况下，用户在改变三维坐标的同时执行目标数据的查看操作。在变型例5中，假定目标数据是由医学诊断装置(例如，用于医学图像诊断的计算机断层摄影(CT)扫描装置)获取的三维数据。
变型例5中的处理与第一示例性实施例的不同之处在于目标数据是三维数据，并且在S504中的处理中也不同。将描述与第一示例性实施例的处理不同的处理。
将参照图14A、图14B和图14C描述根据变型例5的处理的概况。
图14A是示出其中作为患者血管的三维数据的区域的一部分、且被视为目标数据的血管区域1400被切开并作为体素数据显示在显示单元155上的状态的图。
图14A中的显示状态是基于存储的显示条件的显示状态。在图14A的示例中，关注区域是在表示血管区域1400的体素当中由阴影线指示的其表面上的体素1401的区域。在三维数据的查看操作中，用户在改变视线的同时查看三维数据。
例如，图14B示出了视线相对于目标数据从图14A所示的状态旋转了90度的状态。图14B中的关注区域是与体素1402相对应的区域，该区域不同于图14A中的关注区域。图14C是示出利用其他视线显示血管区域1400的状态的图。图14C中的帧1410和1411分别指示图14A和14B中的视点。体素1401和1402之间的交叠部分是与图14C中的体素1403相对应的区域。这里，将从图14B中的显示图像获取的显示条件指定为候选显示条件。通过将体素1401设为“S1”并且将体素1402设为“S”，可以通过公式1和2来获取指示体素1401和1402的交叠程度的内容变化量C。
将详细描述变型例5的S504中的处理。
变型例5的S504中的处理与第一示例性实施例的不同之处在于，确定单元105将基于存储的显示条件显示的显示图像中所包括的目标数据的体素用作“S1”，并将基于候选显示条件显示的显示图像中所包括的目标数据的体素用作“S”。其余处理与第一示例性实施例中描述的处理相似。
如上所述，通过根据变型例5的处理，即使在目标数据是三维数据的情况下，信息处理装置100也可以在不接收用户指令的情况下存储与被视为返回候选的显示状态相对应的显示条件。因此，信息处理装置100可以减轻用户的负担。
<其他示例性实施例>
当使用检查目标对象的拍摄图像通过核查操作要核查诸如裂缝或划痕等的缺陷或要监视房间的内部时，有效地应用在第一示例性实施例及其变型例中描述的信息处理装置100。然而，例如，信息处理装置100还可以应用于用于核查工厂的产品图像中的诸如划痕等的缺陷的操作(外观检查)或用于核查医院的身体的拍摄图像的病变的操作(医学诊断)。
此外，在第一示例性实施例及其变型例中，信息处理装置100基于当单个用户正在查看数据时可以获取的信息来存储与被视为返回候选的显示状态相对应的显示条件。然而，例如，当一个以上的用户正在查看数据时，信息处理装置100可以存储由许多用户查看的画面的显示状态。此外，在没有经验的用户正在查看数据的情况下，存在信息处理装置100存储次要画面的许多显示状态的风险。在这种情况下，信息处理装置100可以根据用户的技能来改变显示状态的存储确定处理。
例如，信息处理装置100的上述功能构造的全部或一部分可以作为硬件安装在其上。尽管上面已经描述了示例性实施例，但是一些实施例不限于特定的示例性实施例。例如，上述示例性实施例和变型例可以可选地组合。
其他实施例
本发明的(多个)实施例也可以通过如下实现：一种系统或装置的计算机，该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如，一个或更多个程序)，以执行上述(多个)实施例中的一个或更多个的功能，并且/或者，该系统或装置包括用于执行上述(多个)实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))；以及由该系统或者装置的计算机执行的方法，例如，从存储介质读出并执行计算机可执行指令，以执行上述(多个)实施例中的一个或更多个的功能，并且/或者，控制所述一个或更多个电路以执行上述(多个)实施例中的一个或更多个的功能。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如，存储介质可以包括如下中的一个或更多个：硬盘，随机存取存储器(RAM)，只读存储器(ROM)，分布式计算系统的存储器，光盘(例如，压缩盘(CD)，数字多功能光盘(DVD)，或蓝光光盘(BD)TM)，闪速存储器装置，存储卡，等等。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。

Claims (15)

1.一种信息处理装置，其包括：
条件获取单元，其被构造为获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件；
确定单元，其被构造为在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中；以及
存储控制单元，其被构造为在确定单元确定要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中，
其中，在通过对显示图像执行的用户操作来改变显示条件的情况下，确定单元基于根据条件获取单元获取的改变后的显示条件在显示单元上显示的显示图像和根据预定显示条件在显示单元上显示的显示图像，来获取所述指标，并且
其中，确定单元基于根据改变后的显示条件在显示单元上显示的显示图像与根据预定的显示条件在所述显示单元上显示的显示图像之间的交叠程度来获取所述指标。
2.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
生成单元，其被构造为根据显示条件从目标数据生成显示图像，
其中，信息处理装置使生成单元根据存储在存储单元中的显示条件生成显示图像，以将显示单元的显示状态返回到过去的显示图像。
3.根据权利要求2所述的信息处理装置，其中，在用户从存储在存储单元中的一个或更多个显示条件当中指定一个显示条件的情况下，生成单元根据指定的显示条件来生成显示图像。
4.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
显示控制单元，其被构造为在显示单元上显示与存储在存储单元中的一个或更多个显示条件相对应的一个或更多个对象，
其中，所述一个或更多个对象用于指定要在显示单元上显示的目标数据的一部分的显示条件。
5.根据权利要求4所述的信息处理装置，其中，显示控制单元根据与用户从所述一个或更多个对象当中指定的对象相对应的显示条件，将目标数据的一部分在显示单元上显示为显示图像。
6.根据权利要求4所述的信息处理装置，其中，所述显示控制单元将目标数据的俯视视图的图像与所述一个或更多个对象一起显示在显示单元上。
7.根据权利要求1所述的信息处理装置，其中，在通过对显示图像执行的用户操作来改变显示条件的情况下，确定单元基于显示图像中内容的变化量来获取所述指标。
8.根据权利要求1所述的信息处理装置，其中，所述显示条件包括与目标数据的一部分在显示单元上显示的位置相关的信息以及关于显示倍率的信息。
9.一种信息处理装置，其包括：
条件获取单元，其被构造为获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件；
确定单元，其被构造为在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中；以及
存储控制单元，其被构造为在确定单元确定要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中，
其中，在通过对显示图像执行的用户操作来改变显示条件的情况下，确定单元基于根据条件获取单元获取的改变后的显示条件在显示单元上显示的显示图像和根据预定显示条件在显示单元上显示的显示图像，来获取所述指标，并且
其中，确定单元基于根据改变后的显示条件在显示单元上显示的显示图像的亮度值和根据预定的显示条件在显示单元上显示的显示图像的亮度值来获取所述指标。
10.一种信息处理装置，其包括：
条件获取单元，其被构造为获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件；
确定单元，其被构造为在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中；以及
存储控制单元，其被构造为在确定单元确定要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中，
其中，目标数据是基于混凝土结构物体的壁面的拍摄图像的图像数据。
11.一种信息处理装置，其包括：
条件获取单元，其被构造为获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件；
确定单元，其被构造为在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中；以及
存储控制单元，其被构造为在确定单元确定要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中，
其中，在目标数据为时间序列数据的情况下，显示条件包括时间，并且
其中，确定单元基于在第一时间在显示单元上显示的显示图像的亮度值，在第二时间在显示单元上显示的目标数据的区域的亮度值以及第一时间与第二时间之间的差来获取所述指标。
12.一种信息处理装置，其包括：
条件获取单元，其被构造为获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件；
确定单元，其被构造为在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中；以及
存储控制单元，其被构造为在确定单元确定要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中，
其中，目标数据是三维数据，并且
其中，在通过对显示图像执行的用户操作来改变显示条件的情况下，确定单元基于根据由条件获取单元获取的改变后的显示条件在显示单元上显示的显示图像中包括的体素和根据预定显示条件在显示单元上显示的显示图像中包括的体素，来获取所述指标。
13.一种信息处理装置，其包括：
条件获取单元，其被构造为获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件；
确定单元，其被构造为在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中；以及
存储控制单元，其被构造为在确定单元确定要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中，
其中，确定单元基于由所述显示条件指示的关注区域的位置、由所述显示条件指示的显示倍率、由不同的显示条件指示的关注区域的位置以及由不同的显示条件指示的显示倍率来获取所述指标，并且
其中，确定单元基于查看显示单元的用户正在注视的注视点位置或注视点处于静止状态的时间段来获取所述指标。
14.一种由信息处理装置执行的信息处理方法，所述方法包括：
获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件；
在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中；以及
在所述确定确定了要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中，
其中，在通过对显示图像执行的用户操作来改变显示条件的情况下，基于根据获取的改变后的显示条件在显示单元上显示的显示图像和根据预定显示条件在显示单元上显示的显示图像，来获取所述指标，并且
其中，基于根据改变后的显示条件在显示单元上显示的显示图像与根据预定的显示条件在所述显示单元上显示的显示图像之间的交叠程度来获取所述指标。
15.一种非暂时性计算机可读记录介质，其存储使计算机用作信息处理装置的程序，所述信息处理装置包括：
条件获取单元，其被构造为获取用于将目标数据的至少一部分在显示单元上显示为显示图像的显示条件；
确定单元，其被构造为在改变显示图像的情况下，基于与显示图像的改变有关的指标，确定是否将根据改变后的显示图像的显示条件存储在存储单元中；以及
存储控制单元，其被构造为在确定单元确定要存储显示条件的情况下，将根据改变后的显示图像的显示条件存储在存储单元中，
其中，在通过对显示图像执行的用户操作来改变显示条件的情况下，确定单元基于根据条件获取单元获取的改变后的显示条件在显示单元上显示的显示图像和根据预定显示条件在显示单元上显示的显示图像，来获取所述指标，并且
其中，确定单元基于根据改变后的显示条件在显示单元上显示的显示图像与根据预定的显示条件在所述显示单元上显示的显示图像之间的交叠程度来获取所述指标。
CN202010098832.7A 2019-02-18 2020-02-18 信息处理装置、信息处理方法和记录介质 Active CN111586328B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019026581A JP7282541B2 (ja) 2019-02-18 2019-02-18 情報処理装置、情報処理方法及びプログラム
JP2019-026581 2019-11-29

Publications (2)

Publication Number Publication Date
CN111586328A CN111586328A (zh) 2020-08-25
CN111586328B true CN111586328B (zh) 2023-08-04

Family

ID=72040601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098832.7A Active CN111586328B (zh) 2019-02-18 2020-02-18 信息处理装置、信息处理方法和记录介质

Country Status (3)

Country Link
US (2) US11408831B2 (zh)
JP (1) JP7282541B2 (zh)
CN (1) CN111586328B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022083601A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 画像受信装置、画像送信装置、方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081496A (zh) * 2009-11-30 2011-06-01 索尼公司 信息处理装置、方法及计算机可读介质
JP2012115554A (ja) * 2010-12-02 2012-06-21 Olympus Corp 内視鏡画像処理装置及びプログラム
JP2012230528A (ja) * 2011-04-26 2012-11-22 Canon Inc 画像処理装置および画像処理装置の制御方法
CN104915110A (zh) * 2014-03-11 2015-09-16 佳能株式会社 显示控制装置及显示控制方法
JP2018151499A (ja) * 2017-03-13 2018-09-27 株式会社リコー 表示システム、表示装置、画像表示制御方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274218A (ja) 2001-03-19 2002-09-25 Nissan Motor Co Ltd 車両用表示装置
JP3615509B2 (ja) 2001-10-15 2005-02-02 国際航業株式会社 壁面の画像・損傷・修復情報登録管理システム
JP2007264752A (ja) 2006-03-27 2007-10-11 Brother Ind Ltd 表示制御装置及び表示プログラム
JP5129459B2 (ja) * 2006-04-25 2013-01-30 株式会社ソニー・コンピュータエンタテインメント 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
JP4914378B2 (ja) * 2008-01-22 2012-04-11 キヤノン株式会社 情報処理装置及び方法、プログラム、記憶媒体
JP5281533B2 (ja) 2009-09-30 2013-09-04 富士フイルム株式会社 画像表示装置、方法およびプログラム
JP2012212340A (ja) 2011-03-31 2012-11-01 Sony Corp 情報処理装置、画像表示装置、および情報処理方法
JP5858479B2 (ja) 2012-10-30 2016-02-10 カシオ計算機株式会社 端末装置及びプログラム
JP6099479B2 (ja) 2013-05-21 2017-03-22 大成建設株式会社 ひび割れ検出方法
US10216386B2 (en) 2013-06-28 2019-02-26 Rakuten, Inc. Display system, display method, and program
WO2016147576A1 (ja) 2015-03-13 2016-09-22 パナソニックＩｐマネジメント株式会社 電子機器及びその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081496A (zh) * 2009-11-30 2011-06-01 索尼公司 信息处理装置、方法及计算机可读介质
JP2012115554A (ja) * 2010-12-02 2012-06-21 Olympus Corp 内視鏡画像処理装置及びプログラム
JP2012230528A (ja) * 2011-04-26 2012-11-22 Canon Inc 画像処理装置および画像処理装置の制御方法
CN104915110A (zh) * 2014-03-11 2015-09-16 佳能株式会社 显示控制装置及显示控制方法
JP2018151499A (ja) * 2017-03-13 2018-09-27 株式会社リコー 表示システム、表示装置、画像表示制御方法及びプログラム

Also Published As

Publication number Publication date
JP7282541B2 (ja) 2023-05-29
US20200264108A1 (en) 2020-08-20
JP2020135291A (ja) 2020-08-31
US11408831B2 (en) 2022-08-09
US20220187215A1 (en) 2022-06-16
CN111586328A (zh) 2020-08-25
US11927540B2 (en) 2024-03-12

Similar Documents

Publication Publication Date Title
US11105749B2 (en) Information processing apparatus, information processing method and program
JP4462959B2 (ja) 顕微鏡画像撮影システム及び方法
US9001230B2 (en) Systems, methods, and computer-readable media for manipulating images using metadata
JP5281972B2 (ja) 撮像装置
JP2011158549A (ja) 内視鏡装置およびプログラム
JP5822545B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
US20160353021A1 (en) Control apparatus, display control method and non-transitory computer readable medium
KR102272310B1 (ko) 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 전자 기기.
JP2011072446A (ja) 充血度算出プログラム及び充血度算出方法、並びに充血度算出装置
CN111586328B (zh) 信息处理装置、信息处理方法和记录介质
JP2019053050A (ja) 情報処理装置、情報処理方法、及びプログラム
US9979858B2 (en) Image processing apparatus, image processing method and program
US20150363054A1 (en) Medical image display apparatus, method for controlling the same
JP2019170881A (ja) コンピュータプログラム、分類装置、分類方法、画像出力装置及び画像出力装置の動作方法
JP5361246B2 (ja) 内視鏡装置およびプログラム
JP2018189536A (ja) 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム
JP6641485B2 (ja) 位置指定装置および位置指定方法
KR102497593B1 (ko) 정보 처리장치, 정보 처리방법 및 기억매체
JP7343760B2 (ja) 画像処理プログラム、画像処理方法および画像処理装置
JPWO2017030057A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6284428B2 (ja) 顕微鏡システム
JP2017182672A (ja) 情報処理方法および情報処理装置、プログラム
JP2023130743A (ja) 情報処理装置及び情報処理プログラム
JP2016220023A (ja) 画像処理装置、画像処理方法及びプログラム
JP2015079519A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant