CN112313472B - 信息提示方法、信息提示装置、以及信息提示系统 - Google Patents

信息提示方法、信息提示装置、以及信息提示系统 Download PDF

Info

Publication number
CN112313472B
CN112313472B CN201980042259.3A CN201980042259A CN112313472B CN 112313472 B CN112313472 B CN 112313472B CN 201980042259 A CN201980042259 A CN 201980042259A CN 112313472 B CN112313472 B CN 112313472B
Authority
CN
China
Prior art keywords
information
color
image
images
monochrome
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980042259.3A
Other languages
English (en)
Other versions
CN112313472A (zh
Inventor
今川太郎
野田晃浩
丸山悠树
日下博也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN112313472A publication Critical patent/CN112313472A/zh
Application granted granted Critical
Publication of CN112313472B publication Critical patent/CN112313472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Abstract

信息提示方法，包括：获得步骤(S10)，获得由单色相机(20)拍摄构造物(O)而得到的两个以上的单色图像、以及由彩色相机(30)拍摄构造物(O)而得到的一个以上的第一彩色图像，一个以上的第一彩色图像的信息量比两个以上的单色图像少；检测步骤(S20)，根据两个以上的单色图像检测示出构造物(O)的运动的位移；提示信息生成步骤(S30至S50)，根据两个以上的单色图像以及一个以上的第一彩色图像，生成包括提示示出位移的信息的第二彩色图像的提示信息；以及输出步骤(S60)，输出提示信息。

Description

信息提示方法、信息提示装置、以及信息提示系统
技术领域
本公开涉及，信息提示方法、信息提示装置、以及信息提示系统。
背景技术
以往，桥梁等的基础设施构造物的检查是，工作员对桥梁等定期地进行目测检查或打音检查来进行的。但是，检查部位庞大，并且，根据构造物的设置位置，难以进行确认工作，导致工作员的负担。于是，研讨利用相机进行构造物的检查。
在利用相机的检查中，需要高精度地检测桥梁等的运动。例如，专利文献1公开，计算设置在测量对象物的多个方格模式的位移，从而对测量对象物的运动进行测量的测量装置。
(现有技术文献)
(专利文献)
专利文献1：日本特开2015-141151号公报
在测量装置中，需要高精度地进行构造物的位移的测量，并且，以容易理解的方式提示测量结果。然而，在专利文献1的测量装置中，没有考虑以容易理解的方式提示测量结果。
发明内容
于是，本公开的目的在于，提供能够高精度地进行构造物的位移的测量，并且能够以容易理解的方式提示测量结果的信息提示方法、信息提示装置以及信息提示系统。
本公开的一个形态涉及的信息提示方法，包括：获得步骤，获得由第一摄像装置拍摄构造物而得到的两个以上的单色图像、以及由与所述第一摄像装置不同的第二摄像装置拍摄所述构造物而得到的一个以上的第一彩色图像，所述一个以上的第一彩色图像的信息量比所述两个以上的单色图像少；检测步骤，根据所述两个以上的单色图像检测示出所述构造物的运动的位移；提示信息生成步骤，根据所述两个以上的单色图像以及所述一个以上的第一彩色图像，生成包括第二彩色图像的提示信息，示出所述位移的信息由所述第二彩色图像提示；以及输出步骤，输出所述提示信息。
本公开的一个形态涉及的信息提示装置，具备：第一获得部，获得由第一摄像装置拍摄构造物而得到的两个以上的单色图像；第二获得部，获得由与所述第一摄像装置不同的第二摄像装置拍摄所述构造物而得到的一个以上的第一彩色图像，所述一个以上的第一彩色图像的信息量比所述两个以上的单色图像少；位移检测部，根据所述两个以上的单色图像检测示出所述构造物的运动的位移；提示信息生成部，根据所述两个以上的单色图像以及所述一个以上的第一彩色图像，生成包括第二彩色图像的提示信息，示出所述位移的信息由所述第二彩色图像提示；以及输出部，输出所述提示信息。
本公开的一个形态涉及的信息提示系统，具备：上述的信息提示装置；单色相机，拍摄包括所述构造物的所述两个以上的单色图像，将拍摄的所述两个以上的单色图像输出到所述信息提示装置；以及彩色相机，拍摄包括所述构造物的所述一个以上的彩色图像，将拍摄的所述一个以上的彩色图像输出到所述信息提示装置。
根据本公开的一个形态涉及的信息提示方法、信息提示装置以及信息提示系统，能够高精度地进行构造物的位移的测量，并且能够以容易理解的方式提示测量结果。
附图说明
图1是示出实施方式1涉及的信息提示系统的结构的概略图。
图2是示出实施方式1涉及的信息提示系统的功能结构的框图。
图3A是示出实施方式1涉及的信息提示装置获得的图像数据的第一例的图。
图3B是示出实施方式1涉及的信息提示装置获得的图像数据的第二例的图。
图3C是示出实施方式1涉及的信息提示装置获得的图像数据的第三例的图。
图4是用于说明实施方式1涉及的单色图像和彩色图像的对应的图。
图5是示出实施方式1涉及的信息提示装置的工作的流程图。
图6是示出实施方式2涉及的信息提示系统的功能结构的框图。
图7是用于说明实施方式2涉及的单色图像和彩色图像的对应的图。
图8是示出实施方式2涉及的信息提示装置的工作的流程图。
具体实施方式
(本公开的概要)
本公开的一个形态涉及的信息提示方法，包括：获得步骤，获得由第一摄像装置拍摄构造物而得到的两个以上的单色图像、以及由与所述第一摄像装置不同的第二摄像装置拍摄所述构造物而得到的一个以上的第一彩色图像，所述一个以上的第一彩色图像的信息量比所述两个以上的单色图像少；检测步骤，根据所述两个以上的单色图像检测示出所述构造物的运动的位移；提示信息生成步骤，根据所述两个以上的单色图像以及所述一个以上的第一彩色图像，生成包括第二彩色图像的提示信息，示出所述位移的信息由所述第二彩色图像提示；以及输出步骤，输出所述提示信息。
据此，能够根据单色图像进行构造物的位移的检测，因此，与根据第一彩色图像检测位移的情况相比，能够高精度地进行构造物的位移的检测。也就是说，能够高精度地进行构造物的位移的测量。并且，将包括示出检测出的位移的信息的彩色图像(第二彩色图像)作为提示信息输出，因此，与输出单色图像的情况相比，能够以容易理解的方式提示结果。因此，根据本公开的一个形态涉及的信息提示方法，能够高精度地进行构造物的位移的测量，并且能够以容易理解的方式提示测量结果。
例如，在构造物是基础设施构造物的情况下设想为，检查员以外的人也确认根据摄像装置拍摄的图像检测出的结果。检查员以外的人是，例如，基础设施构造物的管理员等的对检查的专门知识少的人(以后，也记载为非检查员)等。因此，需要提示非检查员也能够理解的测量结果。
根据上述的方法，以彩色图像提示测量结果，因此，能够提示非检查员看时也容易掌握状况且容易理解的结果。也就是说，根据上述的方法，能够利用图像高精度地测量位移，并且，能够以容易理解的方式提示测量结果。
并且，也可以是，所述提示信息生成步骤，包括：建立对应步骤，将所述两个以上的单色图像与所述一个以上的第一彩色图像中的像素位置建立对应；以及重叠步骤，根据所述建立对应步骤中获得的对应结果，将示出所述位移的信息重叠在所述第一彩色图像，从而生成所述第二彩色图像。
据此，生成的第二彩色图像成为，根据单色图像而被测量的测量结果(示出位移的信息)重叠在信息量少的第一彩色图像的图像。因此，能够抑制提示信息的信息量增加，并且，能够进行高精度的位移测量以及容易理解的结果的提示。
并且，在存储装置仅存储第二彩色图像的情况下，不存储信息量多的单色图像，因此，能够削减用于存储测量结果的存储容量。
并且，也可以是，所述提示信息生成步骤，包括：建立对应步骤，将所述两个以上的单色图像与所述一个以上的第一彩色图像中的像素位置建立对应；颜色信息获得步骤，根据所述一个以上的彩色图像获得颜色信息；彩色图像生成步骤，根据所述建立对应步骤中获得的对应结果、以及所述颜色信息，从所述两个以上的单色图像生成第三彩色图像；以及重叠步骤，将示出所述位移的信息重叠在所述第三彩色图像，从而生成所述第二彩色图像。
据此，生成的第二彩色图像成为，根据单色图像而被测量的测量结果(示出位移的信息)重叠在将信息量多的单色图像彩色化的第三彩色图像的图像。也就是说，提示信息包括，测量结果重叠在高精细的彩色图像的图像。因此，能够提示更容易理解的测量结果。
并且，在存储装置仅存储第二彩色图像的情况下，在还想要进行追加的位移的测量(例如，第二彩色图像中映出，但是没有测量位移的位置的位移的测量)时等，能够利用第二彩色图像高精度地进行追加的测量。也就是说，不进行追加的拍摄等，也能够利用第二彩色图像高精度地测量所希望的位置的位移。
并且，也可以是，所述第一摄像装置是单色相机，所述第二摄像装置是彩色相机。
据此，根据由单色相机拍摄的单色图像以及由彩色相机拍摄的第一彩色图像，能够进行高精度的位移测量以及容易理解的测量结果的提示。例如，一般而言，单色相机，与彩色相机相比，能够拍摄高精细的图像。因此，根据由单色相机拍摄的单色图像测量位移，从而能够高精度且容易测量该位移。并且，利用由彩色相机拍摄的彩色图像，从而能够容易获得不用于位移的测量的彩色图像、且抑制了容量的增加的彩色图像。
并且，也可以是，示出所述位移的信息包括，示出所述两个以上的单色图像中的所述构造物的位置的变化的位移向量。
据此，作为示出位移的信息的位移向量重叠在第二彩色图像。非检查员，看位移向量，从而能够容易知道位移的大小以及朝向等。也就是说，能够提示更容易理解的测量结果。
并且，也可以是，在所述获得步骤中，还获得拍摄所述构造物时的声音信息，在所述提示信息生成步骤中，生成还包括所述声音信息的所述提示信息。
据此，以后也能够容易掌握拍摄时的状况(例如，车辆的接近，会话声音等)。例如，发出作为测量结果的声音，因此，拍摄时没有位于该位置的人(例如，非检查员等)，也能够容易掌握拍摄时的状况。并且，能够检测发生异响等的基于声音的异常。
并且，也可以是，所述两个以上的单色图像以及所述一个以上的彩色图像是，以彼此包括相同的期间的方式而被拍摄的图像。
据此，将根据单色图像检测出的位移，重叠在例如基于在与该单色图像相同的期间拍摄的图像的彩色图像，从而能够提示更容易理解的测量结果。例如，能够提示更容易理解拍摄时的信息的测量结果。而且，在与单色图像相同的期间拍摄的图像，也可以是该单色图像，也可以是第一彩色图像。并且，基于图像的彩色图像，也可以是上述的第一彩色图像，也可以是第三彩色图像。
并且，也可以是，所述两个以上的单色图像以及所述一个以上的第一彩色图像的至少任意一个是，在所述构造物被施加负荷时拍摄的图像。
据此，例如，在两个以上的单色图像的至少一个是构造物被施加负荷时拍摄的图像的情况下设想为，在该构造物的一部分有异常时，在测量结果中明显出现该一部分与其他的部分的位移的差。也就是说，能够容易检测构造物的异常。并且，在一个以上的第一彩色图像是构造物被施加负荷时拍摄的图像的情况下，能够提示构造物被施加负荷时的状况。也就是说，能够提示更容易理解的测量结果。
并且，也可以是，所述一个以上的第一彩色图像是，分辨率比所述两个以上的单色图像低的图像。
据此，能够抑制第一彩色图像的容量，并且根据单色图像更高精度地检测位移量。
并且，也可以是，所述一个以上的第一彩色图像是，帧率比所述两个以上的单色图像低的图像。
据此，能够抑制第一彩色图像的容量，并且根据单色图像更高精度(更仔细)地检测位移的经时变化。
并且，也可以是，在所述获得步骤中获得的所述两个以上的单色图像是，对所述第一摄像装置拍摄的图像进行可逆压缩而得到的图像，在所述获得步骤中获得的所述一个以上的彩色图像是，对所述第二摄像装置拍摄的图像进行不可逆压缩而得到的图像。
据此，能够减少存储摄像装置拍摄的图像时的存储容量。并且，单色图像是可逆压缩，因此，在将压缩的数据解码时，不产生劣化。因此，根据解码的单色图像，能够高精度地检测位移。并且，彩色图像，通过不可逆压缩而被压缩，因此，能够更减少彩色图像的容量。
并且，也可以是，所述两个以上的单色图像是，由具有全局快门方式的图像传感器的所述第一摄像装置拍摄的图像。
据此，两个以上的单色图像成为抖动少的图像，因此，能够更高精度地测量构造物的位移。
并且，也可以是，所述一个以上的彩色图像是，由具有卷帘快门方式的图像传感器的所述第二摄像装置拍摄的图像。
据此，彩色相机具有卷帘快门方式的图像传感器，因此，能够减少彩色相机的成本。因此，能够以更低的成本获得更高精度的测量结果。
本公开的一个形态涉及的信息提示装置，具备：第一获得部，获得由第一摄像装置拍摄构造物而得到的两个以上的单色图像；第二获得部，获得由与所述第一摄像装置不同的第二摄像装置拍摄所述构造物而得到的一个以上的第一彩色图像，所述一个以上的第一彩色图像的信息量比所述两个以上的单色图像少；位移检测部，根据所述两个以上的单色图像检测示出所述构造物的运动的位移；提示信息生成部，根据所述两个以上的单色图像以及所述一个以上的第一彩色图像，生成包括第二彩色图像的提示信息，示出所述位移的信息由所述第二彩色图像提示；以及输出部，输出所述提示信息。
据此，获得与上述的信息提示方法同样的效果。
本公开的一个形态涉及的信息提示系统，具备：上述的信息提示装置；单色相机，拍摄包括所述构造物的所述两个以上的单色图像，将拍摄的所述两个以上的单色图像输出到所述信息提示装置；以及彩色相机，拍摄包括所述构造物的所述一个以上的彩色图像，将拍摄的所述一个以上的彩色图像输出到所述信息提示装置。
据此，能够实现利用由单色相机拍摄的单色图像以及由彩色相机拍摄的第一彩色图像，能够高精度地进行构造物的位移的测量，并且能够以容易理解的方式提示测量结果的信息提示系统。
而且，它们的总括或具体形态，也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的非暂时性记录介质实现，也可以由系统、方法、集成电路、计算机程序或记录介质的任意组合实现。程序可以被预先存储在记录介质，也可以经由包括互联网等的广域网而被提供到记录介质。
以下，对于实施方式，参照附图进行具体说明。
而且，以下说明的实施方式以及变形例，都示出总括或具体例子。以下的实施方式以及变形例示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一个例子，不是限定本公开的宗旨。并且，对于以下的实施方式的构成要素中的示出最上位概念的实施方案中没有记载的构成要素，作为任意的构成要素而被说明。
而且，各个图是示意图，并不一定是严密示出的图。并且，在各个图中，对实际相同的结构附上相同的符号，会有省略或简化重复说明的情况。
并且，在本说明书中，相同等的示出要素间的关系性的术语、以及数值，并不是仅表示严格的含义的表现，而是意味着实质上同等的范围，例如包括数％左右的差异的表现。
并且，在以下的说明书中，对于图像(例如，单色图像以及彩色图像)，只要没有特别的记载，就说明运动图像的例子，但是，也可以是静止图像。运动图像，由多个静止图像构成。
(实施方式1)
以下，对于本实施方式涉及的信息提示方法等，参照图1至图5进行说明。
[1-1.信息提示系统的结构]
首先，对于本实施方式涉及的包括执行信息提示方法的信息提示装置的信息提示系统10，参照图1至图4进行说明。图1是示出本实施方式涉及的信息提示系统10的结构等的概略图。图2是示出本实施方式涉及的信息提示系统10的功能结构的框图。
如图1以及图2示出，信息提示系统10是，例如，拍摄构造物O，根据该拍摄的图像测量构造物O的位移，提示测量的结果的测量结果提示系统。换而言之，信息提示系统10是，提示利用图像的构造物O的检查、以及检查结果的系统。构造物O是，信息提示系统10测量位移的测量对象物的一个例子，例如，桥梁等的基础设施构造物。构造物O是，例如，汽车或火车等的车辆行驶的桥梁。
信息提示系统10具备，单色相机20、彩色相机30、信息提示装置50、以及显示装置60。而且，信息提示系统10也可以不具备，显示装置60。
单色相机20以及彩色相机30是，拍摄用于检查构造物O的图像，将拍摄的图像0输出到信息提示装置50的摄像装置。单色相机20以及彩色相机30是，例如具备图像传感器的数字摄像机或数字静态相机。
单色相机20，将拍摄构造物O的单色图像数据输出到信息提示装置50。在单色图像数据示出的图像(以后，也记载为单色图像)是静止图像的情况下，单色相机20，为了测量构造物O的位移而将两个以上的单色图像输出到信息提示装置50。单色相机20具有，全局快门方式或卷帘快门方式的图像传感器，但是，从高精度地检测位移的观点，优选的是，具有全局快门方式的图像传感器(例如，CCD(Charge Coupled Device)图像传感器)。换而言之，优选的是，单色图像是，由具有全局快门方式的图像传感器的单色相机20拍摄的图像。而且，本实施方式涉及的单色图像数据不是，对由彩色相机300拍摄的彩色图像进行图像处理而生成的单色图像。而且，本申请的“单色图像”是，例如，黑白(灰度)图像。并且，单色相机20是，第一摄像装置的一个例子。
彩色相机30，将拍摄构造物O的彩色图像数据输出到信息提示装置50。在彩色图像数据示出的图像(以后，也记载为第一彩色图像)是静止图像的情况下，彩色相机30，为了重叠显示构造物O的位移而将一个以上的第一彩色图像输出到信息提示装置50。彩色相机30具有，全局快门方式或卷帘快门方式的图像传感器，但是，从彩色相机30的成本降低的观点，优选的是，具有卷帘快门方式的图像传感器。换而言之，优选的是，第一彩色图像是，由具有卷帘快门方式的图像传感器(例如，CMOS(Complementary Metal OxideSemiconductor)图像传感器)的彩色相机30拍摄的图像。并且，彩色相机30是，与单色相机20不同的摄像装置，第二摄像装置的一个例子。
如上所述，本实施方式涉及的信息提示系统10，由互不相同的摄像装置拍摄相同的构造物O。
并且，单色相机20以及彩色相机30也可以进行，向拍摄的图像的各个帧嵌入时间戳的处理。并且，单色相机20以及彩色相机30分别也可以，具有GPS(Global PositioningSystem)时钟，将包括经由该GPS时钟获得的时刻的图像数据输出到信息提示装置50。单色相机20以及彩色相机30分别具有GPS时钟，因此，能够容易确认单色图像与第一彩色图像的同步。也就是说，能够减少后述的匹配部54的处理量，因此，能够实现信息提示装置50的处理时间的缩短以及电力消耗的减少。
彩色图像数据是，信息量比单色图像数据少的图像数据。而且，在此，信息量少这意味着，用于测量构造物O的位移的信息少。具体而言，信息量少这包括，彩色图像数据的分辨率比单色图像数据的分辨率低，以及彩色图像数据的帧率比单色图像的帧率低的至少一方。换而言之，第一彩色图像是，与单色图像相比分辨率以及帧率的至少一方低的图像。
第一彩色图像的分辨率以及帧率是，在检查员等看该第一彩色图时，能够识别构造物O以及该构造物O的周围的情况的程度即可。并且，单色图像的分辨率以及帧率是，能够测量构造物O的位移的程度即可，按照想要测量的位移量等适当地决定即可。例如，第一彩色图像的分辨率是，HD(1440×1080)，单色图像的分辨率是，4K(3840×2160)。并且，例如，第一彩色图像的帧率是，60fps(frames per second)，单色图像的帧率是，200fps。
在图2中，图像的大小示出分辨率，图像的张数示出帧率。也就是说，图2示出，第一彩色图像的分辨率比单色图像的分辨率低，并且，第一彩色图像的帧率比单色图像的帧率低的例子。
并且，单色图像数据也可以是，对单色相机20拍摄的图像进行规定的图像处理而生成的图像数据，彩色图像数据也可以是，对彩色相机30拍摄的图像进行规定的图像处理而生成的图像数据。规定的图像处理是，例如，为了削减图像数据的容量，而压缩图像数据的处理(编码处理)。
例如，信息提示装置50获得的单色图像数据也可以是，由以第一压缩率压缩单色相机20拍摄的图像后的图像生成的图像数据。并且，例如，信息提示装置50获得的彩色图像数据也可以是，由以第二压缩率压缩彩色相机30拍摄的图像后的图像生成的图像数据。而且，第二压缩率，与第一压缩率相比压缩率高。而且，信息量少这包括，第二压缩率比第一压缩率高。并且，例如，也可以压缩彩色相机30拍摄的图像，而不压缩单色相机20拍摄的图像，这也包含在第二压缩率比第一压缩率高的情况。也就是说，单色图像数据也可以是，由非压缩的图像生成的图像数据。并且，例如，也可以对彩色相机30拍摄的图像进行不可逆压缩来生成彩色图像数据，对单色相机20拍摄的图像进行可逆压缩来生成单色图像数据。也就是说，单色图像是可逆信息，彩色图像是不可逆信息。而且，可逆压缩以及不可逆压缩的处理方法，没有特别的限定。
第一彩色图像也可以，由H.264压缩等的压缩处理压缩。而且，规定的图像处理也可以是，例如，稀疏拍摄的图像的一部分的像素的处理。例如，在单色相机20与彩色相机30拍摄相等的分辨率的图像的情况下也可以，彩色相机30稀疏比单色相机20多的像素，从而生成信息量比单色图像少的第一彩色图像。
而且，在进行所述的图像处理(例如，压缩处理)的情况下等，单色相机20以及彩色相机30的拍摄条件(例如，分辨率以及帧率等的条件)也可以相同。也就是说，对单色相机20以及彩色相机30拍摄的图像进行图像处理的结果为，第二获得部52获得的第一彩色图像是，与第一获得部51获得的单色图像相比信息量少的图像即可。
并且，彩色相机30也可以，具备麦克风以及扬声器，将拍摄构造物O时的声音信息(声音数据)与彩色图像数据一起输出到信息提示装置50。而且，也可以由单色相机20具备麦克风以及扬声器。并且，单色相机20或彩色相机30也可以，不将声音信息输出到信息提示装置50。
图1示出，单色相机20以及彩色相机30被配置为，固定在一个三脚架40、即与构造物O的距离以及姿势相等的例子，但是，不仅限于此。与构造物O的距离、以及相对于构造物O的姿势是，单色相机20以及彩色相机30的每一个中适当地决定即可。例如，单色相机20以及彩色相机30的视角或光轴也可以不同。
并且，单色图像以及第一彩色图像，若同时拍摄，则也可以是彼此非同步拍摄的图像。也就是说，单色相机20以及彩色相机30也可以，以包括相同的期间的方式独立地进行拍摄。而且，单色图像以及第一彩色图像，不仅限于以彼此包括相同的期间的方式而被拍摄的图像。例如，在规定的火车通过构造物O等，即使改变时刻或日期时间也能够再现相同的状况的情况下等，单色相机20以及彩色相机30也可以不是在相同时刻拍摄。
信息提示装置50是，根据从单色相机20获得的单色图像数据以及从彩色相机30获得的彩色图像数据，将示出测量构造物O的位移的测量结果的提示信息输出到显示装置60的测量结果提示装置。如图2示出，信息提示装置50具备，第一获得部51、第二获得部52、位移检测部53、匹配部54、转移部55、重叠部56、输出部57、以及存储部58。信息提示装置50具备的各个构成要素，例如，由CPU(Central Processing Unit)或处理器等的程序执行部，读出并执行硬盘或半导体存储器等的记录介质所记录的软件程序来实现。
第一获得部51是，获得单色相机20拍摄构造物O的单色图像数据的获得部。第一获得部51，将获得的单色图像数据输出到位移检测部53以及匹配部54。
第二获得部52是，获得彩色相机30拍摄构造物O的彩色图像数据的获得部。而且，在本实施方式中，第二获得部52，从彩色相机30还获得拍摄构造物O时的声音信息。第二获得部52，将获得的彩色图像数据输出到匹配部54以及重叠部56。并且，第二获得部52，将彩色图像数据以及声音信息输出到重叠部56。
第一获得部51以及第二获得部52的图像数据的获得方法，没有特别的限定。第一获得部51以及第二获得部52，也可以从单色相机20以及彩色相机30由无线通信或有线通信获得图像数据，也可以经由可装卸的存储器(例如USB(Universal Serial Bus)存储器)从单色相机20以及彩色相机30获得图像数据。
第一获得部51以及第二获得部52是，经由无线通信或有线通信与单色相机20以及彩色相机30连接成能够通信的通信接口。而且，第一获得部51以及第二获得部52也可以构成为，一个获得部。
在此，对于第一获得部51以及第二获得部52获得的图像数据，参照图3A至图3C进行说明。图3A是示出本实施方式涉及的信息提示装置50获得的图像数据的第一例的图。图3B是示出本实施方式涉及的信息提示装置50获得的图像数据的第二例的图。图3C是示出本实施方式涉及的信息提示装置50获得的图像数据的第三例的图。
如图3A的(a)以及(b)示出，两个以上的单色图像以及第一彩色图像的至少任意一个也可以是，在车辆T通过构造物O(例如，桥梁)时等，该构造物O被施加负荷时拍摄的图像。换而言之，单色相机20以及彩色相机30的至少一方，例如，以包括构造物O被施加负荷的期间的方式，拍摄该构造物O。而且，从明显地检测构造物O的位移的观点，优选的是，两个以上的单色图像的至少一个，在构造物O被施加负荷的期间被拍摄。
如图3B的(a)以及(b)示出，单色图像也可以是，拍摄第一彩色图像的一部分的区域(例如，图3B的(b)示出的虚线区域R)的图像。单色图像是，至少包括想要测量构造物O的位移的部分的图像即可。单色相机20是，例如，能够进行比彩色相机30窄角的拍摄的摄像装置。并且，单色相机20也可以，以单色图像拍摄第一彩色图像的一部分的区域的拍摄条件拍摄构造物O。
并且，第一彩色图像也可以是，拍摄比单色图像宽的区域的图像。彩色相机30也可以是，例如，能够进行比单色相机20广角的拍摄的摄像装置，例如，也可以是全方向相机(360°相机)。并且，彩色相机30也可以，以单色图像拍摄第一彩色图像的一部分的区域的拍摄条件拍摄构造物O。据此，能够容易进行匹配部54的定位。
如图3C的(a)以及(b)示出，第一彩色图像也可以是，帧率比单色图像低的图像。第一彩色图像也可以是，分辨率与单色图像相等、且帧率比单色图像低的图像。
再次参照图2，位移检测部53是，根据单色图像检测示出构造物O的运动的位移的处理部。构造物O的位移示出，构造物O的运动，包括构造物O运动的方向以及移动量的至少一个。位移检测部53，在获得两个单色图像(两个静止图像)的情况下，以一方的单色图像数据(例如，拍摄的时刻旧的单色图像数据)中的构造物O的位置为基准，根据该基准以及另一方的单色图像中的构造物O的位置，测量构造物O的位移。位移检测部53，在获得三个以上的单色图像数据的情况下，也同样，以三个以上的单色图像数据中的一个单色图像数据的构造物O的位置为基准，根据该基准以及其他的单色图像数据中的构造物O的位置，测量构造物O的位移的时间序列数据。而且，对于成为基准的单色图像，也可以利用构造物O没有位移时拍摄的图像，或者，车辆T没有通过构造物O时拍摄的图像。
位移检测部53，如上所述，仅根据单色图像以及第一彩色图像之中的单色图像测量构造物O的位移。单色图像是，由单色相机20拍摄的图像，信息量比第一彩色图像多的图像。位移检测部53，根据单色图像测量位移，据此，与根据第一彩色图像测量位移的情况相比，能够更高精度地测量位移。位移检测部53，例如，测量单色图像的各个帧(在单色图像是静止图像时，两个以上的单色图像)间的构造物O的位移。位移检测部53，例如，能够利用块匹配、相关法、采样云纹法、特征点跟踪法等的一般的位移检测方法。在此，作为相关法，可以举出归一化相关法(normalized cross correlation)、相位相关法(phasecorrelation)、激光散斑相关法等。位移检测的精度，也可以是像素单位，也可以是子像素单位。并且，也可以通过SIFT(Scale Invariant Feature Transform)等的特征点跟踪检测位移。
位移检测部53，例如，计算示出测量的位移的信息(以后，也记载为位移信息)，将该信息输出到转移部55。位移信息也可以包括，例如，示出构造物O的位置的变化的位移向量(运动向量，参照图4的位移向量V1至V4)。位移检测部53，在作为基准的单色图像以外的单色图像的每一个中计算位移向量。检查员等，确认包括该位移向量的提示信息，从而能够容易知道构造物O的位移的经时变化。
而且，位移信息是，能够视觉识别位移的程度以及特征的信息即可，不仅限于位移向量。位移信息也可以是，例如，示出构造物O的变形、振动、歪斜等的信息。若示出构造物O的变形的信息为例子进行说明，位移信息也可以是，示出该构造物O变形后的形状的曲线。
匹配部54是，根据单色图像以及第一彩色图像，进行单色图像的各个帧与第一彩色图像的各个帧的时间以及像素位置的对应的处理部。匹配部54，例如，利用图像识别推测单色图像与第一彩色图像等的对应关系。而且，时间的对应是，将单色图像的各个帧与第一彩色图像的各个帧之中的哪个帧被拍摄的时刻近建立对应的处理。并且，像素位置的对应包括，进行单色图像的构造物O与第一彩色图像的构造物O的定位。在单色图像与第一彩色图像，彼此分辨率、帧率以及视点的至少一个不同的情况下，需要进行上述的对应。
匹配部54，提取单色图像的各个帧以及第一彩色图像的各个帧各自的图像的特征点，根据提取的特征点的对应关系，进行单色图像与第一彩色图像的时间以及像素位置的对应。在此，对于匹配部54的对应的处理，参照图4进行说明。图4是用于说明本实施方式涉及的单色图像M与第一彩色图像C的对应的图。在此，以四个单色图像(四个帧)M1至M4、以及两个第一彩色图像(两个帧)C1以及C2为例子进行说明。并且，作为一个例子，单色图像的帧率是200fps，第一彩色图像的帧率是60fps。匹配部54，例如，检测SIFT以及ORB(OrientedFAST and Rotated BRIEF)、BRISK(Binary Robust Invariant Scalable Keypoints)等的特征点。
匹配部54，在单色图像M1至M4、以及第一彩色图像C1以及C2中分别提取特征点。而且，匹配部54，根据提取的特征点的对应关系，进行单色图像M1至M4与第一彩色图像C1以及C2的时间的对应。图4示出，第一彩色图像C1是，在拍摄单色图像M1以及M2的期间拍摄的图像，与单色图像M1以及M2建立对应的例子。并且示出，第一彩色图像C2是，在拍摄单色图像M3以及M4的期间拍摄的图像，与单色图像M3以及M4建立对应的例子。而且，第一彩色图像，与至少一个单色图像建立对应即可。例如，第一彩色图像C1也可以，与单色图像M1以及M2之中的拍摄的时间最近的单色图像M1建立对应。
根据上述的对应方法，单色相机20以及彩色相机30具有内置时钟，根据该内置时钟的时刻将单色图像与第一彩色图像的时间建立对应，从而能够高精度地进行时间的对应。而且，内置时钟，例如，由测量当前时刻的通用的定时器IC(定时器电路)、或实时时钟IC等实现。并且，根据上述的对应方法，选择单色相机20以及彩色相机30时的限制少。也就是说，即使在利用单色相机20与彩色相机30不同步的相机(例如，销售的相机)的情况下，也能够将单色图像与第一彩色图像的时间建立对应。因此，本实施方式涉及的信息提示系统10的实用性提高。
接着，匹配部54，根据时间被建立对应的单色图像以及第一彩色图像，进行定位。具体而言，匹配部54，根据时间被建立对应的单色图像与第一彩色图像的特征量的对应关系，进行定位。
而且，匹配部54也可以，在图像中映出运动的物体(例如，车辆T)的情况下，组合上述的特征点的对应、与该物体的物体识别以及物体跟踪等，或者，代替上述的特征点的对应，而进行该物体的物体识别以及物体跟踪等，从而进行位置的对应。
而且，匹配部54也可以，在单色图像数据以及彩色图像数据中包括，经由GPS时钟获得的时刻的信息的情况下，利用该时刻的信息进行时间的对应。并且，匹配部54也可以，在获得两个单色图像数据以及一个彩色图像数据的情况下，不进行将时间建立对应的处理。也就是说，匹配部54，至少进行像素位置的对应即可。
匹配部54，将单色图像与第一彩色图像建立对应的对应信息输出到转移部55。
再次参照图2，转移部55是，生成从单色图像以及第一彩色图像的一方向另一方重叠的信息(例如，位移向量)的处理部。在本实施方式中，转移部55是，根据位移检测部53的位移的检测结果、以及匹配部54的对应结果，决定用于提示位移的检测结果的图像中的位移的结果的提示形态的处理部。信息提示装置50，输出将包括位移向量重叠在第一彩色图像的图像(第二彩色图像的一个例子，参照图2示出的第二彩色图像P)的提示信息。并且，图2示出的第二彩色图像P中包括的位移向量V(第二彩色图像P中的箭头)是，示出位移的信息的一个例子。
转移部55，在分辨率以及视点不同的单色图像以及第一彩色图像中，调整将示出根据单色图像检测出的位移的信息(位移信息，例如位移向量)重叠在第一彩色图像时的第一彩色图像中的位置、大小、朝向等。换而言之，转移部55，进行将根据单色图像检测出的位移信息转换为用于重叠在第一彩色图像的转移信息的处理。而且，转移部55，在一个第一彩色图像与两个以上的单色图像相对应的情况下，也可以根据两个以上的单色图像各自的位移决定用于重叠在第一彩色图像的一个转移信息，也可以根据两个以上的单色图像之中的规定的数量的单色图像(例如，一个单色图像)决定用于重叠在第一彩色图像的一个转移信息。而且，转移部55，将决定的转移信息输出到重叠部56。转移部55，例如，将位移向量作为转移信息输出到重叠部56。
若以图4为例子进行说明，转移部55，例如，根据位移向量V1以及V2的至少一方决定用于重叠在第一彩色图像C1的位移向量V5。图4示出，根据位移向量V1以及V2的双方决定位移向量V5的例子。转移部55，例如，也可以决定将位移向量V1以及V2平均的平均向量，以作为位移向量V5，也可以决定将对位移向量V1以及V2与规定的系数(权重)进行运算的向量平均的平均向量，以作为位移向量V5。规定的系数也可以被决定为，例如，拍摄时刻与第一彩色图像C1越近的单色图像的位移向量，对位移向量V5的影响程度就越大(例如，规定的系数成为大的值)。并且，转移部55也可以，决定拍摄时刻与第一彩色图像C1最近的单色图像中的位移向量，(例如，第一彩色图像C1中的位移向量V1)，以作为位移向量V5。并且，位移向量V6也同样，根据位移向量V3以及V4而被决定。而且，位移向量V5以及V6是示出位移的信息，转移信息的一个例子。并且，转移信息也可以包括，用于确定与位移向量对应的第一彩色图像的信息。
再次参照图2，重叠部56是，根据单色图像以及第一彩色图像，生成包括提示位移信息的第二彩色图像的提示信息的处理部。在本实施方式中，重叠部56，将基于单色图像以及第一彩色图像的转移信息重叠在第一彩色图像，从而生成提示信息。具体而言，重叠部56，将转移信息中包括的位移向量重叠在与该位移向量对应的第一彩色图像。若以图4为例子进行说明，重叠部56，将位移向量V5重叠在第一彩色图像C1，将位移向量V6重叠在第一彩色图像C2。
重叠部56，将重叠位移向量而生成的包括第二彩色图像的提示信息输出到输出部57。在本实施方式中，信息提示装置50，从彩色相机30获得声音数据。也就是说，信息提示装置50，从彩色相机30获得该声音数据中包括的第一声音信息。因此，重叠部56，将形成第二彩色图像的图像数据(以后，也记载为第二彩色图像数据)以及与该第二彩色图像数据对应的第二声音信息输出到输出部57。而且，重叠部56，至少将第二彩色图像数据输出到输出部57即可。并且，第二彩色图像数据以及第二声音信息是，提示信息的一个例子。并且，重叠部56是，生成提示信息的提示信息生成部的一个例子。
并且，第二声音信息是，基于第一声音信息的信息，例如，也可以是对第一声音信息进行了规定的加工的数据。第二声音信息也可以是，例如，提取了第一声音信息的一部分的信息。第二声音信息也可以是，例如，提取了第一声音信息之中的、车辆T通过构造物O时的声音信息的信息。并且，第二声音信息也可以是，例如，提取了第一声音信息之中的规定以上的音量的声音信息的信息。并且，规定的加工也可以是，除此以外的加工。规定的加工也可以是，例如，用于强调发出规定的声音(例如，构造物O中的异响)的加工。而且，第二声音信息也可以是，没有进行规定的加工的信息。也就是说，第一声音信息以及第二声音信息也可以是，相同的信息。
而且，重叠部56也可以，在将位移向量重叠在第一彩色图像时，使位移向量的提示形态发生变化。重叠部56也可以，例如，在位移向量的大小或朝向为规定的范围外的情况下，将该位移向量以与其他的位移向量不同的形态(例如，以与其他的位移向量不同的颜色(例如，红色)显示，或闪烁显示等)重叠在第一彩色图像。
输出部57是，将从重叠部56获得的提示信息输出到显示装置60的输出部。输出部57的图像数据的输出方法，没有特别的限定。输出部57，也可以向显示装置60以无线通信或有线通信输出图像数据，也可以经由可装卸的存储器(例如USB存储器)向显示装置60输出提示信息。输出部57是，经由无线通信或有线通信与显示装置60连接成能够通信的通信接口。
存储部58是，存储重叠部56生成的提示信息的存储装置。存储部58也可以，存储第一获得部51以及第二获得部52获得的单色图像数据以及彩色图像数据。并且，存储部58也可以，存储信息提示装置50具备的各个处理部执行的控制程序。存储部58，例如，由半导体存储器等实现。
显示装置60是，从信息提示装置50获得提示信息，将提示信息作为图像输出的装置。图像包括，照片、插图或文字等。显示装置60是，液晶显示器等。显示装置60输出的图像是，由检查员等视觉识别，在检查员判断构造物O是否有异常、或是否需要追加的检查等时使用的。
而且，显示装置60是，提示装置的一个例子。信息提示系统10也可以，与显示装置60一起，或代替显示装置60，具备输出声音的装置以作为提示装置。并且，信息提示系统10也可以，具备投影仪等的向对象物(例如，屏幕)显示提示信息的装置以作为提示装置。在信息提示装置50配置在远处的情况下，显示装置60与信息提示装置50也可以，经由网络连接。并且，显示装置60与单色相机20以及彩色相机30也可以，经由网络连接。
[1-2.信息提示装置的工作]
接着，对于上述的信息提示装置50的工作，参照图5进行说明。图5是示出本实施方式涉及的信息提示装置50的工作的流程图。
如图5示出，信息提示装置50，获得单色图像以及第一彩色图像(S10)。信息提示装置50，在步骤S10中，获得由单色相机20(第一摄像装置的一个例子)拍摄构造物O的单色图像、以及由彩色相机30(第二摄像装置的一个例子)拍摄构造物O的第一彩色图像，即信息量比单色图像少的第一彩色图像。也就是说，信息提示装置50，由互不相同的摄像装置，获得拍摄相同的构造物O的单色图像以及第一彩色图像。
具体而言，第一获得部51，从单色相机20获得单色图像数据，第二获得部52，从彩色相机30获得彩色图像数据。而且，第一获得部51以及第二获得部52获得图像数据的定时，没有特别限制，也可以在单色相机20以及彩色相机30拍摄时依次获得，也可以在拍摄结束之后获得。
第一获得部51，将获得的单色图像数据输出到位移检测部53以及匹配部54。第二获得部52，将获得的彩色图像数据输出到匹配部54以及重叠部56。而且，步骤S10是，获得步骤的一个例子。并且，在本实施方式中，在获得步骤中，第二获得部52还获得声音数据(第一声音信息)。
接着，位移检测部53，根据单色图像，检测构造物O的位移(S20)。具体而言，位移检测部53，仅根据单色图像以及彩色图像之中的单色图像，检测该单色图像中映出的构造物O的位移。而且，步骤S20是，检测步骤的一个例子。
接着，匹配部54，根据单色图像以及第一彩色图像，对时空对应点进行配对(S30)。具体而言，匹配部54，从单色图像以及彩色图像提取特征点，根据该特征点的对应关系，将单色图像与第一彩色图像的时间以及空间(位置)的至少一方建立对应。匹配部54，例如，在步骤S30中，将单色图像与第一彩色图像中的像素位置建立对应。匹配部54，将时间以及位置的至少一方对应的对应信息输出到转移部55。而且，步骤S30是，建立对应步骤的一个例子。
接着，转移部55，按照第一彩色图像，转换位移检测部53检测出的位移(S40)。具体而言，转移部55，将位移检测部53检测出的位移(例如，位移向量)，根据第一彩色图像的大小、以及与该第一彩色图像对应的多个单色图像各自的位移等，转换为第一彩色图像中示出该位移的信息即转移信息。转移部55，将转换了位移信息的转移信息输出到重叠部56。
接着，重叠部56，将从转移部55获得的转移信息(位移)重叠在第一彩色图像，从而生成包括第二彩色图像的提示信息(S50)。重叠部56，例如，根据步骤S30中获得的对应结果，将转移信息重叠在第一彩色图像，从而生成第二彩色图像。而且，在第二获得部52获得声音数据(第一声音信息)的情况下，提示信息中包括基于该第一声音信息的第二声音信息。而且，步骤S50是，重叠步骤的一个例子。
接着，输出部57，输出重叠部56生成的提示信息(S60)。也就是说，信息提示装置50，使显示装置60将提示信息提示。据此，能够将根据单色图像数据高精度地测量的位移，重叠在容易视觉识别的第一彩色图像来显示。而且，步骤S60是，输出步骤的一个例子。
而且，图5示出的步骤S30至S50是，根据单色图像以及第一彩色图像，生成包括提示示出位移的信息的第二彩色图像的提示信息的提示信息生成步骤的一个例子。而且，提示信息生成步骤，能够生成包括第二彩色图像的提示信息即可，例如，也可以不包括步骤S30以及S40。并且，在本实施方式中，在该提示信息生成步骤中，生成还包括第二声音信息的提示信息。
如上所述，本实施方式涉及的信息提示装置50，将单色图像与第一彩色图像中的像素位置建立对应。而且，信息提示装置50，根据对应结果(也记载为匹配结果，对应信息的一个例子)，将位移信息重叠在第一彩色图像，从而生成包括第二彩色图像的提示信息。
(实施方式2)
以下，对于本实施方式涉及的信息提示方法等，参照图6至图8进行说明。而且，在以下的说明中，以与实施方式1不同之处为中心进行说明，对于与实施方式1同样的结构，赋予相同的符号，会有省略或简化说明的情况。
[2-1.信息提示系统的结构]
首先，对于本实施方式涉及的包括执行信息提示方法的信息提示装置50a的信息提示系统10a，参照图6以及图7进行说明。图6是示出本实施方式涉及的信息提示系统10a的功能结构的框图。
如图6示出，信息提示系统10a具备，单色相机20、彩色相机30、信息提示装置50a、以及显示装置60。本实施方式涉及的信息提示系统10a，与实施方式1涉及的信息提示装置50不同之处是，信息提示装置50a根据第一彩色图像的颜色信息，将单色图像转换为彩色图像(第三彩色图像的一个例子)。
信息提示装置50a，除了实施方式1涉及的信息提示装置50具备的各个构成要素以外，还具备彩色图像生成部59。并且，转移部55以及重叠部56中的处理不同。
转移部55是，根据第一彩色图像、以及匹配部54的对应结果，生成用于将单色图像转换为彩色图像的颜色信息的处理部。转移部55，根据第一彩色图像获得第一颜色信息，根据该第一颜色信息以及对应结果，生成用于将单色图像转换为第三彩色图像的第二颜色信息。信息提示装置50a，输出将位移的测量结果重叠在根据第一颜色信息彩色化后的单色图像即第三彩色图像的图像(第二彩色图像的一个例子)。转移部55，在分辨率以及视点不同的单色图像与第一彩色图像中，将根据第一彩色图像获得的第一颜色信息转换为，用于根据对应信息将单色图像彩色化的第二颜色信息。换而言之，转移部55，进行用于利用根据第一彩色图像获得的第一颜色信息，将单色图像彩色化(例如，将第一颜色信息转移为第二颜色信息)的处理。而且，以后，也将第二颜色信息简单地记载为颜色信息。
而且，转移部55也可以，在一个第一彩色图像与两个以上的单色图像相对应的情况下，将两个以上的单色图像的每一个与相同的第二颜色信息建立对应。并且，在拍摄两个第一彩色图像的期间拍摄多个单色图像的情况下，也可以根据两个第一彩色图像的第一颜色信息决定与该多个单色图像对应的第二颜色信息。而且，转移部55，将生成的第二颜色信息输出到彩色图像生成部59。
在此，对于转移部55的颜色信息的生成的处理，参照图7进行说明。图7是用于说明本实施方式涉及的单色图像与彩色图像的对应的图。在此，以四个单色图像(四个帧)M11至M14、以及两个第一彩色图像(两个帧)C11以及C12为例子进行说明。
转移部55，例如，为了向单色图像M11以及M12附加颜色的信息，根据从第一彩色图像C11获得的第一颜色信息、以及对应结果，生成颜色信息。并且，转移部55，例如，为了向单色图像M13以及M14附加颜色的信息，根据从第一彩色图像C12获得的第一颜色信息、以及对应结果，生成颜色信息。而且，在图像中没有映出车辆T等的运动的物体的情况下，也可以根据第一彩色图像C11以及C12决定，向单色图像M11至M14附加颜色的颜色信息。也就是说，单色图像M11至M14分别也可以，根据一个颜色信息，被附加颜色。
再次参照图6，彩色图像生成部59是，根据单色图像数据以及颜色信息，将颜色信息重叠在单色图像来生成高精细的第三彩色图像的处理部。将颜色信息重叠在单色图像而生成的第三彩色图像是，信息量比第二获得部52获得的第一彩色图像多的图像。
而且，彩色图像生成部59，不仅限于将单色图像的全区域彩色化。彩色图像生成部59也可以，例如，仅将单色图像之中的、检测位移的区域以及其周围彩色化。据此，检查员，能够容易识别应该注视显示装置60显示的图像之中的哪个区域。
彩色图像生成部59，将形成生成的第三彩色图像的彩色图像数据输出到重叠部56。
重叠部56，进行根据位移信息将位移重叠在第三彩色图像的处理。重叠部56，例如，进行将位移信息中包括的位移向量V11至V14(参照图7)重叠在与该位移向量对应的第三彩色图像的处理。若以图7的单色图像M11为例子进行说明，重叠部56，将位移向量V11重叠在由基于第一彩色图像C11的颜色信息彩色化的单色图像M11。
重叠部56，将包括形成重叠位移向量而生成的第二彩色图像的彩色图像数据的提示信息输出到输出部57。在本实施方式中，信息提示装置50a从彩色相机30获得第一声音信息。因此，重叠部56，将形成第二彩色图像的第二彩色图像数据以及与该第二彩色图像数据对应的第二声音信息输出到输出部57。而且，重叠部56，至少将第二彩色图像数据输出到输出部57即可。并且，第二彩色图像数据以及第二声音信息是，提示信息的一个例子。
[2-2.信息提示装置的工作]
接着，对于上述的信息提示装置50a的工作，参照图8进行说明。图8是示出本实施方式涉及的信息提示装置50a的工作的流程图。作为信息提示装置50a的工作，除了实施方式1涉及的信息提示装置50a的工作以外，在步骤S30与步骤S50之间，进行步骤S70以及S80的处理。并且，步骤S60中的处理不同。
如图8示出，转移部55，根据第一彩色图像，获得第二颜色信息(颜色信息)(S70)。具体而言，转移部55，根据基于第二获得部52获得的第一彩色图像的第一颜色信息以及对应信息，计算用于将单色图像彩色化的第二颜色信息。而且，转移部55也可以，在单色图像以及第一彩色图像是从相同的视点拍摄的图像的情况下，仅根据第一彩色图像以及对应信息之中的第一彩色图像，获得第二颜色信息。也就是说，第一颜色信息以及第二颜色信息也可以是相同的信息。而且，转移部55，将第二颜色信息输出到彩色图像生成部59。而且，步骤S70是，颜色信息获得步骤的一个例子。
接着，彩色图像生成部59，根据步骤S30中获得的匹配结果(例如，对应信息)以及第二颜色信息(颜色信息)，从单色图像生成第三彩色图像(S80)。第三彩色图像是，与单色图像相同的分辨率以及帧率的高精细的彩色图像。彩色图像生成部59，将形成生成的第三彩色图像的第三彩色图像数据输出到重叠部56。而且，在第二获得部52获得第一声音信息的情况下，第三彩色图像数据中包括第二声音信息。而且，步骤S80是，彩色图像生成步骤的一个例子。
重叠部56，将位移检测部53测量的位移重叠在第三彩色图像，从而生成包括第二彩色图像的提示信息(S50)。而且，在第二获得部52获得第一声音信息的情况下，提示信息中包括第二声音信息。
而且，图8示出的步骤S30至S50是，根据单色图像以及第一彩色图像，生成包括用于提示示出位移的信息的第二彩色图像的提示信息的提示信息生成步骤的一个例子。而且，提示信息生成步骤，能够生成包括第二彩色图像的提示信息即可，例如，也可以不包括步骤S30的处理。
如上所述，本实施方式涉及的信息提示装置50a，根据对应结果(对应信息)以及基于第一彩色图像的第二颜色信息，根据单色图像生成第三彩色图像。而且，信息提示装置50a，将示出位移的信息(位移信息)重叠在第三彩色图像，从而生成包括第二彩色图像的提示信息。
(其他的实施方式)
以上，对于本公开的一个或多个形态涉及的信息提示方法、信息提示装置以及信息提示系统，根据实施方式1以及2(以后，也记载为实施方式等)进行了说明，但是，本公开，不仅限于该实施方式等。只要不脱离本公开的宗旨，对实施方式等实施本领域技术人员想到的各种变形的形态，或组合不同的实施方式的构成要素来构成的形态，也可以包含在本公开的一个或多个形态的范围内。
例如，所述实施方式等的信息提示装置也可以，作为构造物的位移，测量将构造物彼此连结的连结部件(例如，螺丝、螺母、或铆钉)的位移。而且，连结部件的位移包括，例如，连结部件的旋转角以及移动距离的至少一方。而且，旋转角包括，转动方向以及旋转的角度，移动距离包括，移动方向以及移动的距离。
并且，在所述实施方式等中说明了，第一摄像装置是单色相机，第二摄像装置是彩色相机的例子，但是，不仅限于此。第一摄像装置，若是能够将单色图像输出到信息提示装置的摄像装置，则没有特别的限定。并且，第二摄像装置，若是能够将信息量比单色图像少的彩色图像输出到信息提示装置的摄像装置，则没有特别的限定。
并且，在所述实施方式等中，信息提示装置，从一台单色相机以及彩色相机获得图像，但是，不仅限于此。信息提示系统也可以，具备视点互不相同的多个单色相机以及彩色相机，信息提示装置，从多个单色相机以及彩色相机分别获得图像数据。据此，位移检测部，能够检测三维空间的位移。并且，提示信息也可以是，三维彩色图像。
并且，在所述实施方式等中示出了，信息提示装置不具备，摄像装置以及提示装置的例子，但是，也可以具备摄像装置以及提示装置的至少一方。在此情况下，摄像装置，作为信息提示装置的一部分即摄像部发挥功能，提示装置，作为信息提示装置的一部分即提示部(例如，显示部或通知部)发挥功能。并且，信息提示装置包括的多个功能结构(位移检测部，匹配部，转移部以及重叠部等)，由分散计算或云计算实现。
并且，所述实施方式等的匹配部的处理也可以，例如，利用预先学习的机器学习模型而被进行。例如，在匹配部的内部，安装利用学习数据学习的机器学习模型。匹配部，例如，将单色图像以及彩色图像作为输入信息输入到机器学习模型，将示出单色图像与彩色图像的时间以及位置的至少一方的对应关系的信息(对应信息)作为输出获得。如上所述，也可以利用机器学习模型进行由匹配部利用图像识别的单色图像与彩色图像的对应关系的获得。
并且，所述实施方式等的信息提示装置具备的构成要素的一部分或全部也可以，由一个系统LSI(Large Scale Integration：大规模集成电路)构成。例如，信息提示装置也可以，由具有获得部、检测部、匹配部、转移部以及重叠部的系统LSI构成。
并且，框图中的功能块的分割是一个例子，也可以将多个功能块作为一个功能块实现，也可以将一个功能块分割为多个，也可以将一部分的功能转移到其他的功能块。并且，具有类似的功能的多个功能块的功能也可以，由单一硬件或软件以并联或时间分割处理。
并且，在所述实施方式等中，信息提示装置，由单一装置实现，但是，也可以由彼此连接的多个装置实现。
并且，所述实施方式等的信息提示系统具备的装置间的通信方法，没有特别的限定。在装置间，也可以进行无线通信，也可以进行有线通信。并且，在装置间，也可以组合无线通信以及有线通信。
系统LSI是，将多个构成部集成在一个芯片上而制造的超多功能LSI，具体而言，包括微处理器、ROM(Read Only Memory)以及RAM(Random Access Memory)等而构成的计算机系统。在ROM存储有计算机程序。微处理器，根据计算机程序进行工作，据此，系统LSI实现其功能。
而且，在此，设为系统LSI，但是，也会有根据集成度的不同，称为IC、LSI、超LSI、特大LSI的情况。并且，集成电路化的方法，不仅限于LSI，也可以由专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接以及设定的可重构处理器。
进而，若因半导体技术的进步或派生的其他的技术而出现代替LSI的集成电路化的技术，当然，也可以利用该技术进行功能块的集成化。会有生物技术的适用等的可能性。
并且，本公开的一个形态也可以是，使计算机执行信息提示方法包括的特征性的各个步骤的计算机程序。并且，本公开的一个形态也可以是，记录了这样的计算机程序的、计算可读取的非暂时性的记录介质。
而且，在所述各个实施方式中，各个构成要素也可以，由专用的硬件构成，或者执行适于各个构成要素的软件程序来实现。也可以CPU或处理器等的程序执行部，读出并执行硬盘或半导体存储器等的记录介质中记录的软件程序，来实现各个构成要素。
本公开，能够广泛地利用于提示拍摄构造物的图像的测量结果的信息提示装置。
符号说明
10、10a 信息提示系统
20 单色相机(第一摄像装置)
30 彩色相机(第二摄像装置)
40 三脚架
50、50a 信息提示装置
51 第一获得部
52 第二获得部
53 位移检测部
54 匹配部
55 转移部
56 重叠部(提示信息生成部)
57 输出部
58 存储部
59 彩色图像生成部
60 显示装置
C、C1、C2、C11、C12 第一彩色图像
M、M1至M4、M11至M14 单色图像
O 构造物
P 第二彩色图像
R 虚线区域
T 车辆
V1至V14 位移向量(示出位移的信息)

Claims (14)

1.一种信息提示方法，包括：
获得步骤，获得包括由第一摄像装置在第一时刻拍摄构造物而得到的第一单色图像和在与所述第一时刻不同的第二时刻拍摄所述构造物而得到的第二单色图像的两个以上的单色图像、以及由与所述第一摄像装置不同的第二摄像装置拍摄所述构造物而得到的一个以上的第一彩色图像，所述一个以上的第一彩色图像的信息量比所述两个以上的单色图像少；
检测步骤，根据所述两个以上的单色图像检测示出所述构造物的运动的位移时，基于所述第一单色图像检测所述构造物的第一位移，基于所述第二单色图像检测所述构造物的第二位移；
提示信息生成步骤，生成包括第二彩色图像的提示信息，示出基于所述第一位移及所述第二位移而得到的一个位移的信息由所述第二彩色图像提示；以及
输出步骤，输出所述提示信息，
所述提示信息生成步骤包括：
时刻建立对应步骤，所述时刻建立对应步骤将所述一个以上的第一彩色图像之中的在所述第一时刻与所述第二时刻之间被拍摄的一个第一彩色图像的拍摄时刻、与所述第一单色图像以及所述第二单色图像之中的至少一方的拍摄时刻建立对应；
位置建立对应步骤，将所述两个以上的单色图像与所述一个以上的第一彩色图像中的像素位置建立对应；以及
重叠步骤，根据所述位置建立对应步骤中获得的对应结果，将示出所述一个位移的信息重叠在所述第一彩色图像，从而生成所述第二彩色图像。
2.一种信息提示方法，包括：
获得步骤，获得包括由第一摄像装置在第一时刻拍摄构造物而得到的第一单色图像和在与所述第一时刻不同的第二时刻拍摄所述构造物而得到的第二单色图像的两个以上的单色图像、以及由与所述第一摄像装置不同的第二摄像装置拍摄所述构造物而得到的一个以上的第一彩色图像，所述一个以上的第一彩色图像的信息量比所述两个以上的单色图像少；
检测步骤，根据所述两个以上的单色图像检测示出所述构造物的运动的位移时，基于所述第一单色图像检测所述构造物的第一位移，基于所述第二单色图像检测所述构造物的第二位移；
提示信息生成步骤，生成包括第二彩色图像的提示信息，示出基于所述第一位移及所述第二位移而得到的一个位移的信息由所述第二彩色图像提示；以及
输出步骤，输出所述提示信息，
所述提示信息生成步骤，包括：
位置建立对应步骤，将所述两个以上的单色图像与所述一个以上的第一彩色图像中的像素位置建立对应；
颜色信息获得步骤，根据所述一个以上的第一彩色图像获得颜色信息；
彩色图像生成步骤，根据所述位置建立对应步骤中获得的对应结果、以及所述颜色信息，从所述两个以上的单色图像生成第三彩色图像；以及
重叠步骤，将示出所述一个位移的信息重叠在所述第三彩色图像，从而生成所述第二彩色图像。
3.如权利要求1或2所述的信息提示方法，
所述第一摄像装置是单色相机，
所述第二摄像装置是彩色相机。
4.如权利要求1或2所述的信息提示方法，
示出所述位移的信息包括，示出所述两个以上的单色图像中的所述构造物的位置的变化的位移向量。
5.如权利要求1或2所述的信息提示方法，
在所述获得步骤中，还获得拍摄所述构造物时的声音信息，
在所述提示信息生成步骤中，生成还包括所述声音信息的所述提示信息。
6.如权利要求1或2所述的信息提示方法，
所述两个以上的单色图像以及所述一个以上的第一彩色图像是，以彼此包括相同的期间的方式而被拍摄的图像。
7.如权利要求1或2所述的信息提示方法，
所述两个以上的单色图像以及所述一个以上的第一彩色图像的至少任意一个是，在所述构造物被施加负荷时拍摄的图像。
8.如权利要求1或2所述的信息提示方法，
所述一个以上的第一彩色图像是，分辨率比所述两个以上的单色图像低的图像。
9.如权利要求1或2所述的信息提示方法，
所述一个以上的第一彩色图像是，帧率比所述两个以上的单色图像低的图像。
10.如权利要求1或2所述的信息提示方法，
在所述获得步骤中获得的所述两个以上的单色图像是，对所述第一摄像装置拍摄的图像进行可逆压缩而得到的图像，
在所述获得步骤中获得的所述一个以上的第一彩色图像是，对所述第二摄像装置拍摄的图像进行不可逆压缩而得到的图像。
11.如权利要求1或2所述的信息提示方法，
所述两个以上的单色图像是，由具有全局快门方式的图像传感器的所述第一摄像装置拍摄的图像。
12.如权利要求1或2所述的信息提示方法，
所述一个以上的第一彩色图像是，由具有卷帘快门方式的图像传感器的所述第二摄像装置拍摄的图像。
13.一种信息提示装置，具备：
第一获得部，获得包括由第一摄像装置在第一时刻拍摄构造物而得到的第一单色图像、在与所述第一时刻不同的第二时刻拍摄所述构造物而得到的第二单色图像的两个以上的单色图像；
第二获得部，获得由与所述第一摄像装置不同的第二摄像装置拍摄所述构造物而得到的一个以上的第一彩色图像，所述一个以上的第一彩色图像的信息量比所述两个以上的单色图像少；
位移检测部，根据所述两个以上的单色图像检测示出所述构造物的运动的位移时，基于所述第一单色图像检测所述构造物的第一位移，基于所述第二单色图像检测所述构造物的第二位移；
提示信息生成部，生成包括第二彩色图像的提示信息，示出基于所述第一位移及所述第二位移而得到的一个位移的信息由所述第二彩色图像提示；以及
输出部，输出所述提示信息，
所述提示信息生成部将所述一个以上的第一彩色图像之中的在所述第一时刻与所述第二时刻之间被拍摄的一个第一彩色图像的拍摄时刻、与所述第一单色图像以及所述第二单色图像之中的至少一方的拍摄时刻建立对应，将所述两个以上的单色图像与所述一个以上的第一彩色图像中的像素位置建立对应，根据所述位置建立对应的结果，将示出所述一个位移的信息重叠在所述第一彩色图像，从而生成所述第二彩色图像。
14.一种信息提示系统，具备：
权利要求13所述的信息提示装置；
单色相机，拍摄包括所述构造物的所述两个以上的单色图像，将拍摄的所述两个以上的单色图像输出到所述信息提示装置；以及
彩色相机，拍摄包括所述构造物的所述一个以上的第一彩色图像，将拍摄的所述一个以上的第一彩色图像输出到所述信息提示装置。
CN201980042259.3A 2018-10-29 2019-07-01 信息提示方法、信息提示装置、以及信息提示系统 Active CN112313472B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018203309 2018-10-29
JP2018-203309 2018-10-29
PCT/JP2019/026007 WO2020090154A1 (ja) 2018-10-29 2019-07-01 情報提示方法、情報提示装置、及び、情報提示システム

Publications (2)

Publication Number Publication Date
CN112313472A CN112313472A (zh) 2021-02-02
CN112313472B true CN112313472B (zh) 2023-12-26

Family

ID=70462597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980042259.3A Active CN112313472B (zh) 2018-10-29 2019-07-01 信息提示方法、信息提示装置、以及信息提示系统

Country Status (4)

Country Link
US (1) US11348225B2 (zh)
JP (1) JP7336773B2 (zh)
CN (1) CN112313472B (zh)
WO (1) WO2020090154A1 (zh)

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852502A (en) * 1996-05-31 1998-12-22 American Digital Imaging, Inc. Apparatus and method for digital camera and recorder having a high resolution color composite image output
JP2000251059A (ja) * 1999-03-03 2000-09-14 Sakata Denki 地表面画像監視装置
JP2004325209A (ja) * 2003-04-24 2004-11-18 Kokusai Kogyo Co Ltd 構造物変位計測装置および構造物変位計測方法
JP2005062414A (ja) * 2003-08-11 2005-03-10 Canon Inc 画像記録装置及びその制御方法
JP2005348221A (ja) * 2004-06-04 2005-12-15 Seiko Epson Corp 画像生成装置、静止画像生成装置、画像ずれ量検出装置、画像整列装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体
CN101061519A (zh) * 2004-11-16 2007-10-24 皇家飞利浦电子股份有限公司 基于图像分割绘制图像
CN101681519A (zh) * 2007-06-01 2010-03-24 丰田自动车株式会社 测量装置、测量方法、程序以及计算机可读介质
JP2013015679A (ja) * 2011-07-04 2013-01-24 Panasonic Corp 立体写真撮影装置、及び立体写真撮影方法
CN102959941A (zh) * 2010-07-02 2013-03-06 索尼电脑娱乐公司 信息处理系统、信息处理装置及信息处理方法
JP2013223211A (ja) * 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置、撮像処理方法、およびプログラム
CN103765866A (zh) * 2011-09-06 2014-04-30 索尼公司 成像装置、信息处理装置及其控制方法和程序
WO2014084022A1 (ja) * 2012-11-30 2014-06-05 富士フイルム株式会社 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置
US9319585B1 (en) * 2014-12-18 2016-04-19 Omnivision Technologies, Inc. High resolution array camera
CN105635972A (zh) * 2016-03-10 2016-06-01 北京小米移动软件有限公司 图像处理方法及装置
CN105827990A (zh) * 2016-01-22 2016-08-03 维沃移动通信有限公司 一种自动曝光方法及移动终端
CN106165414A (zh) * 2014-01-20 2016-11-23 三星电子株式会社 用于再现医学图像的方法和设备以及计算机可读记录介质
CN106574832A (zh) * 2014-09-11 2017-04-19 株式会社日立高新技术 重叠测量方法、装置、以及显示装置
CN106998413A (zh) * 2015-12-04 2017-08-01 佳能株式会社 图像处理设备、摄像设备和图像处理方法
WO2017195858A1 (ja) * 2016-05-13 2017-11-16 アジア航測株式会社 マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム
US9894298B1 (en) * 2014-09-26 2018-02-13 Amazon Technologies, Inc. Low light image processing
JP2018142356A (ja) * 2018-04-27 2018-09-13 パナソニックＩｐマネジメント株式会社 動体監視装置、サーバ装置、および動体監視システム
EP3416369A1 (en) * 2016-03-09 2018-12-19 Huawei Technologies Co., Ltd. Image processing method and apparatus for terminal, and terminal
CN109076169A (zh) * 2016-04-28 2018-12-21 高通股份有限公司 彩色和单色图像的移位和匹配融合

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053249B (zh) * 2005-09-09 2011-02-16 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
US8302868B2 (en) * 2010-01-15 2012-11-06 Metrologic Instruments, Inc. Parallel decoding scheme for an indicia reader
JP5338762B2 (ja) * 2010-07-14 2013-11-13 株式会社豊田中央研究所 ホワイトバランス係数算出装置及びプログラム
JP6181373B2 (ja) * 2013-01-18 2017-08-16 東芝メディカルシステムズ株式会社 医用情報処理装置及びプログラム
JP6156724B2 (ja) * 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
JP6323929B2 (ja) 2014-01-30 2018-05-16 国立大学法人 和歌山大学 計測装置及び橋梁検査方法
JP6348289B2 (ja) * 2014-01-31 2018-06-27 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
JP2015148498A (ja) * 2014-02-06 2015-08-20 コニカミノルタ株式会社 測距装置および測距方法
US9245196B2 (en) * 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
JP6568719B2 (ja) * 2014-08-29 2019-08-28 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
JP6682287B2 (ja) * 2016-02-05 2020-04-15 キヤノンメディカルシステムズ株式会社 Ｘ線撮影システム
JP6350923B2 (ja) * 2016-02-24 2018-07-04 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法
US10062176B2 (en) * 2016-02-24 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Displacement detecting apparatus and displacement detecting method
JP6687969B2 (ja) * 2016-07-28 2020-04-28 公益財団法人鉄道総合技術研究所 変状検出装置及び変状検出プログラム
GB2555675B (en) * 2016-08-05 2019-05-08 Secr Defence Method and apparatus for generating an enhanced digital image of a physical object or environment
WO2018092379A1 (ja) * 2016-11-17 2018-05-24 ソニー株式会社 画像処理装置と画像処理方法
US10354129B2 (en) * 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US20210127051A1 (en) * 2019-10-28 2021-04-29 Byton North America Corporation Camera fusion and illumination for an in-cabin monitoring system of a vehicle

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852502A (en) * 1996-05-31 1998-12-22 American Digital Imaging, Inc. Apparatus and method for digital camera and recorder having a high resolution color composite image output
JP2000251059A (ja) * 1999-03-03 2000-09-14 Sakata Denki 地表面画像監視装置
JP2004325209A (ja) * 2003-04-24 2004-11-18 Kokusai Kogyo Co Ltd 構造物変位計測装置および構造物変位計測方法
JP2005062414A (ja) * 2003-08-11 2005-03-10 Canon Inc 画像記録装置及びその制御方法
JP2005348221A (ja) * 2004-06-04 2005-12-15 Seiko Epson Corp 画像生成装置、静止画像生成装置、画像ずれ量検出装置、画像整列装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体
CN101061519A (zh) * 2004-11-16 2007-10-24 皇家飞利浦电子股份有限公司 基于图像分割绘制图像
CN101681519A (zh) * 2007-06-01 2010-03-24 丰田自动车株式会社 测量装置、测量方法、程序以及计算机可读介质
CN102959941A (zh) * 2010-07-02 2013-03-06 索尼电脑娱乐公司 信息处理系统、信息处理装置及信息处理方法
JP2013015679A (ja) * 2011-07-04 2013-01-24 Panasonic Corp 立体写真撮影装置、及び立体写真撮影方法
CN103765866A (zh) * 2011-09-06 2014-04-30 索尼公司 成像装置、信息处理装置及其控制方法和程序
JP2013223211A (ja) * 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置、撮像処理方法、およびプログラム
WO2014084022A1 (ja) * 2012-11-30 2014-06-05 富士フイルム株式会社 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置
CN106165414A (zh) * 2014-01-20 2016-11-23 三星电子株式会社 用于再现医学图像的方法和设备以及计算机可读记录介质
CN106574832A (zh) * 2014-09-11 2017-04-19 株式会社日立高新技术 重叠测量方法、装置、以及显示装置
US9894298B1 (en) * 2014-09-26 2018-02-13 Amazon Technologies, Inc. Low light image processing
US9319585B1 (en) * 2014-12-18 2016-04-19 Omnivision Technologies, Inc. High resolution array camera
CN106998413A (zh) * 2015-12-04 2017-08-01 佳能株式会社 图像处理设备、摄像设备和图像处理方法
CN105827990A (zh) * 2016-01-22 2016-08-03 维沃移动通信有限公司 一种自动曝光方法及移动终端
EP3416369A1 (en) * 2016-03-09 2018-12-19 Huawei Technologies Co., Ltd. Image processing method and apparatus for terminal, and terminal
CN105635972A (zh) * 2016-03-10 2016-06-01 北京小米移动软件有限公司 图像处理方法及装置
CN109076169A (zh) * 2016-04-28 2018-12-21 高通股份有限公司 彩色和单色图像的移位和匹配融合
WO2017195858A1 (ja) * 2016-05-13 2017-11-16 アジア航測株式会社 マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム
JP2018142356A (ja) * 2018-04-27 2018-09-13 パナソニックＩｐマネジメント株式会社 動体監視装置、サーバ装置、および動体監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CT的数字体散斑法测量物体内部三维变形场;毛灵涛;Fu-pen Chiang;袁则循;;光学学报(第03期);第119-128页 *

Also Published As

Publication number Publication date
CN112313472A (zh) 2021-02-02
US11348225B2 (en) 2022-05-31
JPWO2020090154A1 (ja) 2021-09-24
US20210104031A1 (en) 2021-04-08
JP7336773B2 (ja) 2023-09-01
WO2020090154A1 (ja) 2020-05-07

Similar Documents

Publication Publication Date Title
US11659282B2 (en) Image processing system and image processing method
JP6330987B2 (ja) 画像処理装置、画像処理方法、及び記憶媒体
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
JP6123274B2 (ja) 撮像装置
US8482599B2 (en) 3D modeling apparatus, 3D modeling method, and computer readable medium
US8786718B2 (en) Image processing apparatus, image capturing apparatus, image processing method and storage medium
JP2013214947A (ja) 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
KR20200124271A (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
US8699750B2 (en) Image processing apparatus
US20200244950A1 (en) Image Sensor Blemish Detection
JP2019110434A (ja) 画像処理装置、画像処理システムおよびプログラム
CN112313472B (zh) 信息提示方法、信息提示装置、以及信息提示系统
WO2018221367A1 (ja) ステレオ撮像装置
US11102403B2 (en) Image device, information processing apparatus, information processing method, system, and storage medium
JP4547321B2 (ja) 動きベクトル検出装置及び撮像装置
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
JP6257798B2 (ja) 画像処理装置及び画像処理方法
JP2020194400A (ja) 画像処理装置、画像処理方法、及びプログラム
US20230049084A1 (en) System and method for calibrating a time difference between an image processor and an intertial measurement unit based on inter-frame point correspondence
US20230046465A1 (en) Holistic camera calibration system from sparse optical flow
JP6852878B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP6234200B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2014150361A (ja) 画像処理装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant