CN111052062A - 位置校正装置和位置校正方法 - Google Patents

位置校正装置和位置校正方法 Download PDF

Info

Publication number
CN111052062A
CN111052062A CN201780094490.8A CN201780094490A CN111052062A CN 111052062 A CN111052062 A CN 111052062A CN 201780094490 A CN201780094490 A CN 201780094490A CN 111052062 A CN111052062 A CN 111052062A
Authority
CN
China
Prior art keywords
image
unit
feature
position correction
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780094490.8A
Other languages
English (en)
Inventor
宫本健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111052062A publication Critical patent/CN111052062A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

特征提取部(21)从图像中提取多个特征部。位置取得部(23)取得在包含特征部的图像上指定的特征部的位置信息。位置校正部(24)根据由特征提取部(21)提取出的特征部的位置信息，校正由位置取得部(23)取得的位置信息。

Description

位置校正装置和位置校正方法
技术领域
本发明涉及位置校正装置和位置校正方法。
背景技术
以往，公知有将在图像上指定对象的位置信息校正成正确的对象位置的技术。对象是图像内的点或线。
例如，在专利文献1中，记载有将从显示部上显示的多个键(所谓的软件键)使用触摸面板指定的键的位置信息校正成正确的键位置的技术。在该技术中，针对多个键分别计算使用触摸面板接受的对键的接触部位相对于该键的显示区域中的基准位置的相对位置。当通过触摸面板接受接触时，根据该接触部位和多个键中的至少距该接触部位在一定范围内的2个以上的键各自的相对位置，确定2个以上的键中的1个键作为操作对象。
现有技术文献
专利文献
专利文献1：日本特开2012-93948号公报
发明内容
发明要解决的课题
在专利文献1记载的技术中，能够利用已知的键显示区域的基准位置来校正指定键的接触部位的位置信息。
但是，由于在由摄像机拍摄到的自然图像中没有上述位置校正的基准位置，因此，在专利文献1记载的技术中，存在无法校正在自然图像上指定的对象的位置信息这样的课题。
本发明用于解决上述课题，其目的在于，得到即使是没有作为位置校正基准的信息的图像也能够校正位置信息的位置校正装置和位置校正方法。
用于解决课题的手段
本发明的位置校正装置具有图像取得部、特征提取部、显示部、位置取得部以及位置校正部。图像取得部取得图像。特征提取部从由图像取得部取得的图像中提取特征部。显示部进行包含特征部的图像的显示处理。位置取得部取得在包含特征部的图像上指定的特征部的位置信息。位置校正部根据由特征提取部提取出的多个特征部的位置信息，校正由位置取得部取得的位置信息。
发明效果
根据本发明，从图像中提取多个特征部，取得在包含特征部的图像上指定的特征部的位置信息，根据从图像中提取出的多个特征部的位置信息，校正取得的位置信息。由此，即使是没有作为位置校正基准的信息的图像，也能够校正位置信息。
附图说明
图1是示出具有本发明的实施方式1的位置校正装置的测距装置的结构的框图。
图2是示出实施方式1的位置校正方法的流程图。
图3是示出图像中的特征部的例子的图。
图4A是示出图像的一例的图。图4B是示出在图像中指定了角上的点的情形的图。图4C是示出叠加显示有角上的点间的距离的图像的图。
图5是示出具有本发明的实施方式2的位置校正装置的增强现实显示装置的结构的框图。
图6是示出实施方式2的位置校正方法的流程图。
图7是示出事前处理的概要的图。
图8是示出增强现实显示处理的概要的图。
图9A是示出实现实施方式1和实施方式2的位置校正装置的功能的硬件结构的框图。图9B是示出执行实现实施方式1和实施方式2的位置校正装置的功能的软件的硬件结构的框图。
具体实施方式
以下，为了更加详细地说明本发明，根据附图对用于实施本发明的方式进行说明实施方式1
图1是示出具有本发明的实施方式1的位置校正装置2的测距装置1的结构的框图。测距装置1是测定在图像上指定的2个对象间的距离的装置，具有位置校正装置2和应用部3。另外，测距装置1与摄像机4、显示器5以及输入装置6分别连接。位置校正装置2是使用输入装置6校正在图像上指定的对象的位置信息的装置，具有图像取得部20、特征提取部21、显示部22、位置取得部23以及位置校正部24。
应用部3根据在图像上分别指定了2个对象的位置信息，测定2个对象间的距离。作为测定2个对象间的距离的方法，例如可举出如下方法：根据对象在图像上的二维位置来计算对象在真实空间中的三维位置，求出2个对象的三维位置间的距离。位置校正装置2例如将在应用部3的距离测定中使用的对象在图像上的二维位置校正成正确的位置。
摄像机4用彩色图像或黑白图像来拍摄没有作为位置校正基准的信息的自然图像。摄像机4可以是通常的单眼摄像机，但例如也可以是能够从不同的多个方向拍摄对象物的立体摄像机，还可以是利用红外线的Tof(Time of Flight：飞行时间)摄像机。
显示器5显示通过位置校正装置2的校正处理而得到的图像、通过应用部3的处理而得到的图像或由摄像机4拍摄到的摄影图像。作为显示器5，例如可举出液晶显示器、有机电致发光显示器(以下，记作有机EL显示器)或平视显示器。
输入装置6是接受指定显示器5显示的图像内的对象的操作的装置。输入装置6例如可举出触摸面板、定点器件或手势识别用传感器。
触摸面板设置在显示器5的画面上，接受指定图像内的对象的触摸操作。定点器件是接受用指针指定图像内的对象的操作的器件，有鼠标等。手势识别用传感器是识别指定对象的手势操作的传感器，使用摄像机、红外线或它们的组合来识别手势操作。
图像取得部20取得由摄像机4拍摄到的图像。由图像取得部20取得的图像被输出给特征提取部21。
特征提取部21从由图像取得部20取得的图像中提取特征部。特征部是图像内的特征性的部分，例如是被摄体的角部分的点或被摄体的轮廓部分的线。
由特征提取部21提取出的特征部及其位置信息(图像上的二维位置)被输出给显示部22和位置校正部24。
显示部22进行包含特征部的图像的显示处理。例如，显示部22将包含特征部的图像显示在显示器5上。
包含特征部的图像可以是由图像取得部20取得的图像，但也可以是由图像取得部20取得的图像中的增强显示了特征部的图像。测距装置1的使用者使用输入装置6进行指定显示器5上显示的图像上的点或线的操作。
位置取得部23取得使用输入装置6在图像上指定的点或线的位置信息。例如，如果输入装置6是触摸面板，则位置取得部23取得被进行了触摸操作的位置信息。如果输入装置6是定点器件，则位置取得部23取得指针位置。在输入装置6是手势识别用传感器的情况下，位置取得部23取得表示特征部的手势操作位置。
位置校正部24根据由特征提取部21提取出的特征部的位置信息，校正由位置取得部23取得的点或线的位置信息。
例如，在图像上通过触摸操作指定点或线的情况下，有时从点或线的真实位置偏离几十像素。产生该偏离的原因在于，使用者的手指远比图像的像素大。
因此，位置校正部24将由特征提取部21从图像中提取出的多个特征部的位置信息中的最接近由位置取得部23取得的点或线的位置信息的特征部的位置信息，作为在图像上指定的点或线的位置信息。
接下来，对动作进行说明。
图2是示出实施方式1的位置校正方法的流程图。
图像取得部20取得由摄像机4拍摄到的图像(步骤ST1)。特征提取部21从由图像取得部20取得的图像中提取特征部(步骤ST2)。例如，特征提取部21从图像中提取多个特征性的点或线。
图3是示出图像4A中的特征部的图。图像4A是由摄像机4拍摄到的图像，显示在显示器5上。在图像4A中，作为被摄体拍摄到矩形的门。特征提取部21例如提取与作为被摄体的门的边缘相当的线30或门的角上的点31。角是相当于边缘彼此相交的交点的部分。
特征提取部21例如利用哈里斯角检测法，从图像中提取特征性的点。另外，特征提取部21例如利用霍夫变换，从图像中提取特征性的线。
返回到图2的说明。
显示部22将包含特征部的图像显示在显示器5上(步骤ST3)。
例如，显示部22从特征提取部21输入由图像取得部20取得的图像，并将上述图像直接显示在显示器5上。
另外，显示部22也可以在改变由特征提取部21提取出的特征部的颜色而进行增强的基础上，在由图像取得部20取得的图像上叠加上述特征部并显示在显示器5上。测距装置1的使用者使用输入装置6进行在图像上指定点或线的操作。例如，使用者进行在触摸面板上触摸操作图像内的点或者描绘图像内的线的操作。
位置取得部23使用输入装置6，取得在显示器5显示着的图像上指定的点或线的位置信息(步骤ST4)。这里，设上述位置信息是表示点或线的位置y的信息。
位置校正部24根据由特征提取部21提取出的特征部的位置信息，校正由位置取得部23取得的位置信息(步骤ST5)。
例如，位置校正部24从由特征提取部21作为特征部提取出的点或线中，确定与使用输入装置6指定的点或线的位置y最接近的点或线。然后，位置校正部24用确定的点或线的位置置换使用输入装置6指定的点或线的位置。
当在显示器5显示的图像上指定点时，位置校正部24按照下述式(1)，从由特征提取部21提取出的N个点中，确定与使用输入装置6指定的点的位置y最接近的点(相互的距离最小的点)。其中，在下述式(1)中，xi(i＝1，2，3，…，N)是由特征提取部21从图像中提取出的点的位置。
Figure BDA0002396750880000051
当在显示器5显示的图像上指定线时，位置校正部24按照下述式(2)，从由特征提取部21提取出的M条线中，确定与使用输入装置6指定的线的位置y最接近的线(相互的距离最小的线)。其中，在下述式(2)中，zj(j＝1，2，3，…，M)是由特征提取部21从图像中提取出的线的向量，×表示外积。
Figure BDA0002396750880000052
当图2所示的一系列处理完成时，应用部3根据由位置校正装置2校正后的位置信息进行测距处理。
图4A是示出作为由摄像机4拍摄到的自然图像的图像4A的图，显示在显示器5上。与图3同样地，在图像4A中，作为被摄体拍摄到矩形的门。
图4B是示出在图像4A中指定了角上的点31a以及点31b的情形的图。测距装置1的使用者使用输入装置6分别指定点31a以及点31b。点31a以及点31b是图像4A的特征部，因此，通过位置校正装置2校正点31a以及点31b的位置信息。
图4C是示出叠加显示有角上的点31a与点31b之间的距离的图像4A的图。应用部3根据校正后的点31a以及点31b的位置信息，计算点31a与点31b之间的距离。
例如，应用部3将由位置校正装置2校正后点31a以及点31b的二维位置转换成实际空间中的点31a以及点31b的三维位置，计算点31a的三维位置与点31b的三维位置之间的距离。
在图4C中，应用部3在显示器5显示的图像4A上叠加显示表示点31a与点31b之间的距离即“1m”的文本信息。
如上所述，在实施方式1的位置校正装置2中，图像取得部20取得图像。特征提取部21从由图像取得部20取得的图像中提取多个特征部。显示部22进行包含特征部的图像的显示处理。位置取得部23取得在包含特征部的图像上指定的特征部的位置信息。位置校正部24根据由特征提取部21提取出的特征部的位置信息，校正由位置取得部23取得的位置信息。特别地，提取图像内的点或线作为特征部。由此，即使是没有作为位置校正基准的信息的图像，也能够校正位置信息。另外，由于通过位置校正装置2将特征部的位置信息校正成正确的位置，因此，能够提高测距装置1的测距功能的精度。
实施方式2
图5是示出具有本发明实施方式2的位置校正装置2A的增强现实(以下记作AR)显示装置1A的结构的框图。在图5中，对与图1共同的构成要素标注相同的标号而省略说明。
AR显示装置1A是在显示器5显示的图像上显示AR图形的装置，具有位置校正装置2A、应用部3A以及数据库(以下记作DB)7。另外，在AR显示装置1A上连接有摄像机4、显示器5、输入装置6以及传感器8。
位置校正装置2A是校正使用输入装置6指定的位置信息的装置，具有图像取得部20、特征提取部21A、显示部22、位置取得部23、位置校正部24以及转换处理部25。
应用部3A根据摄像机4的位置和姿势，在由摄像机4拍摄并显示在显示器5的图像上叠加显示AR图形。另外，应用部3A根据在显示器5显示的图像上指定的位置信息和从DB 7读出的对应的实际空间的三维位置，计算摄像机4的位置和姿势。
在DB 7中保存有在实际空间中外观上显示AR图形的面的三维位置信息。
传感器8是检测由摄像机4拍摄到的被摄体的传感器，通过距离传感器或立体摄像机来实现。
转换处理部25根据传感器8的检测信息，将由图像取得部20取得的图像转换成虚拟地变更了摄影方向的图像。
例如，转换处理部25根据传感器8的检测信息，确认是否由摄像机4从倾斜方向拍摄到被摄体，将由摄像机4从倾斜方向拍摄到被摄体的图像转换成从正面拍摄到被摄体的图像。
特征提取部21A从由转换处理部25转换后的图像中提取特征部。
接下来，对动作进行说明。
图6是示出实施方式2的位置校正方法的流程图。图6中的步骤ST1a、步骤ST4a～步骤ST6a的处理与图2中的步骤ST1、步骤ST3～步骤ST5的处理是相同的，因此省略说明。
在步骤ST2a中，转换处理部25将由图像取得部20取得的图像转换成从正面观察被摄体的图像。
图7是示出事前处理的概要的图。在图7中，由摄像机4拍摄的被摄体100是如道路标识那样具有平面部分的矩形状的物体。
在摄像机4位于第1位置的情况下，摄像机4从倾斜方向拍摄到被摄体100，在由摄像机4拍摄到的图像中失真地拍摄成菱形。
AR显示装置1A的使用者使用输入装置6，在拍摄到被摄体100的图像上例如指定点101a～101d。
但是，在失真地拍摄到被摄体100的图像中，例如，被摄体100的边缘变得极短，作为特征部的提取失败的可能性高，其位置也有可能无法准确地计算。
因此，在实施方式2的AR显示装置1A中，转换处理部25将由摄像机4从倾斜方向拍摄到的图像转换成从正面观察被摄体的图像。
例如，在被摄体100是具有平面部分的矩形状的物体的情况下，传感器8检测被摄体100的平面部分中的多个部位与摄像机4(第1位置)之间的距离。转换处理部25在由传感器8检测出的距离在被摄体100的一个方向上逐渐变大的情况下，判定为摄像机4从倾斜方向拍摄到被摄体100。
当判定为从倾斜方向拍摄到被摄体100时，转换处理部25对图像的二维坐标进行转换，使得被摄体100的平面部分中的多个部位与摄像机4之间的距离相等。即，转换处理部25通过变更被摄体100的平面部分相对于摄像机4的旋转程度来虚拟地变更摄像机4的摄影方向，从而转换成由位于第2位置的摄像机4从正面拍摄到被摄体100的图像。
在步骤ST3a中，特征提取部21A从由转换处理部25事前处理后的图像中提取多个特征部。例如，特征提取部21A从图像中提取多个特征性的点或线。由于事前处理后的图像是被摄体100的失真得到消除的图像，因此，能够减少特征提取部21A的点或线的提取失败，还能够准确地计算点或线的位置。
另外，在步骤ST4a中，显示部22可以将事前处理后的图像显示在显示器5上，但也可以将由图像取得部20取得的图像直接显示在显示器5上。另外，显示部22也可以改变由特征提取部21A提取出的特征部的颜色而进行增强，然后在图像上叠加上述特征部而显示在显示器5上。
另外，示出了转换处理部25转换成由摄像机4从正面拍摄到被摄体100的图像的情况，但并不限于此。
例如，转换处理部25在不妨碍特征提取部21A对特征部的提取以及特征部的位置计算的范围内虚拟地变更图像的摄影方向，因此，也可能存在在事前处理后的图像内稍微倾斜地拍摄到被摄体的情况。
当图6所示的一系列处理完成时，应用部3A根据由位置校正装置2A校正后的位置信息，进行AR图形的显示处理。
图8是示出AR显示处理的概要的图。由摄像机4拍摄到的图像被投影到显示器5的图像投影面200上。
AR显示装置1A的使用者使用输入装置6指定投影在图像投影面200的图像上的点200a～200d。点200a～200d由位置校正装置2A校正位置信息。
应用部3A根据由位置校正装置2A校正后的点200a～200d的位置信息，从DB 7中搜索与它们分别对应的三维位置信息。在图8中，实际空间内的点300a～300d的三维位置与由使用者指定的点200a～200d的位置对应。
接下来，应用部3A例如计算从实际空间的点300a～300d朝向图像上的点200a～200d的向量(图8中虚线所示的箭头)收敛的位置作为摄像机4的位置。另外，应用部3A根据计算出的摄像机4的位置，计算摄像机4的姿势。
应用部3A根据摄像机4的位置和姿势，在由摄像机4拍摄到的图像上叠加显示AR图形。
在实施方式2中，示出了将具有转换处理部25的位置校正装置2A设置于AR显示装置1A的情况，但也可以代替实施方式1所示的位置校正装置2而设置于测距装置1。通过这样构成，也能够减少特征提取部21的特征部的提取失败，还能够准确地计算特征部的位置。
如上所述，实施方式2的位置校正装置2A具有转换处理部25，该转换处理部25将由图像取得部20取得的图像转换成虚拟地变更了摄影方向的图像。特征提取部21A从由转换处理部25转换后的图像中提取多个特征部。通过这样构成，能够减少特征部的提取失败，还能够准确地计算特征部的位置。
图9A是示出实现位置校正装置2和位置校正装置2A的功能的硬件结构的框图。图9B是示出执行实现位置校正装置2和位置校正装置2A的功能的的软件的硬件结构的框图。
在图9A和图9B中，摄像机400是立体摄像机、Tof摄像机这样的摄像机装置，是图1和图5中的摄像机4。显示器401是液晶显示器、有机EL显示器或平视显示器这样的显示装置，是图1和图5中的显示器5。触摸面板402是图1和图5中的输入装置6的一例。距离传感器403是图5中的传感器8的一例。
位置校正装置2中的图像取得部20、特征提取部21、显示部22、位置取得部23以及位置校正部24各自的功能通过处理电路来实现。
即，位置校正装置2具有用于执行图2所示的流程图的各个处理的处理电路。
处理电路可以是专用的硬件，也可以是执行存储在存储器中的程序的CPU(Central Processing Unit：中央处理单元)。
同样地，位置校正装置2A中的图像取得部20、特征提取部21A、显示部22、位置取得部23、位置校正部24以及转换处理部25各自的功能通过处理电路来实现。
即，位置校正装置2A具有用于执行图6所示的流程图的各个处理的处理电路。
处理电路可以是专用的硬件，也可以是执行存储在存储器中的程序的CPU。
在处理电路是图9A所示的专用的硬件的情况下，处理电路100例如相当于单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(Application SpecificIntegrated Circuit：面向特定用途的集成电路)、FPGA(Field-Programmable GateArray：现场可编程门阵列)或者它们的组合。
在处理电路是图9B所示的处理器405的情况下，图像取得部20、特征提取部21、显示部22、位置取得部23以及位置校正部24各自的功能通过软件、固件或软件与固件的组合来实现。
同样地，图像取得部20、特征提取部21A、显示部22、位置取得部23、位置校正部24以及转换处理部25各自的功能通过软件、固件或软件与固件的组合来实现。软件或固件被记述作程序并存储在存储器406中。
处理器405读出并执行存储在存储器406中的程序，由此实现图像取得部20、特征提取部21、显示部22、位置取得部23以及位置校正部24各自的功能。
即，位置校正装置2具有存储器406，该存储器406用于存储在由处理器405执行时其结果是执行图2所示的一系列处理中的各个处理的程序。
这些程序使计算机执行图像取得部20、特征提取部21、显示部22、位置取得部23以及位置校正部24的过程或方法。
同样地，处理器405读出并执行存储在存储器406中的程序，由此实现图像取得部20、特征提取部21A、显示部22、位置取得部23、位置校正部24以及转换处理部25各自的功能。
即，位置校正装置2A具有存储器406，该存储器406用于存储在由处理器405执行时其结果是执行图2所示的一系列处理中的各个处理的程序。
这些程序使计算机执行图像取得部20、特征提取部21A、显示部22、位置取得部23、位置校正部24以及转换处理部25的过程或方法。
存储器406例如相当于RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory：可擦除可编程只读存储器)、EEPROM(Electrically-EPROM：电子可擦除可编程只读存储器)等非易失性或易失性的半导体存储器、磁盘、软盘、光盘、压缩盘、迷你盘、DVD等。
对于图像取得部20、特征提取部21、显示部22、位置取得部23以及位置校正部24各自的功能，可以通过专用的硬件来实现一部分，通过软件或固件来实现一部分。
另外，对于图像取得部20、特征提取部21A、显示部22、位置取得部23、位置校正部24以及转换处理部25各自的功能，也可以通过专用的硬件来实现一部分，通过软件或固件来实现一部分。
例如，特征提取部21和显示部22通过作为专用的硬件的处理电路404来实现它们的功能。位置取得部23和位置校正部24也可以通过处理器405执行存储在存储器406中的程序来实现它们的功能。
这样，处理电路能够通过硬件、软件、固件或它们的组合来实现上述功能的各个功能。
另外，本发明并不限于上述实施方式，能够在本发明的范围内，在实施方式各自的自由组合或实施方式各自的任意构成要素的变形或各个实施方式中省略任意的构成要素。
产业上的可利用性
本发明的位置校正装置即使是没有作为位置校正基准的信息的图像也能够校正位置信息，因此，例如能够用于测距装置或AR显示装置。
标号说明
1：测距装置；1A：AR显示装置；2、2A：位置校正装置；3、3A：应用部；4：摄像机；4A：图像；5：显示器；6：输入装置；8：传感器；20：图像取得部；21、21A：特征提取部；22：显示部；23：位置取得部；24：位置校正部；25：转换处理部；30：线；31、31a、31b、101a～101d、200a～200d、300a～300d：点；100：被摄体；200：图像投影面；400：摄像机；401：显示器；402：触摸面板；403：距离传感器；404：处理电路；405：处理器；406：存储器。

Claims (6)

1.一种位置校正装置，其特征在于，该位置校正装置具有：
图像取得部，其取得图像；
特征提取部，其从由所述图像取得部取得的图像中提取多个特征部；
显示部，其进行包含所述特征部的图像的显示处理；
位置取得部，其取得在包含所述特征部的图像上指定的所述特征部的位置信息；以及
位置校正部，其根据由所述特征提取部提取出的多个所述特征部的位置信息，校正由所述位置取得部取得的位置信息。
2.根据权利要求1所述的位置校正装置，其特征在于，
该位置校正装置具有转换处理部，该转换处理部将由所述图像取得部取得的图像转换成虚拟地变更了摄影方向的图像，
所述特征提取部从由所述转换处理部转换后的图像中提取多个所述特征部。
3.根据权利要求1或2所述的位置校正装置，其特征在于，
所述特征提取部提取图像中的点作为所述特征部。
4.根据权利要求1或2所述的位置校正装置，其特征在于，
所述特征提取部提取图像中的线作为所述特征部。
5.一种位置校正方法，其特征在于，该位置校正方法具有如下步骤：
图像取得部取得图像；
特征提取部从由所述图像取得部取得的图像中提取多个特征部；
显示部进行包含所述特征部的图像的显示处理；
位置取得部取得在包含所述特征部的图像上指定的所述特征部的位置信息；以及
位置校正部根据由所述特征提取部提取出的多个所述特征部的位置信息，校正由所述位置取得部取得的位置信息。
6.根据权利要求5所述的位置校正方法，其中，
该位置校正方法具有如下步骤：转换处理部将由所述图像取得部取得的图像转换成虚拟地变更了摄影方向的图像，
所述特征提取部从由所述转换处理部转换后的图像中提取多个所述特征部。
CN201780094490.8A 2017-09-08 2017-09-08 位置校正装置和位置校正方法 Pending CN111052062A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/032494 WO2019049317A1 (ja) 2017-09-08 2017-09-08 位置補正装置および位置補正方法

Publications (1)

Publication Number Publication Date
CN111052062A true CN111052062A (zh) 2020-04-21

Family

ID=63518887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780094490.8A Pending CN111052062A (zh) 2017-09-08 2017-09-08 位置校正装置和位置校正方法

Country Status (6)

Country Link
US (1) US20210074015A1 (zh)
JP (1) JP6388744B1 (zh)
KR (1) KR20200028485A (zh)
CN (1) CN111052062A (zh)
DE (1) DE112017007801T5 (zh)
WO (1) WO2019049317A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112964243A (zh) * 2021-01-11 2021-06-15 重庆市蛛丝网络科技有限公司 一种室内定位方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122315A (ja) * 2003-10-14 2005-05-12 Kazuo Iwane ３ｄｃｇ合成装置
JP2005216170A (ja) * 2004-01-30 2005-08-11 Kyocera Corp 携帯端末装置および情報処理装置の入力処理方法
CN1701213A (zh) * 2003-05-29 2005-11-23 奥林巴斯株式会社 立体摄像机支持装置、立体摄像机支持方法、校准检测装置、校准校正装置以及立体摄像机系统
US20080094358A1 (en) * 2006-09-15 2008-04-24 Industrial Light & Magic Constrained Virtual Camera Control
JP2009522697A (ja) * 2006-01-05 2009-06-11 アップル インコーポレイテッド 携帯用電子機器のためのキーボード
CN102170546A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置、图像处理装置、图像显示系统及方法
CN103189899A (zh) * 2010-11-08 2013-07-03 株式会社Ntt都科摩 对象显示装置以及对象显示方法
US20140139552A1 (en) * 2011-07-14 2014-05-22 Ntt Docomo, Inc. Object display device, object display method, and object display program
JP2015018572A (ja) * 2010-06-14 2015-01-29 アップル インコーポレイテッド コントロール選択近似
US20160086322A1 (en) * 2013-05-07 2016-03-24 Sharp Kabushiki Kaisha Image measurement device
CN106062826A (zh) * 2013-11-11 2016-10-26 索尼互动娱乐股份有限公司 图像生成装置以及图像生成方法
US20170046844A1 (en) * 2012-12-15 2017-02-16 Intel Corporation Enabling use of three-dimensional locations of features with two-dimensional images
CN106534665A (zh) * 2015-09-15 2017-03-22 卡西欧计算机株式会社 图像显示装置和图像显示方法
CN107113363A (zh) * 2015-01-05 2017-08-29 三菱电机株式会社 图像校正装置、图像校正系统、以及图像校正方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3649942B2 (ja) * 1999-04-02 2005-05-18 三洋電機株式会社 画像入力装置、画像入力方法、及び記憶媒体
JP2001027924A (ja) * 1999-07-14 2001-01-30 Sharp Corp 表示画面を用いる入力装置
JP2004046326A (ja) * 2002-07-09 2004-02-12 Dainippon Screen Mfg Co Ltd 画像表示装置、画像表示方法およびプログラム
JP2009246646A (ja) * 2008-03-31 2009-10-22 Kenwood Corp リモコン装置及び設定方法
JP5348689B2 (ja) * 2009-05-22 2013-11-20 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末装置及びプログラム
JP5635334B2 (ja) * 2010-08-23 2014-12-03 京セラ株式会社 携帯端末
JP2012093948A (ja) 2010-10-27 2012-05-17 Kyocera Corp 携帯端末、プログラム及び入力制御方法
JP5957188B2 (ja) * 2011-07-06 2016-07-27 Kii株式会社 可搬デバイス、タッチ位置調整方法、オブジェクト選択方法、選択位置決定方法及びプログラム
JP2013182463A (ja) * 2012-03-02 2013-09-12 Nec Casio Mobile Communications Ltd 携帯端末装置、タッチ操作制御方法、及びプログラム
JP2014229083A (ja) * 2013-05-22 2014-12-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5942970B2 (ja) * 2013-12-13 2016-06-29 コニカミノルタ株式会社 画像処理システム、画像形成装置、操作画面表示方法、およびコンピュータプログラム
US20160147408A1 (en) * 2014-11-25 2016-05-26 Johnathan Bevis Virtual measurement tool for a wearable visualization device
EP3118756B1 (en) * 2015-07-17 2022-10-19 Dassault Systèmes Computation of a measurement on a set of geometric elements of a modeled object

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1701213A (zh) * 2003-05-29 2005-11-23 奥林巴斯株式会社 立体摄像机支持装置、立体摄像机支持方法、校准检测装置、校准校正装置以及立体摄像机系统
JP2005122315A (ja) * 2003-10-14 2005-05-12 Kazuo Iwane ３ｄｃｇ合成装置
JP2005216170A (ja) * 2004-01-30 2005-08-11 Kyocera Corp 携帯端末装置および情報処理装置の入力処理方法
JP2009522697A (ja) * 2006-01-05 2009-06-11 アップル インコーポレイテッド 携帯用電子機器のためのキーボード
US20080094358A1 (en) * 2006-09-15 2008-04-24 Industrial Light & Magic Constrained Virtual Camera Control
CN102170546A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置、图像处理装置、图像显示系统及方法
JP2015018572A (ja) * 2010-06-14 2015-01-29 アップル インコーポレイテッド コントロール選択近似
CN103189899A (zh) * 2010-11-08 2013-07-03 株式会社Ntt都科摩 对象显示装置以及对象显示方法
US20140139552A1 (en) * 2011-07-14 2014-05-22 Ntt Docomo, Inc. Object display device, object display method, and object display program
US20170046844A1 (en) * 2012-12-15 2017-02-16 Intel Corporation Enabling use of three-dimensional locations of features with two-dimensional images
US20160086322A1 (en) * 2013-05-07 2016-03-24 Sharp Kabushiki Kaisha Image measurement device
CN106062826A (zh) * 2013-11-11 2016-10-26 索尼互动娱乐股份有限公司 图像生成装置以及图像生成方法
CN107113363A (zh) * 2015-01-05 2017-08-29 三菱电机株式会社 图像校正装置、图像校正系统、以及图像校正方法
CN106534665A (zh) * 2015-09-15 2017-03-22 卡西欧计算机株式会社 图像显示装置和图像显示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112964243A (zh) * 2021-01-11 2021-06-15 重庆市蛛丝网络科技有限公司 一种室内定位方法及装置

Also Published As

Publication number Publication date
WO2019049317A1 (ja) 2019-03-14
JPWO2019049317A1 (ja) 2019-11-07
KR20200028485A (ko) 2020-03-16
US20210074015A1 (en) 2021-03-11
DE112017007801T5 (de) 2020-06-18
JP6388744B1 (ja) 2018-09-12

Similar Documents

Publication Publication Date Title
JP6348093B2 (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US9519968B2 (en) Calibrating visual sensors using homography operators
WO2015037178A1 (ja) 姿勢推定方法及びロボット
JP6836561B2 (ja) 画像処理装置及び画像処理方法
WO2012172817A1 (en) Image stabilization apparatus, image stabilization method, and document
JP6479296B2 (ja) 位置姿勢推定装置および位置姿勢推定方法
KR20180105875A (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
US11710253B2 (en) Position and attitude estimation device, position and attitude estimation method, and storage medium
JP2016177491A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
KR101597915B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR20160146567A (ko) 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치
CN110832851B (zh) 图像处理装置、图像变换方法
JP6388744B1 (ja) 測距装置および測距方法
TWI731430B (zh) 資訊顯示方法與資訊顯示系統
US20180061135A1 (en) Image display apparatus and image display method
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN110069131B (zh) 一种基于近红外光圆斑检测的多指尖定位方法
Kim et al. Method for user interface of large displays using arm pointing and finger counting gesture recognition
KR101156547B1 (ko) 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법
US20230298284A1 (en) Method for Generating an Augmented Image
US20230386077A1 (en) Position estimation system, position estimation method, and computer program
CN110660134B (zh) 三维地图构建方法、三维地图构建装置及终端设备
Yun An Implementation of Smart E-Calipers for Mobile Phones
CN114979618A (zh) 计测系统及记录有计测程序的记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200421

WD01 Invention patent application deemed withdrawn after publication