CN113330275B - 相机信息计算装置、系统、相机信息计算方法及记录介质 - Google Patents

相机信息计算装置、系统、相机信息计算方法及记录介质 Download PDF

Info

Publication number
CN113330275B
CN113330275B CN201980089997.3A CN201980089997A CN113330275B CN 113330275 B CN113330275 B CN 113330275B CN 201980089997 A CN201980089997 A CN 201980089997A CN 113330275 B CN113330275 B CN 113330275B
Authority
CN
China
Prior art keywords
camera
information
coordinate system
subject
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980089997.3A
Other languages
English (en)
Other versions
CN113330275A (zh
Inventor
田上祐也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Publication of CN113330275A publication Critical patent/CN113330275A/zh
Application granted granted Critical
Publication of CN113330275B publication Critical patent/CN113330275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data

Abstract

相机信息计算装置在一个方式中具备第一计算部和第二计算部。第一计算部基于由第一相机拍摄的包含第一被拍摄体的第一图像和由第三相机拍摄的包含第一被拍摄体的第一动态图像，计算表示第一相机的位置的第一相机位置信息。第二计算部基于由与第一相机分离地配置的第二相机拍摄的包含第二被拍摄体的第二图像和由第三相机拍摄的包含第二被拍摄体的第二动态图像，计算表示第二相机的位置的第二相机位置信息。

Description

相机信息计算装置、系统、相机信息计算方法及记录介质
技术领域
本发明涉及相机信息计算装置、系统、相机信息计算方法及记录介质。
背景技术
以往，已知有如下的装置：在进行利用了相机的影像分析时，使用标记来计算能够确定相机的位置的相机信息(例如参照专利文献1和2)。
专利文献1：日本特开2004-279049号公报
专利文献2：日本特开2013-127783号公报
发明内容
然而，以往，存在多个所设置的相机，在要求出它们的位置关系的情况下，在各相机拍摄的图像中必须包含共用的标记。例如在多个相机间的距离较远，该多个相机之间的拍摄区域不重叠，无法在各相机的拍摄图像中拍摄共用的标记的情况下，存在很难求出相机的位置关系这样的问题。
在一个方式中，本发明的目的在于提供能够求出分离地设置的多个相机的位置关系的相机信息计算装置、系统、相机信息计算方法和记录介质。
在一个方式中，本申请所公开的相机信息计算装置具备：第一计算部，基于由第一相机拍摄的包含第一被拍摄体的第一图像和由第三相机拍摄的包含上述第一被拍摄体的第一动态图像，计算表示上述第一相机的位置的第一相机位置信息；以及第二计算部，基于由与上述第一相机分离地配置的第二相机拍摄的包含第二被拍摄体的第二图像和由上述第三相机拍摄的包含上述第二被拍摄体的第二动态图像，计算表示上述第二相机的位置的第二相机位置信息。
根据本申请所公开的相机信息计算装置的一个方式，能够求出分离地设置的多个相机的位置关系。
附图说明
图1是表示实施方式的系统的结构的一个例子的图。
图2是应用实施方式的系统的店铺的俯视图。
图3是应用实施方式的系统的店铺的俯视图。
图4是表示实施方式的第一相机、第二相机以及移动相机的基本的硬件结构的一个例子的图。
图5是表示实施方式的第一相机所具有的功能的一个例子的图。
图6是表示实施方式的第二相机所具有的功能的一个例子的图。
图7是表示实施方式的移动相机所具有的功能的一个例子的图。
图8是表示实施方式的移动相机所具有的功能的详细例的图。
图9是表示实施方式的计算部所具有的功能的一个例子的图。
图10是表示实施方式的标记信息转换部所具有的功能的一个例子的图。
图11是表示实施方式的空间特征信息转换部所具有的功能的一个例子的图。
图12是表示实施方式的标记信息/空间特征信息转换部所具有的功能的一个例子的图。
图13是表示实施方式的移动相机的动作例的流程图。
图14是表示变形例的系统的结构的一个例子的图。
图15是表示变形例的服务器的硬件结构的一个例子的图。
图16是表示变形例的服务器所具有的功能的一个例子的图。
具体实施方式
以下，一边参照附图，一边详细地说明本申请所公开的相机信息计算装置、系统、相机信息计算方法和记录介质的实施方式。
图1是表示本实施方式的系统1的结构的一个例子的图。如图1所示，本实施方式的系统1包括数据服务器10、第一相机20、第二相机30、以及移动相机40。第一相机20和第二相机30是能够以任意的位置、朝向设置的相机。数据服务器10例如经由因特网等网络50而与第一相机20、第二相机30和移动相机40中的各个相机连接成能够通信。
图2是应用本实施方式的系统1的场所、例如店铺的俯视图。在图2的例子中，具有相互不同的图案的第一标记70和第二标记80设置于店铺的地板(地面)60。在该例中，第一标记70和第二标记80分别是具有8×8的矩形矩阵的图案的平板状的部件。在以下的说明中，在不区别第一标记70和第二标记80的情况下，有时简称为“标记”。
第一标记70是由第一相机20拍摄的图像中包含的“第一被拍摄体”的一个例子，具有与第一识别信息对应的第一图案。例如也可以是，第一识别信息是表示“1”的ID，第一图案是表示ID“1”的图案。
第一标记70设置在第一相机20的拍摄区域(第一拍摄区域)，因此在由第一相机20拍摄的图像中包含第一标记70。在以下的说明中，有时将由第一相机20拍摄的图像称为“第一图像”。即，第一相机20拍摄包含第一标记70的第一图像。
第二标记80是在由第二相机30拍摄的图像中包含的“第二被拍摄体”的一个例子，具有与第二识别信息对应的第二图案。例如也可以是，第二识别信息是表示“2”的ID，第二图案是表示ID“2”的图案。
第二标记80配置在第二相机30的拍摄区域(第二拍摄区域)，因此在由第二相机30拍摄的图像中包含第二标记80。在以下的说明中，有时将由第二相机30拍摄的图像称为“第二图像”。即，第二相机30拍摄包含第二标记80的第二图像。
这里，第一相机20和第二相机30相互分离地配置，配置在无法在各自的拍摄图像中拍摄共用的标记的位置。在该例中，第一相机20和第二相机30隔开一定以上的距离而配置，配置为相互的拍摄区域不重叠。但是，并不限于此，例如第一相机20和第二相机30也可以是如下的方式：配置在虽然相互的拍摄区域的一部分重叠，但在各自的拍摄图像中无法拍摄共用的标记、或者无法识别共用的标记的图案的位置。
在图2的例子中，一边在地板60上移动一边进行拍摄的移动相机40存在于能够拍摄第一拍摄区域的至少一部分的位置。在图2的例子中，移动相机40存在于能够拍摄第一标记70的位置。移动相机40例如能够一边在图2所示的范围90内移动一边进行拍摄，例如如图3所示，也能够移动到能够拍摄第二拍摄区域的至少一部分的位置。在图3的例子中，移动相机40存在于能够拍摄第二标记80的位置。即，移动相机40是能够一边在能够拍摄第一拍摄区域的至少一部分的位置与能够拍摄第二拍摄区域的至少一部分的位置之间移动一边拍摄的相机。移动相机40能够连续地拍摄、或者以使多个拍摄区域重叠的方式多次拍摄。移动相机40是“第三相机”的一个例子，拍摄包含第一标记70的第一动态图像和包含第二标记80的第二动态图像。但是，“第三相机”的方式不限于移动相机40。另外，在该例中，虽然第一动态图像的拍摄区域的至少一部分与第二动态图像的拍摄区域的至少一部分重叠，但不限于此。
移动相机40也可以是例如带有相机的便携式的装置(例如智能手机、平板电脑、无人驾驶飞机等)。在本实施方式中，举例移动相机40是在店铺的地板60上移动的用户所持有的带有相机的终端的情况为例来进行了说明，但不限于此。
图4是表示第一相机20、第二相机30和移动相机40的基本的硬件结构的一个例子的图。在图4的例子中，例示最低限度所需要的硬件要素，但并不限于此，第一相机20、第二相机30和移动相机40也可以是具备其他硬件要素(例如输入设备、显示设备等)的方式。
如图4所示，第一相机20、第二相机30、移动相机40分别包括：透镜等光学系统101、拍摄元件102、CPU(Central Processing Unit：中央处理单元)103、存储装置104、通信I/F部105。光学系统101、拍摄元件102、CPU103、存储装置104、通信I/F部105经由总线106而相互连接。
拍摄元件102是将由透镜等光学系统101成像的拍摄对象的图像转换为电信号的元件(用于进行拍摄的元件)。CPU103对应于硬件处理器的一个例子。CPU103控制装置(第一相机20、第二相机30和移动相机40中的任意一个)的动作。CPU103通过执行储存于存储装置104的程序，实现装置所具有的各种功能。后述说明第一相机20、第二相机30和移动相机40各自具有的各种功能。
存储装置104存储程序等各种数据。例如存储装置104包括：储存程序的非易失性的存储器亦即ROM(Read Only Memory：只读存储器)、具有CPU103的作业区域的易失性的存储器亦即RAM(Random Access Memory：随机存取存储器)等。通信I/F部105是用于与网络50连接的接口。
图5是表示第一相机20所具有的功能的一个例子的图。此外，在图5的例子中，主要例示与本实施方式相关的功能，但第一相机20所具有的功能不限于此。如图5所示，第一相机20具有图像获取部201、点/线段特征检测部202、内部参数计算部203、第一标记检测部204、外部参数计算部205、空间特征检测部206、透镜失真信息计算部250、线段/圆弧特征检测部251、标记检测部252、标记信息存储部253。
图像获取部201获取由第一相机20拍摄的第一图像。具体而言，图像获取部201获取由拍摄元件102拍摄的第一图像。
透镜失真信息计算部250分析由图像获取部201获取的第一图像，由线段/圆弧特征检测部251检测线段数据(直线或者圆弧)。透镜失真信息计算部250基于由线段/圆弧特征检测部251检测出的线段数据计算第一相机20的透镜失真信息。此外，也可以是，标记检测部252基于线段数据来检测标记，透镜失真信息计算部250利用由标记检测部252检测出的标记的形状和尺寸信息来计算透镜失真信息。透镜失真的模型公式由使用透镜的半径方向的失真系数、圆周方向的失真系数的高阶公式表示，透镜失真信息由这些系数表示。透镜失真信息计算部250将计算出的透镜失真信息发送给内部参数计算部203。另外，透镜失真信息计算部250将透镜失真信息和除去了第一图像的失真后的图像发送给点/线段特征检测部202。或者，在透镜失真信息计算部250中无法生成除去了失真后的图像的情况下，将透镜失真信息和第一图像发送给点/线段特征检测部202。在该例中，使用由第一相机20拍摄的第一图像来计算透镜失真信息，但并不限于此，也可以是预先提供已知的透镜失真信息的方式。
点/线段特征检测部202对由透镜失真信息计算部250计算出的透镜失真信息、和第一图像或除去了第一图像的失真后的图像进行分析。更具体而言，点/线段特征检测部202提取第一标记70的特征、第一标记70的周边信息和图像整体的空间特征(与地面或者墙壁等对应的直线或者平面的特征)等特征数据。此外，也可以不分析除去了透镜失真后的图像，而是将使用透镜失真信息对由线段/圆弧特征检测部251检测出的线段数据进行校正后的结果提取为特征数据。
第一标记检测部204基于由点/线段特征检测部202检测出的特征数据和储存于标记信息存储部253的标记识别信息，检测第一图像内的第一标记70，将表示检测出的第一标记70的位置和形状的第一标记信息发送给内部参数计算部203、外部参数计算部205和数据服务器10。另外，在该例中，第一标记检测部204识别与检测出的第一标记70所具有的第一图案对应的第一识别信息，将该识别出的第一识别信息与第一标记信息一并发送给数据服务器10。第一标记信息例如包含表示第一标记70的一边的尺寸、构成第一图案的矩形的一边的尺寸、第一图像内的第一标记70的位置的信息等。
内部参数计算部203基于从透镜失真信息计算部250接收到的透镜失真信息、已知的第一相机20的透镜焦距、从第一标记检测部204接收到的第一标记信息等，计算表示第一相机20的内部参数的第一内部参数。第一内部参数由决定第一相机20的相机的三维坐标系(例如以相机的透镜中心为原点的三维的坐标系)的坐标点与由第一相机20拍摄的第一图像的坐标系(二维的坐标系)的坐标点之间的对应关系的矩阵表示。内部参数计算部203将计算出的第一内部参数和从透镜失真信息计算部250接收到的透镜失真信息发送给外部参数计算部205。透镜失真信息也能够作为内部参数的一个信息，以后，在称为“第一内部参数”的情况下，包含透镜失真信息。此外，作为计算第一内部参数的方法，能够利用公知的各种技术。另外，在该例中，使用由第一相机20拍摄的第一图像来计算第一内部参数，但并不限于此，也可以是预先提供已知的第一内部参数的方式。
外部参数计算部205基于从内部参数计算部203接收到的第一内部参数和从第一标记检测部204接收到的第一标记信息，计算表示第一相机20的外部参数的第一外部参数。在该例中，外部参数计算部205设定以由第一标记检测部204检测出的第一标记70为原点(例如第一标记70的中心或者4个角中的任意一个)的第一相机20侧的三维坐标系。外部参数计算部205将决定所设定的第一相机20侧的三维坐标系的坐标点与上述的第一相机20的相机的三维坐标系的坐标点之间的对应关系的矩阵作为第一外部参数来计算。由外部参数计算部205计算出的第一外部参数是能够确定第一相机20侧的三维坐标系中的第一相机20的位置和姿势的信息。而且，外部参数计算部205将计算出的第一外部参数和从内部参数计算部203接收到的第一内部参数作为表示第一相机20的相机信息的第一相机信息而发送给数据服务器10。
空间特征检测部206基于从外部参数计算部205接收的第一内部参数和第一外部参数以及从点/线段特征检测部202接收的特征数据，来检测第一标记70的周边的空间特征。而且，将表示第一标记70的周边信息和与图像整体的空间特征相关的信息的第一空间特征信息发送给数据服务器10。在与空间特征相关的信息(空间特征信息)中，例如也可以包含直线、平面、角等标识符与位置信息的组。数据服务器10将从第一相机20发送的第一相机信息、第一标记信息、第一空间特征信息和第一识别信息相关联地进行管理(存储)。
通过CPU103执行储存于存储装置104的程序而实现以上说明的第一相机20所具有的多个功能。但是，并不限于此，也可以是上述的第一相机20所具有的多个功能的全部或者一部分由专用的硬件电路实现的方式。
图6是表示第二相机30所具有的功能的一个例子的图。此外，在图6的例子中，主要例示与本实施方式相关的功能，但第二相机30所具有的功能不限于此。如图6所示，第二相机30具有图像获取部301、点/线段特征检测部302、内部参数计算部303、第二标记检测部304、外部参数计算部305、空间特征检测部306、透镜失真信息计算部350、线段/圆弧特征检测部351、标记检测部352、标记信息存储部353。基本的功能与第一相机20侧的功能相同，因此，以下一边适当地简化一边对第二相机30所具有的功能进行说明。
图像获取部301获取由第二相机30拍摄的第二图像。具体而言，图像获取部301获取由拍摄元件102拍摄的第二图像。
透镜失真信息计算部350分析由图像获取部301获取的第二图像，由线段/圆弧特征检测部351检测线段数据(直线或者圆弧)。透镜失真信息计算部350基于由线段/圆弧特征检测部351检测出的线段数据计算第二相机30的透镜失真信息。此外，也可以是，标记检测部352基于线段数据来检测标记，透镜失真信息计算部350利用由标记检测部352检测出的标记的形状和尺寸信息来计算透镜失真信息。透镜失真的模型公式由使用透镜的半径方向的失真系数、圆周方向的失真系数的高阶公式表示，透镜失真信息由这些系数表示。透镜失真信息计算部350将计算出的透镜失真信息发送给内部参数计算部303。另外，透镜失真信息计算部350将透镜失真信息和除去了第二图像的失真后的图像发送给点/线段特征检测部302。或者，在透镜失真信息计算部350中无法生成除去了失真后的图像的情况下，将透镜失真信息和第二图像发送给点/线段特征检测部302。另外，在该例中，使用由第二相机30拍摄的第二图像来计算透镜失真信息，但并不限于此，也可以是预先提供已知的透镜失真信息的方式。
点/线段特征检测部302对由透镜失真信息计算部350计算出的透镜失真信息、和第二图像或除去了第二图像的失真后的图像进行分析。更具体而言，点/线段特征检测部302提取第二标记80的特征、第二标记80的周边信息和图像整体的空间特征等特征数据。此外，也可以不分析除去了透镜失真后的图像，而是将使用透镜失真信息对由线段/圆弧特征检测部351检测出的线段数据进行校正后的结果提取为特征数据。
第二标记检测部304基于由点/线段特征检测部302检测出的特征数据和储存于标记信息存储部353的标记识别信息，来检测第二图像内的第二标记80，将表示检测出的第二标记80的位置和形状的第二标记信息发送给内部参数计算部303、外部参数计算部305和数据服务器10。另外，第二标记检测部304识别与检测出的第二标记80所具有的第二图案对应的第二识别信息，将该识别出的第二识别信息与第二标记信息一并发送给数据服务器10。第二标记信息例如包含表示第二标记80的一边的尺寸、构成第二图案的矩形的一边的尺寸、第二图像内的第二标记80的位置的信息等。
内部参数计算部303基于从透镜失真信息计算部350接收到的透镜失真信息、已知的第二相机30的透镜焦距、从第二标记检测部304接收到的第二标记信息等，计算表示第二相机30的内部参数的第二内部参数。第二内部参数由决定第二相机30的相机的三维坐标系(例如以相机的透镜中心为原点的三维的坐标系)的坐标点与由第二相机30拍摄的第二图像的坐标系(二维的坐标系)的坐标点之间的对应关系的矩阵表示。内部参数计算部303将计算出的第二内部参数和从透镜失真信息计算部350接收到的透镜失真信息发送给外部参数计算部305。透镜失真信息也能够作为内部参数的一个信息，以后，在称为“第二内部参数”的情况下，包含透镜失真信息。此外，作为计算第二内部参数的方法，能够利用公知的各种技术。另外，在该例中，使用由第二相机30拍摄的第二图像来计算第二内部参数，但并不限于此，也可以是预先提供已知的内部参数的方式。
外部参数计算部305基于从内部参数计算部303接收到的第二内部参数和从第二标记检测部304接收到的第二标记信息，计算表示第二相机30的外部参数的第二外部参数。外部参数计算部305设定以由第二标记检测部304检测出的第二标记80为原点(例如第二标记80的中心或者4个角中的任意一个)的第二相机30侧的三维坐标系。外部参数计算部305将决定所设定的第二相机30侧的三维坐标系的坐标点与第二相机30的相机的三维坐标系的坐标点之间的对应关系的矩阵作为第二外部参数来计算。由外部参数计算部305计算出的第二外部参数是能够确定第二相机30侧的三维坐标系中的第二相机30的位置和姿势的信息。而且，外部参数计算部305将计算出的第二外部参数和从内部参数计算部303接收到的第二内部参数作为表示第二相机30的相机信息的第二相机信息而发送给数据服务器10。
空间特征检测部306基于从外部参数计算部305接收的第二内部参数和第二外部参数以及从点/线段特征检测部302接收的特征数据，来检测第二标记80的周边的空间特征。而且，将表示第二标记80的周边信息和与图像整体的空间特征相关的信息的第二空间特征信息发送给数据服务器10。数据服务器10将从第二相机30发送的第二相机信息、第二标记信息、第二空间特征信息和第二识别信息相关联地进行管理(存储)。在以下的说明中，在不相互区别由数据服务器10管理的第一标记信息和第二标记信息的情况下，有时简称为“标记信息”。同样，在不相互区别由数据服务器10管理的第一识别信息和第二识别信息的情况下，有时简称为“识别信息”，在不相互区别第一空间特征信息和第二空间特征信息的情况下，有时简称为“空间特征信息”。
通过由CPU103执行储存于存储装置104的程序而实现以上说明的第二相机30所具有的多个功能。但是，并不限于此，例如也可以是上述的第二相机30所具有的多个功能的全部或者一部分由专用的硬件电路实现的方式。
图7是表示移动相机40所具有的功能的一个例子的图。此外，在图7的例子中，主要例示与本实施方式相关的功能，但移动相机40所具有的功能不限于此。如图7所示，移动相机40具有图像获取部401、点/线段特征检测部402、内部参数计算部403、标记检测部404、外部参数计算部405、空间特征检测部406、透镜失真信息计算部450、线段/圆弧特征检测部451、标记检测部452、标记信息存储部453。并且，移动相机40具有核对部407、信息转换部408、存储部409、模拟部410、数据存储部454。
以下，对移动相机40所具有的功能进行说明。图像获取部401获取由移动相机40拍摄的动态图像。更具体而言，图像获取部401依次获取由拍摄元件102按照时间序列拍摄的第三图像(获取动态图像)。
透镜失真信息计算部450分析由图像获取部401获取的第三图像，由线段/圆弧特征检测部451检测线段数据(直线或者圆弧)。透镜失真信息计算部450基于由线段/圆弧特征检测部451检测出的线段数据计算移动相机40的透镜失真信息。此外，也可以是，标记检测部452基于线段数据来检测标记，透镜失真信息计算部450利用由标记检测部452检测出的标记的形状和尺寸信息来计算透镜失真信息。透镜失真的模型公式由使用透镜的径向的失真系数、圆周方向的失真系数的高阶公式表示，透镜失真信息由这些系数表示。透镜失真信息计算部450将计算出的透镜失真信息发送给内部参数计算部403。另外，透镜失真信息计算部450将透镜失真信息和除去了第三图像的失真后的图像发送给点/线段特征检测部402。或者，在透镜失真信息计算部450中无法生成除去了失真后的图像的情况下，将透镜失真信息和第三图像发送给点/线段特征检测部402。另外，在该例中，使用由移动相机40拍摄的动态图像的图像(第三图像)来计算透镜失真信息，但并不限于此，也可以是预先提供已知的透镜失真信息的方式。
点/线段特征检测部402对由透镜失真信息计算部450计算出的透镜失真信息、和第三图像或除去了第三图像的失真后的图像进行分析。更具体而言，点/线段特征检测部402提取标记的特征、标记的周边信息和图像整体的空间特征(与地面或者墙壁等对应的直线或者平面的特征)等、动态图像中包含的特征数据。此外，也可以不分析除去了透镜失真后的图像，而是将使用透镜失真信息对由线段/圆弧特征检测部451检测出的线段数据进行校正后的结果提取为特征数据。
标记检测部404基于由点/线段特征检测部402检测出的特征数据和储存于标记信息存储部453的标记识别信息，来检测动态图像内的标记(在该例中为第一标记70或者第二标记80)。标记检测部404将表示检测出的标记的位置和形状的第三标记信息发送给内部参数计算部403和外部参数计算部405。第三标记信息例如包含表示标记的一边的尺寸、构成标记所具有的图案的矩形的一边的尺寸、动态图像内的标记的位置的信息等。另外，标记检测部404识别与检测出的标记所具有的图案对应的识别信息，将该识别出的第三识别信息与第三标记信息一并发送给外部参数计算部405和数据存储部454。例如，标记检测部404也能够使用多个帧的图像来实施标记的检测和第三识别信息的识别。
内部参数计算部403基于从透镜失真信息计算部450接收到的透镜失真信息、已知的移动相机40的透镜焦距、透镜的失真系数、从标记检测部404接收到的第三标记信息等，计算表示移动相机40的内部参数的第三内部参数。第三内部参数由决定移动相机40的相机的三维坐标系(例如以相机的透镜中心为原点的三维的坐标系)的坐标点与由移动相机40拍摄的动态图像的图像(第三图像)的坐标系(二维的坐标系)的坐标点之间的对应关系的矩阵表示。内部参数计算部403将计算出的第三内部参数和从透镜失真信息计算部450接收到的透镜失真信息发送给外部参数计算部405。透镜失真信息也能够作为内部参数的一个信息，以后，在称为“第三内部参数”的情况下，包含透镜失真信息。此外，作为计算内部参数的方法，能够利用公知的各种技术。另外，在该例中，使用由移动相机40拍摄的动态图像的图像(第三图像)来计算内部参数，但并不限于此，也可以是预先提供已知的内部参数的方式。
外部参数计算部405基于从内部参数计算部403接收到的第三内部参数和从标记检测部404接收到的第三标记信息，计算表示移动相机40的外部参数的第三外部参数。在该例中，外部参数计算部405设定以由标记检测部404检测出的第一个标记(在该例中为第一标记70)为原点(例如第一标记70的中心或者4个角中的任意一个)的移动相机40侧的三维坐标系。外部参数计算部405将决定所设定的移动相机40侧的三维坐标系的坐标点与上述的移动相机40的相机的三维坐标系的坐标点之间的对应关系的矩阵作为第三外部参数来计算。由外部参数计算部405计算出的第三外部参数是能够确定移动相机40侧的三维坐标系中的移动相机40的位置和姿势的信息。在该例中，即使检测出第2个及之后的标记(在该例中为第二标记80)，外部参数计算部405也不变更原点，基于由移动相机40依次拍摄的动态图像(还能够利用根据动态图像求出的被拍摄体的移动量和加速度等)，计算第三外部参数。
外部参数计算部405每当从标记检测部404接收第三标记信息(即每当新检测出标记)，计算移动相机40的第三外部参数。而且，外部参数计算部405将其计算出的第三外部参数和从内部参数计算部403接收到的第三内部参数作为表示移动相机40的相机信息的第三相机信息而发送给数据存储部454。另外，外部参数计算部405将从标记检测部404接收到的第三标记信息发送给数据存储部454。即，在该例中，每当通过标记检测部404检测出标记，将与该标记对应的第三相机信息和第三标记信息发送给数据存储部454。
空间特征检测部406基于从外部参数计算部405接收的第三内部参数和第三外部参数、以及从点/线段特征检测部402接收的特征数据，来检测标记的周边的空间特征。而且，将表示标记的周边信息和与图像整体的空间特征相关的信息的第三空间特征信息发送给数据存储部454。在该例中，在第三空间特征信息中，例如也可以包含直线、平面、角等标识符与位置信息的组。数据存储部454储存移动相机40的第三相机信息、第三标记信息、第三空间特征信息以及第三识别信息。
核对部407从数据存储部454读出第三标记信息与第三识别信息的组，确认与该组中包含的第三识别信息一致的识别信息是否存在于数据服务器10。在确认的识别信息存在于数据服务器10的情况下，核对部407设定基准坐标系。具体而言，若从由第一相机20拍摄的第一图像中检测出的第一标记70或者从由第二相机30拍摄的第二图像中检测出的第二标记80与从由移动相机40拍摄的动态图像中检测出的标记相同则建立关联，设定基准坐标，将是设定为基准坐标系的标记的识别信息这一情况发送给数据服务器10。在该例中，基准坐标系以第一标记70为基准。多个第三识别信息中的、设定为基准坐标的第三识别信息包含设定为基准坐标系的识别信息，发送给信息转换部408和模拟部410。另外，在所确认的识别信息存在于数据服务器10的情况下，核对部407指示数据服务器10将与该识别信息相关联的第一或者第二相机信息、第一或者第二标记信息、以及第一或者第二空间特征信息发送给信息转换部408。接受到该指示的数据服务器10将第一或者第二相机信息、第一或者第二标记信息、以及第一或者第二空间特征信息发送给信息转换部408。
信息转换部408在从数据服务器10接收第一或者第二相机信息、第一或者第二标记信息、和第一或者第二空间特征信息的情况下，按上述的基准坐标系转换第一或者第二相机信息、第一或者第二标记信息、和第一或者第二空间特征信息。即，信息转换部408在从由移动相机40拍摄的动态图像中检测出由第一相机20拍摄的第一图像中包含的第一标记70、或者由第二相机30拍摄的第二图像中包含的第二标记80的情况下，按基准坐标系转换第一相机20的第一相机信息等、或者第二相机30的第二相机信息等。后述说明信息转换部408的具体的内容。由信息转换部408转换后的信息(转换完毕的信息)存储于存储部409。
模拟部410读出存储于存储部409的第一相机20和第二相机30各自的转换完毕的信息，从移动相机40侧的数据存储部454读出信息并进行转换，进行比较来检测差分。后述说明模拟部410的更具体的功能。
图8是用于对信息转换部408、存储部409、模拟部410的更具体的内容进行说明的功能框图。图8所示的A部分与图7所示的A部分对应。如上所述，在与从数据存储部454读出的组中包含的第三识别信息一致的识别信息存在于数据服务器10的情况下，核对部407指示数据服务器10将与该识别信息相关联的第一相机20或者第二相机30的信息(第一或者第二相机信息、第一或者第二标记信息、第一或者第二空间特征信息)发送给信息转换部408。接受到该指示的数据服务器10向信息转换部408发送第一相机20或者第二相机30的信息。另外，信息转换部408从核对部407接收包含设定为基准坐标系的识别信息的第三识别信息。
即，每当从由移动相机40拍摄的动态图像中检测出由第一相机20拍摄的第一图像中包含的第一标记70、或者由第二相机30拍摄的第二图像中包含的第二标记80，向信息转换部408输入第一相机20或者第二相机30的信息，进行基于信息转换部408的转换。在该例中，在从移动相机40的动态图像中检测出第一标记70的情况下，向信息转换部408输入第一相机20的第一相机信息、第一标记信息和第一空间特征信息。然后，在从移动到能够拍摄第二拍摄区域的位置的移动相机40的动态图像中检测出第二标记80的情况下，向信息转换部408输入第二相机30的第二相机信息、第二标记信息和第二空间特征信息。
如图8所示，信息转换部408具有计算部421、标记信息转换部422、以及空间特征信息转换部423。
计算部421按上述的基准坐标系转换第一相机20的第一相机信息或者第二相机30的第二相机信息，输出第一或者第二基准坐标系相机信息。图9是表示计算部421所具有的功能的一个例子的图。如图9所示，例如计算部421具有第一计算部501、第二计算部502。此外，在图9的例子中，主要例示与本实施方式相关的功能，但计算部421所具有的功能不限于此。
第一计算部501基于由第一相机20拍摄的包含第一标记70的第一图像和由移动相机40拍摄的包含第一标记70的第一动态图像，计算表示第一相机20的位置的第一基准坐标系相机信息。更具体而言，在从由移动相机40拍摄的动态图像中检测出第一标记70的情况下，第一计算部501基于第一图像，将第一相机信息转换为表示基准坐标系的第一相机20的位置的第一基准坐标系相机信息。在该例中，由移动相机40拍摄的包含第一标记70的动态图像与“第一动态图像”对应，但不限于此。另外，在该例中，第一基准坐标系相机信息是决定基准坐标系的坐标点与第一相机20的相机的三维坐标系的坐标点之间的对应关系的第一相机20的第一外部参数(按照基准坐标系的第一外部参数，以下有时称为“转换完毕的第一外部参数”)，但不限于此。第一基准坐标系相机信息只要是表示第一相机20、第二相机30和移动相机40所共用的基准坐标系与第一相机20的坐标系之间的对应关系的信息即可。以下，对第一基准坐标系相机信息的具体的计算方法进行说明。
本实施方式的第一计算部501在从数据服务器10接收第一相机20的信息的情况下，即在从由移动相机40拍摄的动态图像中检测出第一标记70的情况下，将第一外部参数转换为第一基准坐标系相机信息。第一计算部501基于基准坐标系中的第一标记70的三维位置(x，y，z)和朝向(旋转)、第一相机20的第一内部参数、以及第一图像内的第一标记70的位置和朝向，计算按照基准坐标系的第一相机20的第一外部参数来作为第一基准坐标系相机信息。
在该例中，第一相机20的第一内部参数包含于从数据服务器10接收到的第一相机20的第一相机信息。另外，表示第一图像内的第一标记70的位置的信息包含于从数据服务器10接收到的第一标记信息。如上所述，基于第一图像求出从数据服务器10接收到的第一相机20的第一相机信息和第一标记信息。另外，在该例中，基准坐标系中的第一标记70的位置被设定为基准坐标系的原点，因此即使不使用移动相机40的动态图像也能够确定。因此，可以认为，第一计算部501基于第一图像计算表示基准坐标系中的第一相机20的位置的第一基准坐标系相机信息。第一基准坐标系相机信息为“第一相机位置信息”的一个例子，但不限于此。另外，如上所述，在该例中，第一基准坐标系相机信息为第一相机20的转换完毕的第一外部参数，但不限于此。
第二计算部502基于由与第一相机20分离地配置的第二相机30拍摄的包含第二标记80的第二图像和由移动相机40拍摄的包含第二标记80的第二动态图像，计算表示第二相机30的位置的第二基准坐标系相机信息。更具体而言，第二计算部502在从由移动相机40拍摄的动态图像中检测出第二标记80的情况下，基于第二图像和由移动相机40拍摄的动态图像，将第二相机信息转换为表示基准坐标系的第二相机30的位置的第二基准坐标系相机信息。在该例中，由移动相机40拍摄的包含第二标记80的动态图像与“第二动态图像”对应，但不限于此。另外，在该例中，第二基准坐标系相机信息为决定基准坐标系的坐标点与第二相机30的相机的三维坐标系的坐标点之间的对应关系的第二相机30的第二外部参数(按照基准坐标系的第二外部参数，以下有时称为“转换完毕的第二外部参数”)，但不限于此。第二基准坐标系相机信息只要是表示基准坐标系与第二相机30的坐标系之间的对应关系的信息即可。以下，对第二基准坐标系相机信息的具体的计算方法进行说明。
本实施方式的第二计算部502在从数据服务器10接收第二相机30的信息的情况下，即在从由移动相机40拍摄的动态图像中检测出第二标记80的情况下，将第二外部参数转换为第二基准坐标系相机信息。如上所述，在检测出第二标记80的情况下，与第二标记80对应的第三相机信息和第三标记信息被从数据存储部454发送给信息转换部408。第二计算部502基于从数据存储部454接收到的与第二标记80对应的第三相机信息和第三标记信息，确定基准坐标系(在该例中以第一标记70为原点)中的第二标记80的三维位置(x，y，z)和朝向(旋转)。更具体而言，第二计算部502基于第三标记信息所表示的第二标记80的位置和朝向、以及第三相机信息中包含的第三外部参数和第三内部参数，确定基准坐标系中的第二标记80的位置和朝向。第三相机信息中包含的第三外部参数例如表示移动相机40的移动量和旋转量即第一标记70检测时的移动相机40的朝向与第二标记80检测时的移动相机40的朝向之间的差分。
如上所述，在该例中，基于由移动相机40拍摄的动态图像求出与第二标记80对应的第三相机信息和第三标记信息。因此，可以认为，第二计算部502基于由移动相机40拍摄的动态图像确定基准坐标系中的第二标记80的位置和朝向。
而且，第二计算部502基于基准坐标系中的第二标记80的位置和朝向、第二相机30的第二内部参数、以及第二图像内的第二标记80的位置和朝向，计算按照基准坐标系的第二相机30的第二外部参数来作为第二基准坐标系相机信息。在该例中，第二相机30的第二内部参数包含于从数据服务器10接收到的第二相机信息。另外，表示第二图像内的第二标记80的位置的信息包含于从数据服务器10接收到的第二标记信息。如上所述，基于第二图像求出第二相机30的第二相机信息和第二标记信息。
根据以上，可以认为，本实施方式的第二计算部502基于第二图像和由移动相机40拍摄的动态图像计算表示基准坐标系中的第二相机30的位置的第二基准坐标系相机信息。第二基准坐标系相机信息为“第二相机位置信息”的一个例子，但不限于此。另外，如上所述，在该例中，第二基准坐标系相机信息为第二相机30的转换完毕的第二外部参数，但不限于此。像以上那样由计算部421计算出的第一基准坐标系相机信息和第二基准坐标系相机信息存储于存储部409。在以下的说明中，在不区别第一基准坐标系相机信息和第二基准坐标系相机信息的情况下，有时称为“基准坐标系相机信息”。
返回图8继续进行说明。标记信息转换部422为“第一转换部”的一个例子，按基准坐标系转换第一图像中包含的第一标记70的位置和形状的信息并输出第一转换完毕信息、或者按基准坐标系转换第二图像中包含的第二标记80的位置和形状的信息并输出第二转换完毕信息。以下，具体地说明。在该例中，标记信息转换部422按上述的基准坐标系转换第一标记信息或者第二标记信息。例如，标记信息转换部422能够使用由计算部421计算出的第一基准坐标系相机信息或者第二基准坐标系相机信息、和第一相机20的第一内部参数或者第二相机30的第二内部参数进行上述转换。以下，有时将由标记信息转换部422转换后的第一标记信息称为“转换完毕的第一标记信息”，将由标记信息转换部422转换后的第二标记信息称为“转换完毕的第二标记信息”。在不区别两者的情况下，称为“转换完毕的标记信息”。转换完毕的标记信息存储于存储部409。在该例中，转换完毕的第一标记信息与上述的“第一转换完毕信息”对应，转换完毕的第二标记信息与上述的“第二转换完毕信息”对应，但不限于此。
图10是表示标记信息转换部422所具有的功能的一个例子的图。如图10所示，标记信息转换部422具有第一位置形状转换部511、第二位置形状转换部512。此外，标记信息转换部422所具有的功能不限于此。
第一位置形状转换部511将第一图像内的第一标记70的位置和形状的信息转换为上述的基准坐标系中的位置和形状的信息。例如，第一位置形状转换部511使用上述的第一基准坐标系相机信息(在该例中为转换完毕的第一外部参数)和从数据服务器10获取的第一相机20的第一内部参数，按基准坐标系转换从数据服务器10获取的第一标记信息。以下，将按基准坐标系转换后的第一标记信息称为“转换完毕的第一标记信息”。
同样，第二位置形状转换部512将第二图像内的第二标记80的位置和形状的信息转换为上述的基准坐标系中的位置和形状的信息。例如，第二位置形状转换部512使用上述的第二基准坐标系相机信息(在该例中为转换完毕的第二外部参数)和从数据服务器10获取的第二相机30的第二内部参数，按基准坐标系转换从数据服务器10获取的第二标记信息。以下，将按基准坐标系转换后的第二标记信息称为“转换完毕的第二标记信息”。
返回图8继续进行说明。空间特征信息转换部423按上述的基准坐标系转换第一或者第二空间特征信息。例如，空间特征信息转换部423能够使用由计算部421计算出的第一或者第二基准坐标系相机信息、和已知的第一相机20的第一内部参数或者第二相机30的第二内部参数，进行上述转换。以下，有时将由空间特征信息转换部423转换后的第一空间特征信息称为“转换完毕的第一空间特征信息”，将转换后的第二空间特征信息称为“转换完毕的第二空间特征信息”。在不区别两者的情况下，称为“转换完毕的空间特征信息”。转换完毕的空间特征信息存储于存储部409。
图11是表示空间特征信息转换部423所具有的功能的一个例子的图。如图11所示，空间特征信息转换部423具有第一特征信息转换部521、第二特征信息转换部522。此外，空间特征信息转换部423所具有的功能不限于此。
第一特征信息转换部521按上述的基准坐标系转换上述的第一空间特征信息。第一特征信息转换部521例如进行缩放、平行移动、旋转移动等转换。例如，第一特征信息转换部521使用上述的第一基准坐标系相机信息(在该例中为转换完毕的第一外部参数)和从数据服务器10获取的第一相机20的第一内部参数，按基准坐标系转换从数据服务器10获取的第一空间特征信息。
同样，第二特征信息转换部522按上述的基准坐标系转换上述的第二空间特征信息。例如，第二特征信息转换部522使用上述的第二基准坐标系相机信息(在该例中为转换完毕的第二外部参数)和从数据服务器10获取的第二相机30的第二内部参数，按基准坐标系转换从数据服务器10获取的第二空间特征信息。
返回图8继续进行说明。如图8所示，存储部409具有相机信息存储部431、标记信息存储部432、空间特征信息存储部433。相机信息存储部431是存储由计算部421计算出的基准坐标系相机信息的存储区域。标记信息存储部432是存储由标记信息转换部422转换后的转换完毕的标记信息的存储区域。空间特征信息存储部433是存储由空间特征信息转换部423转换后的转换完毕的空间特征信息的存储区域。
如图8所示，模拟部410具有转换完毕信息获取部441、标记信息/空间特征信息转换部442、差分检测部443、重新计算部444、以及校正部445。
转换完毕信息获取部441从存储部409获取转换完毕信息(包含基准坐标系相机信息、转换完毕标记信息和转换完毕空间特征信息)。在该例中，转换完毕信息获取部441在获取了第一相机20和第二相机30各自的转换完毕信息的定时，向差分检测部443发送第一相机20和第二相机30各自的转换完毕信息。
标记信息/空间特征信息转换部442从核对部407接收包含设定为基准坐标系的识别信息的第三识别信息，按基准坐标系转换移动相机40侧的信息并向差分检测部443发送。例如，标记信息/空间特征信息转换部442具有按上述的基准坐标系转换移动相机40的第三标记信息的功能。标记信息/空间特征信息转换部442为“第二转换部”的一个例子，按基准坐标系转换由移动相机40拍摄的动态图像中包含的第一标记70的位置和形状的信息并输出第三转换完毕信息。另外，标记信息/空间特征信息转换部442按基准坐标系转换由移动相机40拍摄的动态图像中包含的第二标记80的位置和形状的信息并输出第四转换完毕信息。后述说明更具体的内容。并且，标记信息/空间特征信息转换部442还具有按上述的基准坐标系转换移动相机40的第三空间特征信息的功能。
图12是表示标记信息/空间特征信息转换部442所具有的功能的一个例子的图。如图12所示，例如，标记信息/空间特征信息转换部442具有第三位置形状转换部531、第四位置形状转换部532、第三特征信息转换部533、第四特征信息转换部534。此外，标记信息/空间特征信息转换部442所具有的功能不限于此。例如，标记信息/空间特征信息转换部442也可以具有基于由移动相机40拍摄的动态图像来构建上述的基准坐标系的空间(例如构建表示三维点群的3D模型)的功能。
第三位置形状转换部531将由移动相机40拍摄的动态图像内的第一标记70的位置和形状的信息转换为上述的基准坐标系中的位置和形状的信息。例如，标记信息/空间特征信息转换部442能够使用由移动相机40检测出第一标记70时的移动相机40的第三内部参数和第三外部参数来进行上述转换。另外，在该例中，基准坐标系中的第一标记70的位置被设定为基准坐标系的原点，因此也能够使用由移动相机40拍摄的动态图像内的第一标记70的位置和形状的信息。在该例中，由第三位置形状转换部531转换后的第一标记70的位置和形状的信息与上述的“第三转换完毕信息”对应，但不限于此。同样，第四位置形状转换部532将由移动相机40拍摄的动态图像内的第二标记80的位置和形状的信息转换为上述的基准坐标系中的位置和形状的信息。例如，标记信息/空间特征信息转换部442能够使用由移动相机40检测出第二标记80时的移动相机40的第三内部参数和第三外部参数来进行上述转换。在该例中，由第四位置形状转换部532转换后的第二标记80的位置和形状的信息与上述的“第四转换完毕信息”对应，但不限于此。
第三特征信息转换部533将由移动相机40拍摄的动态图像内的第一标记70的周边信息的特征信息转换为上述的基准坐标系中的特征信息。例如，标记信息/空间特征信息转换部442能够使用由移动相机40检测出第一标记70时的移动相机40的第三内部参数和第三外部参数来进行上述转换。另外，在该例中，基准坐标系中的第一标记70的位置被设定为基准坐标系的原点，因此也能够使用由移动相机40拍摄的动态图像内的第一标记70的周边信息的特征信息。同样，第四特征信息转换部534将由移动相机40拍摄的动态图像内的第二标记80的周边信息的特征信息转换为上述的基准坐标系中的特征信息。例如，标记信息/空间特征信息转换部442能够使用由移动相机40检测出第二标记80时的移动相机40的第三内部参数和第三外部参数来进行上述转换。
返回图8继续进行说明。差分检测部443检测第一相机20和第二相机30侧的转换完毕的标记信息与移动相机40侧的转换完毕的标记信息之间的差分。在该例中，差分检测部443检测第一差分，该第一差分表示基于第一图像的第一标记70的位置和形状的信息与基于由移动相机40拍摄的动态图像的第一标记70的位置和形状的信息之间的差分。另外，差分检测部443检测第二差分，该第二差分表示基于第二图像的第二标记80的位置和形状的信息与基于由移动相机40拍摄的动态图像的第二标记80的位置和形状的信息之间的差分。更具体而言，如下所述。
差分检测部443检测第一差分，该第一差分表示由上述的第一位置形状转换部511转换后的第一标记70的位置和形状的信息(在该例中与“第一转换完毕信息”对应)与由上述的第三位置形状转换部531转换后的第一标记70的位置和形状的信息(在该例中与“第三转换完毕信息”对应)之间的差分。即，差分检测部443对上述的第一转换完毕信息和上述的第三转换完毕信息进行比较来检测第一差分。如上所述，由第一位置形状转换部511转换后的第一标记70的位置和形状的信息是第一图像内的第一标记70的位置和形状被转换为基准坐标系中的位置和形状的信息而得到的。由第三位置形状转换部531转换后的第一标记70的位置和形状的信息是由移动相机40拍摄的动态图像内的第一标记70的位置和形状被转换为基准坐标系中的位置和形状的信息而得到的。
另外，差分检测部443检测第二差分，该第二差分表示由上述的第二位置形状转换部512转换后的第二标记80的位置和形状的信息(在该例中与“第二转换完毕信息”对应)与由上述的第四位置形状转换部532转换后的第二标记80的位置和形状的信息(在该例中与“第四转换完毕信息”对应)之间的差分。即，差分检测部443对上述的第二转换完毕信息和上述的第四转换完毕信息进行比较来检测第二差分。如上所述，由第二位置形状转换部512转换后的第二标记80的位置和形状的信息是第二图像内的第二标记80的位置和形状被转换为基准坐标系中的位置和形状的信息而得到的。由第四位置形状转换部532转换后的第二标记80的位置和形状的信息是由移动相机40拍摄的动态图像内的第二标记80的位置和形状的信息被转换为基准坐标系中的位置和形状而得到的。此外，例如，差分检测部443也可以是使用移动相机40的第三外部参数对从固定相机看到的标记进行视点转换来检测第一差分和第二差分的方式，也可以是进行与其相反的视点转换的方式。
并且，差分检测部443检测第三差分，该第三差分表示由上述的第一特征信息转换部521转换后的空间特征信息与由上述的第三特征信息转换部533转换后的空间特征信息之间的差分。即，差分检测部443进行包含空间特征信息的详细的核对(并不限于完全一致，也可以是基于部分一致或者近似的核对)，来检测上述的第三差分。如上所述，由第一特征信息转换部521转换后的空间特征信息是将第一图像内的第一标记70的周边信息的特征信息转换为上述的基准坐标系中的特征信息而得到的。由第三特征信息转换部533转换后的空间特征信息是将由移动相机40拍摄的动态图像内的第一标记70的周边信息的特征信息转换为上述的基准坐标系中的特征信息而得到的。
同样，差分检测部443检测第四差分，该第四差分表示由上述的第二特征信息转换部522转换后的空间特征信息与由上述的第四特征信息转换部534转换后的空间特征信息之间的差分。如上所述，由第二特征信息转换部522转换后的空间特征信息是将第二图像内的第二标记80的周边信息的特征信息转换为基准坐标系中的特征信息而得到的。由第四特征信息转换部534转换后的空间特征信息是将由移动相机40拍摄的动态图像内的第二标记80的周边信息的特征信息转换为基准坐标系中的空间特征信息而得到的。
像以上那样由差分检测部443检测出的第一至第四差分向校正部445输入。差分检测部443向校正部445发送第一差分和第三差分、或者第二差分和第四差分各自的值。并不限于此，也可以仅检测第一差分或者第二差分，并向校正部445发送。校正部445基于第一差分来校正上述的第一基准坐标系相机信息(在该例中为转换完毕的第一外部参数)，基于第二差分来校正上述的第二基准坐标系相机信息(在该例中为转换完毕的第二外部参数)。或者，校正部445也可以基于第一差分和第三差分来校正上述的第一基准坐标系相机信息(在该例中为转换完毕的第一外部参数)，基于第二差分和第四差分来校正上述的第二基准坐标系相机信息(在该例中为转换完毕的第二外部参数)。更具体而言，校正部445校正上述的第一基准坐标系相机信息和第二基准坐标系相机信息，以使第一差分、第三差分、第二差分和第四差分分别为允许值以下。上述允许值能够根据设计条件等而任意地变更。
在由校正部445校正第一基准坐标系相机信息和第二基准坐标系相机信息的情况下，校正后的第一基准坐标系相机信息和第二基准坐标系相机信息被输入重新计算部444。在该例中，重新计算部444在从校正部445获取校正后的第一基准坐标系相机信息和第二基准坐标系相机信息的情况下，从转换完毕信息获取部441获取转换完毕的标记信息和转换完毕的空间特征信息。而且，重新计算部444使用从校正部445获取的校正后的第一基准坐标系相机信息和第二基准坐标系相机信息，对从转换完毕信息获取部441获取的转换完毕的标记信息和转换完毕的空间特征信息进行重新计算。而且，重新计算部444向差分检测部443输入重新计算后的标记信息和空间特征信息。而且，差分检测部443再次检测上述的第一差分和第三差分、以及第二差分和第四差分，并向校正部445输入。
在从差分检测部443输入的第一差分、第三差分、第二差分和第四差分为允许值以下的情况下，校正部445输出此时的第一基准坐标系相机信息和第二基准坐标系相机信息，并且输出此时的转换完毕的空间特征信息(按基准坐标系转换后的空间特征信息)。
例如，来自校正部445的第一基准坐标系相机信息、第二基准坐标系相机信息和转换完毕的空间特征信息的输出目的地也可以是信息处理装置、边缘服务器(店铺内服务器)、云服务器等用于提供最终的服务的服务器等。例如服务器能够生成基于使用了这些信息的处理的服务信息，并向用户提供(例如向用户所持有的终端(移动相机40)输出)。作为上述处理，例如假定使用了位置校正后的第一相机20或者第二相机30的图像的识别处理中的各种处理。例如假定判定是由于存在有高度的障碍物而人或者物无法移动的区域的处理、判定人或者物的重叠等的处理、将移动路径等数据与第一相机20或者第二相机30的图像重叠的处理、描绘3D空间的处理等。但是，上述处理不限于以上的例示。
通过CPU103执行储存于存储装置104的程序而实现以上说明的移动相机40所具有的多个功能。但是，并不限于此，例如也可以是上述的移动相机40所具有的多个功能的全部或者一部分由专用的硬件电路实现的方式。另外，标记信息存储部253、标记信息存储部353、标记信息存储部453、数据存储部454、存储部409例如也可以是存储装置104等。在本实施方式中，移动相机40作为计算上述的第一基准坐标系相机信息和第二基准坐标系相机信息的“相机信息计算装置”发挥功能。
图13是表示本实施方式的移动相机40的动作例的流程图。各步骤的具体的内容如上所述，因此适当地省略来进行说明。此外，各步骤的顺序能够任意地变更，不限于图13的例子。
如图13所示，若标记检测部404检测第一图案(第一标记70)(步骤S1)，则模拟部410内的标记信息/空间特征信息转换部442转换移动相机40侧的信息(步骤S2)。如上所述，标记信息/空间特征信息转换部442按基准坐标系转换由标记检测部404检测出的第一标记70的位置和形状的信息。另外，标记信息/空间特征信息转换部442按基准坐标系转换由空间特征检测部406检测出的第一标记70的周边信息的特征信息。具体的内容如上所述。
另外，核对部407核对与由标记检测部404检测出的第一图案(第一标记70)对应的第一识别信息是否存在于数据服务器10(步骤S3)。这里，假设第一识别信息存在于数据服务器10来继续说明。接下来，信息转换部408从数据服务器10获取第一相机信息、第一标记信息和第一空间特征信息(步骤S4)。
接下来，信息转换部408按上述的基准坐标系转换在步骤S4中获取的信息(第一相机信息、第一标记信息和第一空间特征信息)(步骤S5)。具体的内容如上所述。
然后，若移动到能够拍摄第二相机30的拍摄区域的位置的移动相机40检测出第二图案(第二标记80)(步骤S6)，则标记信息/空间特征信息转换部442转换移动相机40侧的信息(步骤S7)。如上所述，标记信息/空间特征信息转换部442按基准坐标系转换由标记检测部404检测出的第二标记80的位置和形状的信息。另外，按基准坐标系转换由空间特征检测部406检测出的第二标记80的周边信息的特征信息。具体的内容如上所述。
另外，核对部407核对与由标记检测部404检测出的第二图案(第二标记80)对应的第二识别信息是否存在于数据服务器10(步骤S8)。这里，假设第二识别信息存在于数据服务器10来继续说明。接下来，信息转换部408从数据服务器10获取第二相机信息、第二标记信息和第二空间特征信息(步骤S9)。
接下来，信息转换部408按上述的基准坐标系转换在步骤S9中获取的信息(第二相机30的相机信息、第二标记信息和第二空间特征信息)(步骤S10)。具体的内容如上所述。
接下来，模拟部410内的差分检测部443检测上述的第一差分或者第二差分(步骤S11)。具体的内容如上所述。在步骤S11中检测出的第一差分或者第二差分为允许值以上的情况下(步骤S12：是)，校正部445校正上述的第一基准坐标系相机信息和第二基准坐标系相机信息(步骤S13)。然后，重新计算部444使用校正后的第一基准坐标系相机信息和第二基准坐标系相机信息，重新计算第一相机20或者第二相机30侧的标记信息和空间特征信息(步骤S14)，反复进行步骤S11及其之后的处理。
另一方面，在步骤S11中检测出的第一差分或者第二差分比允许值小的情况下(步骤S12：否)，输出此时的第一基准坐标系相机信息和第二基准坐标系相机信息，并且输出此时的转换完毕的空间特征信息(步骤S15)。
像以上说明的那样，移动相机40基于由第一相机20拍摄的包含第一标记70的第一图像和由移动相机40拍摄的包含第一标记70的第一动态图像，计算表示第一相机20的位置的第一基准坐标系相机信息。另外，移动相机40基于由与第一相机20分离地配置的第二相机30拍摄的包含第二标记80的第二图像和由移动相机40拍摄的包含第二标记80的第二动态图像，计算表示第二相机30的位置的第二基准坐标系相机信息。更具体而言，移动相机40在从一边移动一边拍摄的动态图像中检测出第一标记70的情况下，基于第一图像，计算表示以第一标记70为基准的基准坐标系中的第一相机20的位置的第一基准坐标系相机信息。然后，移动相机40在从一边移动一边拍摄的动态图像中检测出第二标记80的情况下，基于第二图像和所拍摄的动态图像，计算表示基准坐标系中的第二相机30的位置的第二基准坐标系相机信息。即，在本实施方式中，根据移动相机40的动态图像，识别第一相机20的拍摄区域和第二相机30的拍摄区域，将第一相机20和第二相机30分别映射到移动相机40侧的基准坐标系。
根据本实施方式，例如即使在很难在第一相机20和第二相机30各自的拍摄图像中拍摄共用的被拍摄体的情况下，也能够求出基准坐标系中的第一相机20与第二相机30之间的位置关系。即，根据本实施方式，能够求出无法在各自的拍摄图像中拍摄共用的被拍摄体的多个相机的位置关系。
另外，如上所述，移动相机40检测第一差分(第一标记70的差分)，该第一差分表示基于第一图像的第一标记70的位置和形状的信息与基于移动相机40的动态图像的第一标记70的位置和形状的信息之间的差分。另外，移动相机40检测第二差分(第二标记80的差分)，该第二差分表示基于第二图像的第二标记80的位置和形状的信息与基于移动相机40的动态图像的第二标记80的位置和形状的信息之间的差分。而且，移动相机40校正第一基准坐标系相机信息和第二基准坐标系相机信息，以使第一差分或者第二差分为允许值以下。由此，能够更高精度地求出基准坐标系中的第一相机20和第二相机30的位置关系。在本实施方式中，基于第一差分或者第二差分而求出基准坐标系中的第一相机20和第二相机30的位置，但并不限于此，也可以基于第一差分和第三差分(第一标记70的周边信息的差分)、或者第二差分和第四差分(第二标记80的周边信息的差分)，求出基准坐标系中的第一相机20和第二相机30的位置。
以上，对实施方式进行了说明，但本申请公开的相机信息计算装置、系统、相机信息计算方法和记录介质不限于上述的实施方式本身，在实施阶段，能够在不脱离其主旨的范围内对构成要素进行变形并具体化。另外，能够通过上述的实施方式所公开的多个构成要素的适当的组合，来形成各种发明。例如，也可以从实施方式所示的全部构成要素中删除几个结构要素。
以下记载变形例。例如，以下的变形例彼此也可以任意地组合。
(1)变形例1
在上述的实施方式中，移动相机40作为计算上述的第一基准坐标系相机信息和第二基准坐标系相机信息的“相机信息计算装置”发挥功能，但也可以是与移动相机40不同的装置作为“相机信息计算装置”发挥功能的方式。例如如图14所示，也可以是作为“相机信息计算装置”发挥功能的服务器100与移动相机40分开地设置的方式。如图14所示，本变形例的系统2具备数据服务器10、服务器100、第一相机20、第二相机30、移动相机40。服务器100经由网络50而与数据服务器10、第一相机20、第二相机30和移动相机40分别连接成能够通信。
图15是表示服务器100的硬件结构的一个例子的图。在图15的例子中，例示最低限度所要的硬件要素，但并不限于此，服务器100也可以是具备其他的硬件要素(例如输入设备、显示设备、相机等)的方式。如图15所示，服务器100包含CPU110、存储装置120、通信I/F部130、以及将它们相互连接的总线140。
CPU110与硬件处理器的一个例子对应。CPU110控制服务器100的动作。CPU110通过执行储存于存储装置120的程序，实现服务器100所具有的各种功能。存储装置120存储程序等各种数据。例如存储装置120包括储存程序的非易失性的存储器亦即ROM、具有CPU110的作业区域的易失性的存储器亦即RAM等。通信I/F部130是用于与网络50连接的接口。
图16是表示服务器100所具有的功能的一个例子的图。此外，服务器100所具有的功能不限于图16的例子。如图16所示，服务器100具有移动相机信息获取部111、核对部407、信息转换部408、存储部409、模拟部410、输出部112。在该例中，在上述的实施方式中说明的移动相机40所具有的多个功能中的一部分(核对部407、信息转换部408、存储部409和模拟部410)被搭载于服务器100。
图16所示的移动相机信息获取部111从移动相机40获取移动相机40的第三相机信息、第三标记信息、第三识别信息、第三空间特征信息。另外，图16所示的输出部112生成基于使用了在服务器100中计算出的第一基准坐标系相机信息和第二基准坐标系相机信息的处理的服务信息，并向移动相机40(用户的终端)输出该生成的服务信息。
此外，例如服务器100也可以由1台计算机构成，也可以由多台计算机(计算机组)构成。例如也可以是服务器100由多台计算机构成，上述的服务器100具有的多个功能分散地搭载于多台计算机的方式。
(2)变形例2
在上述的实施方式中，作为由第一相机20拍摄的第一图像中包含的“第一被拍摄体”的一个例子，举例与第一识别信息对应的第一图案(第一标记70)为例来进行了说明。但是，并不限于此，例如也可以是不设置第一标记70，而将第一标记70以外的被拍摄体作为第一被拍摄体的方式。即，也可以将存在于第一相机20的拍摄区域、并且在第一相机20的第一图像和移动相机40的动态图像中共用地包含的第一标记70以外的被拍摄体、例如尺寸/形状熟知的物体、或者地面与墙壁的分界线等作为第一被拍摄体。
同样，在上述的实施方式中，作为由第二相机30拍摄的第二图像中包含的“第二被拍摄体”的一个例子，举例与第二识别信息对应的第二图案(第二标记80)为例来进行了说明。但是，并不限于此，例如也可以是不设置第二标记80，而将第二标记80以外的被拍摄体作为第二被拍摄体的方式。即，也可以将存在于第二相机30的拍摄区域、并且在第二相机30的第二图像和移动相机40的动态图像中共用地包含的第二标记80以外的被拍摄体、例如尺寸/形状熟知的物体、或者地面与墙壁的分界线等作为第二被拍摄体。
(3)变形例3
在上述的实施方式中，设置了能够以任意的位置、朝向设置的2台相机、以及与2台相机分别1对1地对应的两个标记，但相机和标记的数量不限于2个。例如也可以是设置了3台以上的能够以任意的位置、朝向设置的相机、以及与3台以上的相机分别1对1地对应的3个以上的标记的方式。另外，只要能够从能够以任意的位置、朝向设置的相机拍摄至少一个标记，则也可以是标记相对于相机不是1对1，而是设置得比相机少的方式。即使是这样的方式，也能够实施与上述的实施方式相同的方法。由此，能够对于3台以上的每个相机，计算相机信息，该相机信息确定以由移动相机40最初检测出的标记为基准的移动相机40侧的基准坐标系中的该相机的位置。
(4)变形例4
上述的实施方式的系统1应用于店铺内(屋内)，但并不限于此，例如也可以应用于屋外。例如也可以是在信号机的附近设置固定相机，将搭载有相机的车作为移动相机来运用的方式。

Claims (9)

1.一种相机信息计算装置，具备：
第一计算部，基于由第一相机拍摄的包含第一被拍摄体的第一图像和由第三相机拍摄的包含所述第一被拍摄体的第一动态图像，计算表示所述第一相机的位置的第一相机位置信息；以及
第二计算部，基于由与所述第一相机分离地配置的第二相机拍摄的包含第二被拍摄体的第二图像和由所述第三相机拍摄的包含所述第二被拍摄体的第二动态图像，计算表示所述第二相机的位置的第二相机位置信息，
所述第三相机是能够在能够拍摄所述第一被拍摄体的位置与能够拍摄所述第二被拍摄体的位置之间边移动边进行拍摄的移动相机。
2.根据权利要求1所述的相机信息计算装置，其中，
所述第一相机位置信息是表示所述第一相机、第二相机和第三相机所共用的基准坐标系与所述第一相机的坐标系之间的对应关系的信息，
所述第二相机位置信息是表示所述基准坐标系与所述第二相机的坐标系之间的对应关系的信息。
3.根据权利要求2所述的相机信息计算装置，其中，具备：
第一转换部，按所述基准坐标系转换所述第一图像中包含的所述第一被拍摄体的位置和形状的信息并输出第一转换完毕信息，按所述基准坐标系转换所述第二图像中包含的所述第二被拍摄体的位置和形状的信息并输出第二转换完毕信息；
第二转换部，按所述基准坐标系转换所述第一动态图像中包含的所述第一被拍摄体的位置和形状的信息并输出第三转换完毕信息，按所述基准坐标系转换所述第二动态图像中包含的所述第二被拍摄体的位置和形状的信息并输出第四转换完毕信息；以及
差分检测部，对所述第一转换完毕信息和所述第三转换完毕信息进行比较来检测第一差分，对所述第二转换完毕信息和所述第四转换完毕信息进行比较来检测第二差分。
4.根据权利要求3所述的相机信息计算装置，其中，
所述相机信息计算装置具备校正部，所述校正部基于所述第一差分校正所述第一相机位置信息，基于所述第二差分校正所述第二相机位置信息。
5.根据权利要求1至4中的任一项所述的相机信息计算装置，其中，
所述第一动态图像的拍摄区域的至少一部分与所述第二动态图像的拍摄区域的至少一部分重叠。
6.一种系统，具备：
第一相机，拍摄包含第一被拍摄体的第一图像；
第二相机，拍摄包含第二被拍摄体的第二图像；以及
第三相机，拍摄包含所述第一被拍摄体的第一动态图像和包含所述第二被拍摄体的第二动态图像，并且具有第一计算部和第二计算部，所述第一计算部基于所述第一图像和所述第一动态图像计算表示所述第一相机的位置的第一相机位置信息，所述第二计算部基于所述第二图像和所述第二动态图像计算表示所述第二相机的位置的第二相机位置信息，
所述第三相机是能够在能够拍摄所述第一被拍摄体的位置与能够拍摄所述第二被拍摄体的位置之间边移动边进行拍摄的移动相机。
7.一种系统，具备：
第一相机，拍摄包含第一被拍摄体的第一图像；
第二相机，拍摄包含第二被拍摄体的第二图像；
第三相机，拍摄包含所述第一被拍摄体的第一动态图像和包含所述第二被拍摄体的第二动态图像；以及
服务器，具有第一计算部和第二计算部，所述第一计算部基于所述第一图像和所述第一动态图像计算表示所述第一相机的位置的第一相机位置信息，所述第二计算部基于所述第二图像和所述第二动态图像计算表示所述第二相机的位置的第二相机位置信息，
所述第三相机是能够在能够拍摄所述第一被拍摄体的位置与能够拍摄所述第二被拍摄体的位置之间边移动边进行拍摄的移动相机。
8.一种相机信息计算方法，由计算机执行如下处理：
基于由第一相机拍摄的包含第一被拍摄体的第一图像和由第三相机拍摄的包含所述第一被拍摄体的第一动态图像，计算表示所述第一相机的位置的第一相机位置信息，
基于由与所述第一相机分离地配置的第二相机拍摄的包含第二被拍摄体的第二图像和由所述第三相机拍摄的包含所述第二被拍摄体的第二动态图像，计算表示所述第二相机的位置的第二相机位置信息，
所述第三相机是能够在能够拍摄所述第一被拍摄体的位置与能够拍摄所述第二被拍摄体的位置之间边移动边进行拍摄的移动相机。
9.一种记录介质，储存有程序，所述程序用于使计算机执行如下处理：
基于由第一相机拍摄的包含第一被拍摄体的第一图像和由第三相机拍摄的包含所述第一被拍摄体的第一动态图像，计算表示所述第一相机的位置的第一相机位置信息，
基于由与所述第一相机分离地配置的第二相机拍摄的包含第二被拍摄体的第二图像和由所述第三相机拍摄的包含所述第二被拍摄体的第二动态图像，计算表示所述第二相机的位置的第二相机位置信息，
所述第三相机是能够在能够拍摄所述第一被拍摄体的位置与能够拍摄所述第二被拍摄体的位置之间边移动边进行拍摄的移动相机。
CN201980089997.3A 2019-01-23 2019-01-23 相机信息计算装置、系统、相机信息计算方法及记录介质 Active CN113330275B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/002137 WO2020152810A1 (ja) 2019-01-23 2019-01-23 カメラ情報算出装置、システム、カメラ情報算出方法およびプログラム

Publications (2)

Publication Number Publication Date
CN113330275A CN113330275A (zh) 2021-08-31
CN113330275B true CN113330275B (zh) 2023-05-09

Family

ID=71736855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980089997.3A Active CN113330275B (zh) 2019-01-23 2019-01-23 相机信息计算装置、系统、相机信息计算方法及记录介质

Country Status (4)

Country Link
US (1) US20210348915A1 (zh)
JP (1) JP7310835B2 (zh)
CN (1) CN113330275B (zh)
WO (1) WO2020152810A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60133026T2 (de) * 2000-08-28 2009-02-19 Cognitens Ltd. Genaues ausrichten von bildern in digitalen abbildungssystemen durch anpassen von punkten in den bildern
JP4227037B2 (ja) 2004-02-25 2009-02-18 株式会社国際電気通信基礎技術研究所 撮像システム及び校正方法
JP4708752B2 (ja) * 2004-09-28 2011-06-22 キヤノン株式会社 情報処理方法および装置
WO2008087974A1 (ja) 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
US7961936B2 (en) 2007-03-30 2011-06-14 Intel Corporation Non-overlap region based automatic global alignment for ring camera image mosaic
JP4960754B2 (ja) * 2007-04-25 2012-06-27 キヤノン株式会社 情報処理装置、情報処理方法
JP6237326B2 (ja) * 2014-02-25 2017-11-29 富士通株式会社 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
JP2015204512A (ja) 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
CN108702439B (zh) * 2016-02-29 2020-10-09 索尼公司 信息处理设备、方法、计算机可读介质和多摄像机系统
US11361466B2 (en) * 2018-11-30 2022-06-14 Casio Computer Co., Ltd. Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system
US20220058826A1 (en) * 2018-12-27 2022-02-24 Nec Communication Systems, Ltd. Article position managing apparatus, article position management system, article position managing method, and program
JP7124840B2 (ja) * 2020-03-24 2022-08-24 カシオ計算機株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2020152810A1 (ja) 2021-12-02
JP7310835B2 (ja) 2023-07-19
CN113330275A (zh) 2021-08-31
US20210348915A1 (en) 2021-11-11
WO2020152810A1 (ja) 2020-07-30

Similar Documents

Publication Publication Date Title
WO2014061372A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP2518663A2 (en) Object recognition method and recognition apparatus
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
CN112232279B (zh) 一种人员间距检测方法和装置
JP2017187988A (ja) コード認識装置
JP2010041417A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
CN110926330B (zh) 图像处理装置和图像处理方法
KR20180105875A (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
JP2016197287A (ja) 情報処理装置、情報処理方法、プログラム
JP2019057227A (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
US11710253B2 (en) Position and attitude estimation device, position and attitude estimation method, and storage medium
US20170262971A1 (en) System and method for extrinsic camera parameters calibration by use of a three dimensional (3d) calibration object
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112270719A (zh) 相机标定方法、装置及系统
EP3617937A1 (en) Image processing device, driving assistance system, image processing method, and program
CN110673607B (zh) 动态场景下的特征点提取方法、装置、及终端设备
JP2009216503A (ja) 三次元位置姿勢計測方法および装置
JP6701057B2 (ja) 認識装置、プログラム
CN111354038A (zh) 锚定物检测方法及装置、电子设备及存储介质
CN113330275B (zh) 相机信息计算装置、系统、相机信息计算方法及记录介质
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
JP2005031044A (ja) 三次元誤差測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant