CN106197417B - 手持终端的室内导航方法及手持终端 - Google Patents

手持终端的室内导航方法及手持终端 Download PDF

Info

Publication number
CN106197417B
CN106197417B CN201610460576.5A CN201610460576A CN106197417B CN 106197417 B CN106197417 B CN 106197417B CN 201610460576 A CN201610460576 A CN 201610460576A CN 106197417 B CN106197417 B CN 106197417B
Authority
CN
China
Prior art keywords
combination
handheld terminal
colored
colored block
bar coded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610460576.5A
Other languages
English (en)
Other versions
CN106197417A (zh
Inventor
周宝
赖众程
戎国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201610460576.5A priority Critical patent/CN106197417B/zh
Publication of CN106197417A publication Critical patent/CN106197417A/zh
Priority to US16/084,225 priority patent/US10317217B2/en
Priority to JP2018527723A priority patent/JP6653759B2/ja
Priority to AU2017282889A priority patent/AU2017282889B2/en
Priority to KR1020187017153A priority patent/KR102120966B1/ko
Priority to PCT/CN2017/089419 priority patent/WO2017219992A1/zh
Priority to EP17814730.2A priority patent/EP3382339B1/en
Priority to SG11201808814PA priority patent/SG11201808814PA/en
Application granted granted Critical
Publication of CN106197417B publication Critical patent/CN106197417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Telephone Function (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种手持终端的室内导航方法，包括：在收到室内导航指令后，控制相机摄像头获取镜头范围内的影像，对影像中条形码标签的条形码进行解析，获取各条形码标签的标识信息，按照彩色块选择规则从至少两个条形码标签中选择彩色块；按照选择的每一彩色块在镜头范围内的影像中的位置，计算其对应的像素坐标系坐标；根据条形码标签的标识信息与彩色块的世界坐标系坐标的关联数据，按照选择的每一彩色块所在条形码标签，计算每一个彩色块对应的世界坐标系坐标，按照坐标计算规则，计算手持终端在世界坐标系中的坐标。本发明还公开了一种室内导航的手持终端。本发明能快速准确的对手持终端的实时位置进行精确的计算，从而提高室内导航精度。

Description

手持终端的室内导航方法及手持终端
技术领域
本发明涉及导航技术领域，尤其涉及一种手持终端的室内导航方法及手持终端。
背景技术
目前，在用户使用手持终端时，有些室内场所很大，区域分布状况比较复杂，用户进入这类场所后，很难找到目标区域或位置。虽然目前有些在室内场所利用手持终端进行导航的方案，但这些方案对这些场所的软、硬件要求较高，同时，这些方案无法快速且准确的对手持终端的实时位置进行精确的计算，进而使得导航精度较低。
发明内容
本发明的主要目的在于提供一种手持终端的室内导航方法及手持终端，旨在低成本地实现手持终端的室内精确导航。
为实现上述目的，本发明提供的一种手持终端的室内导航方法，所述方法包括以下步骤：
在接收到用户发出的室内导航指令后，手持终端控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
优选地，所述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
优选地，所述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
优选地，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤包括：
从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；
针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；
比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
优选地，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
优选地，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
优选地，所述分别计算出每个三角形顶点组合对应的三角形的面积的步骤包括：
在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；
若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
优选地，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
优选地，所述基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置的步骤之后还包括：
基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
优选地，所述预设的方向计算规则如下：
根据所述手持终端在世界坐标系中的坐标、所述相机内参数、所述旋转矩阵及所述平移矩阵，并由预设的摄像头标定模型计算得到所述手持终端的方向向量。
此外，为实现上述目的，本发明还提供一种室内导航的手持终端，所述手持终端包括：
获取模块，用于在接收到用户发出的室内导航指令后，控制手持终端的相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
计算模块，用于按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
定位模块，用于基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
优选地，所述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
优选地，所述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
优选地，所述计算模块还用于：
从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
优选地，所述计算模块还用于：
如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
优选地，所述计算模块还用于：
如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
优选地，所述计算模块还用于：
在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；
若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
优选地，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
优选地，所述手持终端还包括：
方向确定模块，用于基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
优选地，所述预设的方向计算规则如下：
根据所述手持终端在世界坐标系中的坐标、所述相机内参数、所述旋转矩阵及所述平移矩阵，并由预设的摄像头标定模型计算得到所述手持终端的方向向量。
本发明提出的一种手持终端的室内导航方法及手持终端，利用手持终端的相机摄像头获取镜头范围内的影像中预置在室内预设位置的条形码标签的标识信息，并从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；计算出每一个彩色块对应的像素坐标系中的坐标及对应的世界坐标系中的坐标；再根据选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算得到所述手持终端的位置。由于仅需利用手持终端的相机摄像头及在室内预设位置预置条形码标签即可进行室内导航，对软、硬件要求较低，且根据在室内预设位置预置的条形码标签的彩色块的像素坐标系中的坐标及对应的世界坐标系中的坐标进行综合计算，能快速准确的对手持终端的实时位置进行精确的计算，从而提高室内导航精度。
附图说明
图1为本发明手持终端的室内导航方法第一实施例的流程示意图；
图2为本发明手持终端的室内导航方法一实施例中条形码标签的结构示意图；
图3为本发明手持终端的室内导航方法一实施例中凸四边形的四个点组成的4种三角形顶点组合示意图；
图4为本发明手持终端的室内导航方法一实施例中凹四边形的四个点组成的4种三角形顶点组合示意图；
图5为本发明手持终端的室内导航方法第二实施例的流程示意图；
图6为本发明手持终端的室内导航方法一实施例中的导航应用示意图；
图7为本发明室内导航的手持终端第一实施例的功能模块示意图；
图8为本发明室内导航的手持终端第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种手持终端的室内导航方法。
参照图1，图1为本发明手持终端的室内导航方法第一实施例的流程示意图。
在第一实施例中，该手持终端的室内导航方法包括：
步骤S10，在接收到用户发出的室内导航指令后，手持终端控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
本实施例中，可预先在室内场所的预设位置如地面、墙壁、天花板等设置条形码标签，该条形码标签中至少包括相应的标识信息、彩色块等。在手持终端接收到用户通过物理按键或虚拟按键发出的室内导航指令后，开启手持终端的相机摄像头，并控制相机摄像头获取镜头范围内的影像。通过手持终端的相机摄像头采集镜头范围内的影像中预置在室内预设位置的条形码标签，并对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块，在此对选择的彩色块数量不作限定。
步骤S20，按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
为选择的每一个彩色块，按照其在镜头范围内的影像中的位置，确定出对应的像素坐标系中的坐标，如在一种实施方式中，可计算彩色块的几何中心在像素坐标系中的坐标；根据预先确定的条形码标签的标识信息和彩色块的世界坐标系的坐标的关联数据，为选择的每一个彩色块，按照其所在的条形码标签，确定出对应的世界坐标系中的坐标，如在一种实施方式中，可计算彩色块的几何中心在世界坐标系中的坐标。
步骤S30，基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
根据选择的各个彩色块对应的像素坐标系中的坐标和世界坐标系中的坐标，并按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，也即所述手持终端的位置，从而实现对手持终端的实时位置进行精确的计算，进行室内导航。
本实施例利用手持终端的相机摄像头获取镜头范围内的影像中预置在室内预设位置的条形码标签的标识信息，并从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；计算出每一个彩色块对应的像素坐标系中的坐标及对应的世界坐标系中的坐标；再根据选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算得到所述手持终端的位置。由于仅需利用手持终端的相机摄像头及在室内预设位置预置条形码标签即可进行室内导航，对软、硬件要求较低，且根据在室内预设位置预置的条形码标签的彩色块的像素坐标系中的坐标及对应的世界坐标系中的坐标进行综合计算，能快速准确的对手持终端的实时位置进行精确的计算，从而提高室内导航精度。
进一步地，在其他实施例中，上述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息(例如，ID)；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
进一步地，在其他实施例中，上述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息(例如，ID)；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块，也即分别从镜头范围内的影像中的两个条形码标签中各选择两个最外围的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
具体的，如图2所示，图2为本发明手持终端的室内导航方法一实施例中条形码标签的结构示意图。该条形码标签包括标签基体1、条形码2和两个彩色块组合3，所述条形码2和两个彩色块组合3设于所述标签基体1上，且所述两个彩色块组合3位于所述条形码2的两端；所述彩色块组合3包括颜色不相同的多个彩色块31，如图2中位于所述条形码2的两端的红、绿、蓝彩色块31。其中，最外围的彩色块是处于所在标签基体1的最外端，如图2中的红色彩色块31。
进一步地，在其他实施例中，上述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤包括：
从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；
针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；
比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
本实施例中，从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合，例如，若所有的条形码标签共有N个彩色块，则共可以组成种彩色块组合；针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点如几何中心点，如果确定的四个点构成的是凸四边形，则将凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个点构成的是凹四边形，则确定所述四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
其中，本实施例中将四边形分为凸四边形和凹四边形，有任意一个内角大于180度的四边形为凹四边形，否则为凸四边形。对于凸四边形，将其面积作为其分散程度的衡量指标；而对于凹四边形，则任取三个点构成的三角形的面积，将其中最大的面积作为其分散指标。
进一步地，在其他实施例中，上述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
本实施例子，从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合。分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，以得到凸四边形的面积。
具体的，如图3所示，图3为本发明手持终端的室内导航方法一实施例中凸四边形的四个点组成的4种三角形顶点组合示意图；凸四边形共有四个顶点，共可以组成种三角形顶点组合。
进一步地，在其他实施例中，上述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
本实施例子，从凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合。分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为凹四边形的分散指标。
具体的，如图4所示，图4为本发明手持终端的室内导航方法一实施例中凹四边形的四个点组成的4种三角形顶点组合示意图；凹四边形共有四个顶点，共可以组成种三角形顶点组合。
进一步地，在其他实施例中，上述分别计算出每个三角形顶点组合对应的三角形的面积的步骤包括：
在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；例如，假设预存的三角形顶点组合包括A1、A2、A3组合，若该三角形顶点组合由A1、A2、A3顶点组成，则代表有预存的三角形顶点组合与该三角形顶点组合匹配。
若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标即该三角形顶点组合各个顶点所在的彩色块对应的世界坐标系的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
进一步地，在其他实施例中，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
本实施例中，根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存于手持终端内的相机内参数(fx，fy，u0，v0)，计算出属于相机外参数的旋转矩阵R和平移矩阵T，例如，可由OpenCV中的solvePnP函数计算出属于相机外参数的旋转向量Rvec和平移矩阵T，并由OpenCV中的cvRodrigues2函数转换旋转向量Rvec得到旋转矩阵R；将摄像头坐标系坐标原点坐标(Xc＝0，Yc＝0，Zc＝0)带入以下坐标系转换公式：
其中，c指摄像头坐标系，w指世界坐标系；进而求出摄像头在世界坐标系中的坐标，也即手持终端在世界坐标系中的坐标为：
如图5所示，本发明第二实施例提出一种手持终端的室内导航方法，在上述实施例的基础上，在上述步骤S30之后还包括：
步骤S40，基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
本实施例中，在计算出所述手持终端在世界坐标系中的坐标之后，还可按照预设的方向计算规则，计算出所述手持终端的方向向量。
具体的，所述预设的方向计算规则如下：设方向向量与地面交点在世界坐标系中的坐标是(Xw2，Yw2，Zw2)，其中Zw2＝0，则只需求Xw2，Yw2。根据手持终端在世界坐标系中的坐标(Xw1，Yw1，Zw1)，相机内参数(fx，fy，u0，v0)，旋转矩阵R，平移矩阵T，并由摄像头标定模型得：
为使表达式简洁，使用矩阵S表示，设
可得
uZc＝S11Xw2+S12Yw2+S14 (5)
vZc＝S21Xw2+S22Yw2+S24 (6)
Zc＝S31Xw2+S32Yw2+S34 (7)
联立(5)(6)(7)三元一次方程可解得：
又已知Zw2＝0，法向量与地面交点在世界坐标系的坐标(Xw2，Yw2，Zw2)有解析解，则所述手持终端的方向向量为(Xw2-Xw1，Yw2-Yw1，Zw2-Zw1)。
进一步地，如图6所示，图6为本发明手持终端的室内导航方法一实施例中的导航应用示意图；
本实施例利用手持终端的相机摄像头获取镜头范围内的影像中预置在室内预设位置的条形码标签的标识信息，并从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；计算出每一个彩色块对应的像素坐标系中的坐标及对应的世界坐标系中的坐标；再根据选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算得到所述手持终端的位置及方向向量。由于根据在室内预设位置预置的条形码标签的彩色块的像素坐标系中的坐标及对应的世界坐标系中的坐标进行综合计算，能快速准确的对手持终端的实时位置及方向向量进行精确的计算，从而提高室内导航精度。
本发明进一步提供一种室内导航的手持终端。
参照图7，图7为本发明室内导航的手持终端第一实施例的功能模块示意图。
在第一实施例中，该室内导航的手持终端包括：
获取模块01，用于在接收到用户发出的室内导航指令后，控制手持终端的相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
本实施例中，可预先在室内场所的预设位置如地面、墙壁、天花板等设置条形码标签，该条形码标签中至少包括相应的标识信息、彩色块等。在手持终端接收到用户通过物理按键或虚拟按键发出的室内导航指令后，开启手持终端的相机摄像头，并控制相机摄像头获取镜头范围内的影像。通过手持终端的相机摄像头采集镜头范围内的影像中预置在室内预设位置的条形码标签，并对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块，在此对选择的彩色块数量不作限定。
计算模块02，用于按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
为选择的每一个彩色块，按照其在镜头范围内的影像中的位置，确定出对应的像素坐标系中的坐标，如在一种实施方式中，可计算彩色块的几何中心在像素坐标系中的坐标；根据预先确定的条形码标签的标识信息和彩色块的世界坐标系的坐标的关联数据，为选择的每一个彩色块，按照其所在的条形码标签，确定出对应的世界坐标系中的坐标，如在一种实施方式中，可计算彩色块的几何中心在世界坐标系中的坐标。
定位模块03，用于基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
根据选择的各个彩色块对应的像素坐标系中的坐标和世界坐标系中的坐标，并按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，也即所述手持终端的位置，从而实现对手持终端的实时位置进行精确的计算，进行室内导航。
本实施例利用手持终端的相机摄像头获取镜头范围内的影像中预置在室内预设位置的条形码标签的标识信息，并从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；计算出每一个彩色块对应的像素坐标系中的坐标及对应的世界坐标系中的坐标；再根据选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算得到所述手持终端的位置。由于仅需利用手持终端的相机摄像头及在室内预设位置预置条形码标签即可进行室内导航，对软、硬件要求较低，且根据在室内预设位置预置的条形码标签的彩色块的像素坐标系中的坐标及对应的世界坐标系中的坐标进行综合计算，能快速准确的对手持终端的实时位置进行精确的计算，从而提高室内导航精度。
进一步地，在其他实施例中，上述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息(例如，ID)；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
进一步地，在其他实施例中，上述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息(例如，ID)；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块，也即分别从镜头范围内的影像中的两个条形码标签中各选择两个最外围的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
进一步地，在其他实施例中，上述计算模块02还用于：
从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
本实施例中，从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合，例如，若所有的条形码标签共有N个彩色块，则共可以组成种彩色块组合；针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点如几何中心点，如果确定的四个点构成的是凸四边形，则将凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个点构成的是凹四边形，则确定所述四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
其中，本实施例中将四边形分为凸四边形和凹四边形，有任意一个内角大于180度的四边形为凹四边形，否则为凸四边形。对于凸四边形，将其面积作为其分散程度的衡量指标；而对于凹四边形，则任取三个点构成的三角形的面积，将其中最大的面积作为其分散指标。
进一步地，在其他实施例中，上述计算模块02还用于：
如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
本实施例子，从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合。分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，以得到凸四边形的面积。
进一步地，在其他实施例中，上述计算模块02还用于：
如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
本实施例子，从凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合。分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为凹四边形的分散指标。
进一步地，在其他实施例中，上述计算模块02还用于：
在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；例如，假设预存的三角形顶点组合包括A1、A2、A3组合，若该三角形顶点组合由A1、A2、A3顶点组成，则代表有预存的三角形顶点组合与该三角形顶点组合匹配。
若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标即该三角形顶点组合各个顶点所在的彩色块对应的世界坐标系的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
进一步地，在其他实施例中，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
本实施例中，根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存于手持终端内的相机内参数(fx，fy，u0，v0)，计算出属于相机外参数的旋转矩阵R和平移矩阵T，例如，可由OpenCV中的solvePnP函数计算出属于相机外参数的旋转向量Rvec和平移矩阵T，并由OpenCV中的cvRodrigues2函数转换旋转向量Rvec得到旋转矩阵R；将摄像头坐标系坐标原点坐标(Xc＝0，Yc＝0，Zc＝0)带入以下坐标系转换公式：
其中，c指摄像头坐标系，w指世界坐标系；进而求出摄像头在世界坐标系中的坐标，也即手持终端在世界坐标系中的坐标为：
如图8所示，本发明第二实施例提出一种室内导航的手持终端，在上述实施例的基础上，还包括：
方向确定模块04，用于基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
本实施例中，在计算出所述手持终端在世界坐标系中的坐标之后，还可按照预设的方向计算规则，计算出所述手持终端的方向向量。
具体的，所述预设的方向计算规则如下：设方向向量与地面交点在世界坐标系中的坐标是(Xw2，Yw2，Zw2)，其中Zw2＝0，则只需求Xw2，Yw2。根据手持终端在世界坐标系中的坐标(Xw1，Yw1，Zw1)，相机内参数(fx，fy，u0，v0)，旋转矩阵R，平移矩阵T，并由摄像头标定模型得：
为使表达式简洁，使用矩阵S表示，设
可得
uZc＝S11Xw2+S12Yw2+S14 (5)
vZc＝S21Xw2+S22Yw2+S24 (6)
Zc＝S31Xw2+S32Yw2+S34 (7)
联立(5)(6)(7)三元一次方程可解得：
又已知Zw2＝0，法向量与地面交点在世界坐标系的坐标(Xw2，Yw2，Zw2)有解析解，则所述手持终端的方向向量为(Xw2-Xw1，Yw2-Yw1，Zw2-Zw1)。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (18)

1.一种手持终端的室内导航方法，其特征在于，所述方法包括以下步骤：
在接收到用户发出的室内导航指令后，手持终端控制其相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
2.如权利要求1所述的手持终端的室内导航方法，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
3.如权利要求1所述的手持终端的室内导航方法，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块；
所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤包括：
从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；
针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；
比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块。
4.如权利要求3所述的手持终端的室内导航方法，其特征在于，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
5.如权利要求3或4所述的手持终端的室内导航方法，其特征在于，所述若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块的步骤还包括：
如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
6.如权利要求5所述的手持终端的室内导航方法，其特征在于，所述分别计算出每个三角形顶点组合对应的三角形的面积的步骤包括：
在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；
若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
7.如权利要求1所述的手持终端的室内导航方法，其特征在于，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
8.如权利要求7所述的手持终端的室内导航方法，其特征在于，所述基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置的步骤之后还包括：
基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
9.如权利要求8所述的手持终端的室内导航方法，其特征在于，所述预设的方向计算规则如下：
根据所述手持终端在世界坐标系中的坐标、所述相机内参数、所述旋转矩阵及所述平移矩阵，并由预设的摄像头标定模型计算得到所述手持终端的方向向量。
10.一种室内导航的手持终端，其特征在于，所述手持终端包括：
获取模块，用于在接收到用户发出的室内导航指令后，控制手持终端的相机摄像头获取镜头范围内的影像，对镜头范围内的影像中预置在室内预设位置的条形码标签的条形码进行数据解析，获取镜头范围内的影像中的各个条形码标签的标识信息，并按照预设的彩色块选择规则，从镜头范围内的影像中的至少两个条形码标签中选择预设数量的彩色块；
计算模块，用于按照选择的每一个彩色块在镜头范围内的影像中的位置，计算出每一个彩色块对应的像素坐标系中的坐标；根据预先设定的条形码标签的标识信息与彩色块的世界坐标系的坐标的关联数据，按照选择的每一个彩色块所在的条形码标签，计算出每一个彩色块对应的世界坐标系中的坐标；
定位模块，用于基于选择的各个彩色块对应的像素坐标系中的坐标及世界坐标系中的坐标，按照预设的坐标计算规则，计算出所述手持终端在世界坐标系中的坐标，得到所述手持终端的位置。
11.如权利要求10所述的室内导航的手持终端，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块，所述条形码和两个彩色块设于所述标签基体上，且所述两个彩色块位于所述条形码的两端，所述条形码编码有所属的条形码标签的标识信息；所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则锁定离镜头最近的两个条形码标签，并分别从锁定的两个条形码标签中各选择两个彩色块。
12.如权利要求10所述的室内导航的手持终端，其特征在于，所述条形码标签包括标签基体、条形码和两个彩色块组合，所述条形码和两个彩色块组合设于所述标签基体上，且所述两个彩色块组合位于所述条形码的两端；所述彩色块组合包括颜色不相同的多个彩色块，所述条形码编码有所属的条形码标签的标识信息；
所述计算模块还用于：
从不同的条形码标签中以排列组合的方式分别抽取四个彩色块以组成不同的彩色块组合；针对每一个彩色块组合，确定彩色块组合中四个彩色块的预设位置点，如果确定的四个预设位置点构成的是凸四边形，则将该凸四边形的面积作为对应的彩色块组合的分散指标；如果确定的四个预设位置点构成的是凹四边形，则确定所述凹四边形的四个点中构成的三角形面积最大的三个点，并将确定的三个点构成的三角形面积作为对应的彩色块组合的分散指标；比较各个彩色块组合对应的分散指标，确定出具有最大分散指标的彩色块组合中四个彩色块；
所述选择的预设数量的彩色块的数量为四个，所述预设的彩色块选择规则为：若镜头范围内的影像中只有两个条形码标签，则分别从镜头范围内的影像中的两个条形码标签中各选择两个处于所在标签基体的最外端的彩色块；若镜头范围内的影像中的条形码标签数量大于两个，则从各个条形码标签中确定出具有最大分散指标的四个彩色块。
13.如权利要求12所述的室内导航的手持终端，其特征在于，所述计算模块还用于：
如果确定的四个预设位置点构成的是凸四边形，则从凸四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合；分别计算出每个三角形顶点组合对应的三角形的面积，将所有三角形顶点组合对应的三角形面积之和除以2，得到凸四边形的面积，并将该凸四边形的面积作为对应的彩色块组合的分散指标。
14.如权利要求12或13所述的室内导航的手持终端，其特征在于，所述计算模块还用于：
如果确定的四个预设位置点构成的是凹四边形，则从所述凹四边形的四个点中以排列组合的方式分别抽取三个点以组成不同的三角形顶点组合，分别计算出每个三角形顶点组合对应的三角形的面积，确定出最大的三角形面积对应的三角形顶点组合，并将最大的三角形面积作为所述凹四边形对应的彩色块组合的分散指标。
15.如权利要求14所述的室内导航的手持终端，其特征在于，所述计算模块还用于：
在计算一个三角形顶点组合对应的三角形的面积时，遍历预存的三角形顶点组合与三角形面积的关联数据，分析是否有预存的三角形顶点组合与该三角形顶点组合匹配；
若有预存的三角形顶点组合与该三角形顶点组合匹配，则找出匹配的三角形顶点组合对应的三角形的面积，并将找出的面积作为该三角形顶点组合对应的三角形的面积；
若没有预存的三角形顶点组合与该三角形顶点组合匹配，则根据该三角形顶点组合中各个顶点在世界坐标系中的坐标，确定出该三角形顶点组合对应的三角形各条边的边长，根据确定出的边长计算出该三角形顶点组合对应的三角形的面积，并将该三角形顶点组合与计算出的三角形面积形成关联数据并保存，以供后续进行三角形面积的查找。
16.如权利要求10所述的室内导航的手持终端，其特征在于，所述选择的预设数量的彩色块的数量为四个，所述预设的坐标计算规则如下：
根据选择的四个彩色块对应的四个像素坐标系中的坐标和四个世界坐标系中的坐标，并根据预存在所述手持终端内的相机内参数，计算出属于相机外参数的旋转矩阵和平移矩阵；根据所述旋转矩阵和平移矩阵转换获取所述手持终端的摄像头在世界坐标系中的坐标作为所述手持终端在世界坐标系中的坐标。
17.如权利要求16所述的室内导航的手持终端，其特征在于，还包括：
方向确定模块，用于基于计算出的所述手持终端在世界坐标系中的坐标，按照预设的方向计算规则，计算出所述手持终端的方向向量。
18.如权利要求17所述的室内导航的手持终端，其特征在于，所述预设的方向计算规则如下：
根据所述手持终端在世界坐标系中的坐标、所述相机内参数、所述旋转矩阵及所述平移矩阵，并由预设的摄像头标定模型计算得到所述手持终端的方向向量。
CN201610460576.5A 2016-06-22 2016-06-22 手持终端的室内导航方法及手持终端 Active CN106197417B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201610460576.5A CN106197417B (zh) 2016-06-22 2016-06-22 手持终端的室内导航方法及手持终端
KR1020187017153A KR102120966B1 (ko) 2016-06-22 2017-06-21 핸드헬드 단말기의 실내 내비게이션 방법, 핸드헬드　단말기 및 저장매체
JP2018527723A JP6653759B2 (ja) 2016-06-22 2017-06-21 ポータブル端末による室内ナビゲーション方法、ポータブル端末及び記憶媒体
AU2017282889A AU2017282889B2 (en) 2016-06-22 2017-06-21 Indoor navigation method for handheld terminal, handheld terminal, and storage medium
US16/084,225 US10317217B2 (en) 2016-06-22 2017-06-21 Indoor navigation method of handheld terminal, handheld terminal, and storage medium
PCT/CN2017/089419 WO2017219992A1 (zh) 2016-06-22 2017-06-21 手持终端的室内导航方法、手持终端及存储介质
EP17814730.2A EP3382339B1 (en) 2016-06-22 2017-06-21 Indoor navigation method for handheld terminal, handheld terminal, and storage medium
SG11201808814PA SG11201808814PA (en) 2016-06-22 2017-06-21 Indoor navigation method of handheld terminal, handheld terminal, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610460576.5A CN106197417B (zh) 2016-06-22 2016-06-22 手持终端的室内导航方法及手持终端

Publications (2)

Publication Number Publication Date
CN106197417A CN106197417A (zh) 2016-12-07
CN106197417B true CN106197417B (zh) 2017-11-10

Family

ID=57461811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610460576.5A Active CN106197417B (zh) 2016-06-22 2016-06-22 手持终端的室内导航方法及手持终端

Country Status (8)

Country Link
US (1) US10317217B2 (zh)
EP (1) EP3382339B1 (zh)
JP (1) JP6653759B2 (zh)
KR (1) KR102120966B1 (zh)
CN (1) CN106197417B (zh)
AU (1) AU2017282889B2 (zh)
SG (1) SG11201808814PA (zh)
WO (1) WO2017219992A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106197417B (zh) * 2016-06-22 2017-11-10 平安科技（深圳）有限公司 手持终端的室内导航方法及手持终端
CN107481287A (zh) * 2017-07-13 2017-12-15 中国科学院空间应用工程与技术中心 一种基于多标识的物体定位定姿方法及系统
CN108801257B (zh) * 2018-04-04 2021-05-11 东南大学 一种用于室内自动泊车的定位方法
DE102018217734A1 (de) * 2018-10-17 2020-04-23 Robert Bosch Gmbh System von künstlichen Landmarken in einer Umgebung zur Verwendung für eine sensorgestützte Lokalisierung von mobilen Plattformen
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN110176036B (zh) * 2019-05-28 2023-03-03 中南林业科技大学 一种移动车平面内定位的方法及系统
CN111340077B (zh) * 2020-02-18 2024-04-12 平安科技（深圳）有限公司 基于注意力机制的视差图获取方法和装置
CN112784942B (zh) * 2020-12-29 2022-08-23 浙江大学 一种用于大规模场景下定位导航的特殊色块编码方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009123130A (ja) * 2007-11-19 2009-06-04 Toshiba Corp カラーバーコードシート、カラーバーコード読取装置、カラーバーコード読取端末、製造システム、カラーバーコード読取プログラム、カラーバーコード読取方法
CN102735235A (zh) * 2012-06-07 2012-10-17 无锡普智联科高新技术有限公司 基于二维码的室内移动机器人定位系统和方法
CN102944236A (zh) * 2012-11-20 2013-02-27 无锡普智联科高新技术有限公司 基于多个二维码读码器的移动机器人定位系统及方法
CN103123682A (zh) * 2013-01-17 2013-05-29 无锡普智联科高新技术有限公司 基于规则图形码复合标签的移动机器人定位系统及方法
CN104573777A (zh) * 2013-10-23 2015-04-29 上海铁勋智能识别系统有限公司 以色彩作为信息源的智能标签

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7480567B2 (en) * 2004-09-24 2009-01-20 Nokia Corporation Displaying a map having a close known location
TWI391632B (zh) * 2008-11-27 2013-04-01 Mstar Semiconductor Inc 利用識別標籤之定位導航系統與應用於其上之定位導航方法
JP2011013075A (ja) * 2009-07-01 2011-01-20 Toyota Infotechnology Center Co Ltd 車両位置推定システム
GB2484316A (en) * 2010-10-06 2012-04-11 St Microelectronics Res & Dev Self navigation of mobile devices
CN102135429B (zh) 2010-12-29 2012-06-13 东南大学 一种基于视觉的机器人室内定位导航方法
US8862395B2 (en) * 2011-01-31 2014-10-14 Raytheon Company Coded marker navigation system and method
CN103868517A (zh) * 2012-12-10 2014-06-18 深圳富泰宏精密工业有限公司 室内定位系统及方法
US20140236475A1 (en) * 2013-02-19 2014-08-21 Texas Instruments Incorporated Methods and systems for navigation in indoor environments
CN103533644A (zh) 2013-10-21 2014-01-22 镇江三鑫科技信息有限公司 基于二维码的室内定位方法
US9207677B2 (en) * 2014-01-02 2015-12-08 Automotive Research & Testing Center Vehicle positioning method and its system
CN104019810A (zh) 2014-06-25 2014-09-03 重庆广建装饰股份有限公司 基于商场板材的扫描定位导航方法
JP2016136099A (ja) * 2015-01-23 2016-07-28 サトーホールディングス株式会社 測位システム及び測位方法
US20160345137A1 (en) * 2015-05-21 2016-11-24 Toshiba America Business Solutions, Inc. Indoor navigation systems and methods
CN105222774B (zh) 2015-10-22 2019-04-16 Oppo广东移动通信有限公司 一种室内定位方法及用户终端
CN105424031A (zh) 2015-11-24 2016-03-23 深圳市亿通科技有限公司 一种室内导航系统及方法
CN106197417B (zh) 2016-06-22 2017-11-10 平安科技（深圳）有限公司 手持终端的室内导航方法及手持终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009123130A (ja) * 2007-11-19 2009-06-04 Toshiba Corp カラーバーコードシート、カラーバーコード読取装置、カラーバーコード読取端末、製造システム、カラーバーコード読取プログラム、カラーバーコード読取方法
CN102735235A (zh) * 2012-06-07 2012-10-17 无锡普智联科高新技术有限公司 基于二维码的室内移动机器人定位系统和方法
CN102944236A (zh) * 2012-11-20 2013-02-27 无锡普智联科高新技术有限公司 基于多个二维码读码器的移动机器人定位系统及方法
CN103123682A (zh) * 2013-01-17 2013-05-29 无锡普智联科高新技术有限公司 基于规则图形码复合标签的移动机器人定位系统及方法
CN104573777A (zh) * 2013-10-23 2015-04-29 上海铁勋智能识别系统有限公司 以色彩作为信息源的智能标签

Also Published As

Publication number Publication date
US10317217B2 (en) 2019-06-11
EP3382339A1 (en) 2018-10-03
AU2017282889A1 (en) 2018-10-11
KR20190019893A (ko) 2019-02-27
WO2017219992A1 (zh) 2017-12-28
JP2019504300A (ja) 2019-02-14
SG11201808814PA (en) 2018-11-29
CN106197417A (zh) 2016-12-07
AU2017282889B2 (en) 2019-10-24
EP3382339A4 (en) 2019-02-20
US20190072394A1 (en) 2019-03-07
KR102120966B1 (ko) 2020-06-10
EP3382339B1 (en) 2020-10-14
JP6653759B2 (ja) 2020-02-26

Similar Documents

Publication Publication Date Title
CN106197417B (zh) 手持终端的室内导航方法及手持终端
CN108596974A (zh) 动态场景机器人定位建图系统及方法
CN107093210A (zh) 一种激光点云标注方法及装置
CN104335227A (zh) 用于基于位置的导航和增强现实应用的锚点
CN109710056A (zh) 虚拟现实交互装置的显示方法及装置
CN110443877B (zh) 模型渲染的方法、装置、终端设备和存储介质
CN104881839B (zh) 一种基于并行加速的热点图生成方法
CN111157009A (zh) 基于移动终端和ar智能的室内定位导航创建方法及系统
CN107330978A (zh) 基于位置映射的增强现实建模体验系统及方法
CN105719326A (zh) 一种基于单张照片的真实感人脸生成方法
CN109540023B (zh) 基于二值网格编码模板结构光的物体表面深度值测量方法
US11328490B2 (en) Information processing program, method, and system for sharing virtual process for real object arranged in a real world using augmented reality
JPH01147989A (ja) カラー表示装置用色空間変換方法
CN102142081A (zh) 图像处理设备、图像处理方法、以及程序
CN106127853A (zh) 一种无人机探测范围分析方法
CN109685901A (zh) 一种军标符号标绘中动态箭标绘制方法
CN107803025A (zh) 一种3d高精度实时瞄准及触发模拟方法
CN110433467A (zh) 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备
CN108230434A (zh) 图像纹理的处理方法、装置、存储介质和电子装置
CN106023317B (zh) 一种用于大数据测试的加权Voronoi图生成方法
US20150356751A1 (en) Display evaluation device, display evaluation method, and non-transitory computer readable medium
CN110898430A (zh) 音源定位方法和装置、存储介质及电子装置
CN105407338B (zh) 一种图像色彩填充方法和装置
US20230306880A1 (en) Display medium, processing apparatus, program, and computer-readable recording medium provided with program recorded thereon
CN112229028A (zh) 空调器的控制方法、空调器、服务器和移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant