CN111656358A - 分析捕获的图像以确定测试成果 - Google Patents

分析捕获的图像以确定测试成果 Download PDF

Info

Publication number
CN111656358A
CN111656358A CN201880087581.3A CN201880087581A CN111656358A CN 111656358 A CN111656358 A CN 111656358A CN 201880087581 A CN201880087581 A CN 201880087581A CN 111656358 A CN111656358 A CN 111656358A
Authority
CN
China
Prior art keywords
mapping
shape template
image
image frame
test structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880087581.3A
Other languages
English (en)
Inventor
安东尼奥·曼纽尔·多明戈斯·洛佩斯
安东尼·彼得·阿什布鲁克
尼尔·波尔瓦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novaramdex Ltd
Original Assignee
Novaramdex Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novaramdex Ltd filed Critical Novaramdex Ltd
Publication of CN111656358A publication Critical patent/CN111656358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Plasma & Fusion (AREA)
  • Evolutionary Biology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • General Engineering & Computer Science (AREA)
  • Hematology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

分析获取的图像以确定测试成果值。提供用于测试结构的形状模板以识别目标测量区域在测试结构上的定位。确定定义形状模板到图像帧的变换的映射。确定映射，并确定映射是否满足基于图像帧中识别的一个或更多个边缘相对于形状模板的第一位移的第一匹配条件。当映射满足第一匹配条件和基于在图像帧中识别的一个或更多个边缘相对于形状模板的第二位移的第二不同匹配条件时，建立测试结构的验证图像。在测试结构的验证图像中，识别到目标测量区域。通过分析目标测量区域来确定测试成果值。

Description

分析捕获的图像以确定测试成果
技术领域
本文描述的实施例大体上涉及分析图像以确定测试成果。更具体地，尽管不是排他地，但是实施例涉及识别图像帧中的目标测量区域以执行分析来确定测试成果。
背景
诸如移动电话的移动设备具有相机，该相机可以用于以方便用户的方式捕获和处理高质量的图像。然而，所捕获的给定对象的图像可能会根据例如摄影师的技能、照明条件、变焦级别和相机角度而有很大的变化。图像处理技术可用于以不同的精确度识别图像中的特定对象。
可以使用边缘检测算法来识别图像对象，以识别图像中的边缘像素，并将具有相似定向的相邻边缘像素(例如，基于亮度梯度)连接起来形成一条线。为了检测形状，可以顺序地测试检测到的线的不同子集，以确定图像中是否存在诸如矩形的给定的形状。这个过程在计算上可能是低效的。数字图像的算法分析在检测光度和颜色的细微变化以及提供定量而非定性结果方面可能比人眼更可靠。一个或更多个算法可用于对给定测试的测试成果规则进行编码，以减轻测试成果解释对于人类的负担。图像处理可以提供改进精度的测试的示例包括但不限于：化学、生物化学和微生物测定，这些测定基于在一段时间间隔内在测试结构的限定区域中颜色变化的发展。其他示例包括检测人类皮肤的颜色变化，这可能与皮肤癌或升高的胆红素水平有关联。
附图简述
在下文中参考附图进一步描述本发明的实施例，附图中：
图1a示意性地示出了在测试结构周围的图像帧中具有形状模板的图像帧；
图1b示意性地示出了执行程序应用以确定测试结构的测试成果值的移动设备；
图2是示意性地示出用于从测试结构确定测试成果值的系统的流程图；
图3是示意性地示出用于检测图像帧中的边缘(包括边缘检测和距离变换)的方法的流程图；
图4示意性地示出了形状模板坐标到图像坐标的映射；
图5示意性地示出了测量形状模板上的形状点和测试结构的检测外框(outline)上的边缘点之间的位移；
图6示意性地示出了形状模板，其中在形状模板上的每个点处具有法向矢量；
图7示意性地示出了当形状模板在算法上以不正确的定向来拟合测试结构的图像时的示例；
图8示意性地示出了形状模板与测试结构图像对象的“不拟合”的示例以及内点(inliers)和外点(outliers)的分布；
图9示意性地示出了相对于图8示例的形状模板与测试结构对象的“良好拟合”的示例，以及内点和外点的相应分布；
图10示意性地示出了当形状模板拟合于捕获的图像帧中错误识别的边缘点时的示例；
图11示意性地示出了即使在测试结构的图像捕获期间由于光照条件而不能检测到测试结构的边缘时形状模板也具有与测试结构的“良好拟合”的示例；
图12示意性地示出了即使在图像被捕获时由于阻挡物品已经覆盖在物理测试结构上，而使得测试结构在捕获图像中的边缘被隐藏，形状模板也具有与测试结构“良好拟合”时的示例；
图13是示意性地示出从测试结构来确定测试成果值所执行的迭代方法的流程图；
图14示意性地示出了从测试结构确定测试成果值的移动设备；和
图15示意性地示出了测试结构的目标测量区域的示例分析。
详细描述
本技术涉及一种通过分析捕获的图像、使用移动设备从测试结构确定测试成果的系统。测试结构可以是例如具有视觉元素的任何测试测量设备，该视觉元素根据所进行的测量而改变。用户可以使用移动设备来捕获测试结构的图像，并且本技术可以分析该图像以向用户提供测试成果值。测试结构可以被实时识别和跟踪。可以在图像帧上使用形状模板，其中形状模板定义了一个或更多个目标测量区域，这些目标测量区域可以从获取的图像帧中提取并处理。可以通过捕获和处理多个目标测量区域来确定改进的测试成果值。
图1a示意性地示出了图像帧101，其中图像帧101中的形状模板102围绕测试结构103，测试结构103具有对应于目标测量区域104的测试结果显示区域105。
测试结构103可以是用于建立用户可能希望知道或分析的测试成果值的任何对象。测试结构可以是任何形式的测量设备，例如，测试结构可以是：化学或生物测定；用于测试化学或生物物质的存在或浓度的设备；对大气、温度或时间敏感并导致可见变化的材料；取样设备，其中一些或所有设备在物质存在或不存在的情况下经历颜色变化；任何容器，可以在该容器之中或之上放置测试样品，以在感兴趣区域旁边或周围放置的物质或参考尺度存在或不存在的情况下获得颜色变化。捕获图像的时间序列可用于检测渐进的颜色变化。测试结构103不限于用于执行化学或生物测试的结构。在一些示例中，测试结构可以是用于执行化学或生物测试的模制塑料结构。可选地，测试结构可以是由诸如例如纸板或纸型测试基底等的非塑料材料制成的外壳。在另外的示例中，测试结构可以是人类或动物身体部分，诸如皮肤区域。在进一步的可选示例中，测试结构可以是不同类别的设备，可以从该设备获取读数，诸如显示测量值的仪表，诸如pH计、温度计、血糖仪、煤气表或电表。在图1a的示例中，形状模板102是矩形的，以大致对应于测试结构103的形状。形状模板102可以是任何形状，并且可以对应于任何测试结构103的形状或者对应于测试结构的对于从目标测量区域确定测试成果值有用的至少一些特征。形状模板可以是外框，其尺寸和形状对应于测试结构。形状模板还可以包括指示测试结构的目标测量区域在形状模板内可能的定位的信息。可选地，形状模板可以是对应于测试结构上的目标测量区域的外框的形状和尺寸，并且因此可以对应于测试结构的预定部分。形状模板可以是对应于测试结构的可见外框的2D点的集合。2D点可以是形状模板的坐标系中的点的集合。形状模板的坐标系可以不同于捕获图像的坐标系。例如，形状模板坐标系和图像坐标系的比例和定向中的至少一个可能存在差异。2D点还可以记录在该点处测试结构的外框上至少一些点的方向，诸如垂直于边缘并远离测试结构延伸的方向。这样的方向信息的一个示例在图6中示出。
在一些示例中，形状模板102可以在图像的捕获之前显示在图像查看器上。在一些这样的示例中，可以捕获图像帧101，使得测试结构103在形状模板102的外框内。如果图像帧101被确定为测试结构103的验证图像帧，则形状模板102可用于识别对应于区域测试结果显示区域105的目标测量区域104。验证图像帧是在图像帧和形状模板之间满足两个不同匹配条件的图像帧，这将在下面参考图2详细描述。然后可以分析验证图像的目标测量区域104，以确定测试成果。例如，测试结构103可以是具有医学应用的诊断测试，并且测试结果显示区域105可以是纸类材料或其他测试基底，其基于诊断测试的结果显示多条线(如在妊娠测试中)或用于与参考图表匹配的反应颜色(如在葡萄糖或酮的尿液测试中)。可选地，测试结构可以提供对应于用于放置在人体皮肤上的窗口的目标测量区域，以执行胆红素水平测试或皮肤癌测试。可以分析图1a和图1b的示例的目标测量区域104以确定测试结果，该目标测量区域104包括具有在测试结果显示区域105中的表示妊娠测试结果的线条的屏幕。
图1b示意性地示出了执行计算机程序应用以确定测试结构112的测试成果值的图像捕获装置(诸如移动设备111)。
移动设备111可以是例如移动电话、膝上型电脑、平板电脑、智能电话、诸如手表或眼镜的可佩戴设备或任何其他合适的便携式电子设备，但是可以是能够进行图像捕获的任何电子设备。
移动设备111已经被定位成使得集成相机可以获取包括测试结构112的图像的图像帧101。如所示，该图像帧101或图像帧的至少一部分(诸如，处理后的边缘)可以显示在移动设备111的显示单元上。
移动设备的显示单元可以是触摸屏、LCD屏或任何合适的显示单元。在一些示例中，显示器可以是透明的，并且测试结构可以通过它可见。
移动设备111还可以在图像帧101上显示导向器113，以表示形状模板102并在对齐移动设备111以捕获图像时帮助用户。在替代示例中，形状模板导向器不显示在屏幕上。可以通知用户可能出现在显示单元上的图像帧101(参见图1a)是测试结构112的验证图像。验证图像可以在验证前或验证后作为从中确定测试成果值的合适的图像存储在移动设备上的存储器中。可以分析捕获的图像以确定测试成果值。
在图像被确定为测试结构的验证图像之前，可以捕获图像帧并将其存储在存储器中，并且如果发现所捕获的图像帧不是测试结构的验证图像，则随后可以将其丢弃。
测试成果值可以显示在移动设备111的显示单元上，或者可以经由某种其他机制(诸如经由电子邮件或文本消息)提供给移动设备的用户。测试成果值可以被提供给一个或更多个远程设备，以及被提供给移动设备的用户或者代替被提供给移动设备的用户。移动设备111可以例如在连续的时间序列中捕获相同测试结构的多个图像帧，并且可以通过组合来自多个图像帧的不同测试成果值来确定结果。这可以允许以统计上更高的置信度水平来确定更精确的测试结果。图2是示意性地示出用于从测试结构确定测试成果值的系统的流程图。
在元素202处，可以使用移动设备111(参见图1b)的相机252来捕获测试结构的图像帧。可选地，图像帧可以通过访问存储在移动设备的存储器或移动设备可远程访问的外部存储器中的图像来获取。可以响应于例如通过用户激活移动设备的触摸屏上的图像捕获按钮或物理按钮来请求测试成果值的指示来捕获图像帧。可选地，根据本技术的测试成果确定应用可以基于当应用已经被激活时在成像视场中检测到测试结构来自动捕获测试结构的图像。
在该方法的第N个周期中捕获的图像可以被称为图像N 256，其中N是非零整数。获取的测试结构的图像可以根据例如环境光水平、相机角度、相机与测试结构的距离以及根据在图像捕获的时间处相机和测试结构之间的相对运动而变化。为了补偿测试结构的不同获取图像的质量的可变性，可以在识别图像中的测试结构之前进行校正，诸如颜色校正或相机失真校正中的至少一种。光流跟踪器算法可用于执行这些校正中的一个或更多个。捕获或获取的图像帧可以包括测试结构254的图像，测试成果将经由程序应用从该图像中确定。测试结构254可以是上面关于测试结构103描述的测试结构中的任一个。
通过提供适当的形状模板，该方法可以方便地适用于不同的预先存在的测试结构设计，从而能够在目标测试结构的图像中进行识别，从该图像中确定测试成果。
从图像N 256，根据是否可选地使用图像跟踪来执行形状模板和图像帧之间的映射，利用先前捕获的图像来更容易地确定形状模板和图像N 256之间的适当映射，该示例的方法可以采取两种可选路线。在第一路线中，没有使用先前的图像来执行形状模板的跟踪，并且该过程顺序地从图像N 256进行到边缘检测元素204，然后到距离测量元素206，接着是距离最小化处理元素210。在第一路线中，映射元素208和形状模板元素266还用于在元素268处执行形状模板变换，该变换可用作距离测量元素206的一个输入，以形成与在元素204处捕获的图像帧中检测到的边缘的比较。
从图2可以看出，标为映射N的映射元素208可以在多次迭代中更新。最初，映射N被设置为映射N-1，其中映射N-1是对前一个图像(图像N-1)确定的映射的最终值。基本原理在于测试结构254在图像N中的定位可能类似于测试结构在图像N-1中的定位，因此映射N-1可以方便地为映射N提供良好的初始近似。这提高了映射过程的效率。
源自图像N 256的第二路线涉及可选的图像跟踪元素218，其接收相同测试结构的先前捕获的图像，并在元素220处执行帧间映射，这可用于在元素208处初始化映射N。因此在处理元素220处，映射N被初始化为映射N×帧间映射，其中帧间映射220是由跟踪218确定的从图像N-1到图像N的映射。在元素204处沿着第一路线，图像N 256被处理以找到图像帧中的一个或更多个边缘。可以使用边缘检测算法来确定边缘，例如“Canny”边缘检测算法。但是可以使用任何边缘检测算法。边缘检测算法可以垂直地和水平地中的至少一个测量在图像帧中对应于图像N 256的每个像素处的亮度梯度。如果像素的亮度梯度的大小大于或者大于或等于预定值，则该像素可以被定义为捕获图像帧的边缘。边缘的方向可以被定义为确定的亮度梯度的方向。该边缘可以对应于例如图像帧中的测试结构的外框的一部分、测试结构上的任何区别特征(诸如图1a示例中的目标测量区域105)或测试结构上的配准标记中的至少一个。
使用例如Canny边缘检测在图像帧中的过程元素204处确定边缘的过程可以使用如图3所示的Canny边缘滤波器来执行。现在考虑图3的边缘检测过程，在元素304处，在该示例中被捕获为彩色(未示出)的图像帧可以被转换成灰度图像数据。在元素306处，可以执行高斯平滑，并且可以对灰度图像应用高斯滤波器。这可以从图像中去除至少一些噪声。在元素308处，可以使用Sobel滤波器或任何其他合适的机制来找到平滑的灰度图像中的强度梯度。在项310处，可以通过应用非最大抑制来进一步定义图像中的边缘，该非最大抑制可以去除可能被错误检测到的边缘。任何类似的机制都可以用来去除错误检测的边缘。这些图像然后可以以边缘梯度图的形式存储在存储器或缓冲器中。在元素312处，可以通过使用滞回(hysteresis)对边缘进行跟踪来完成边缘的检测。滞回可能会抑制未连接到强边缘的潜在边缘。这可以导致在已处理图像的元素314处的最终二值边缘图，其定义了在图像中检测到边缘的位置。
然后可以使用距离变换316进一步处理二值边缘图。距离变换316可以例如基于Azreil Rosenfeld和John L.Pfaltz的两遍3×3内核遍(kernel pass)实现。在元素318处，距离变换可以初始化输入图。输入图可以将“0”定义为边缘，且将“MAX”定义为非边缘。输入图可以是二值类型的图，其中“0”是边缘点，“1”不是边缘点。元素320处示出示例输入图。这可以通过元素322，在元素322中执行第一遍，并且图的组成部分可以从左上方变换到右下方。这可以产生元素324的映射。然后，在元素326处，该图通过第二遍，其中图的组成部分可以从右下变换到左上。该变换可以输出值图，其中靠近边缘的值较小，离边缘较远的值较高。值图可以是距离图328。值图可以是“城市街区距离图”。在城市街区距离图中，距离可以被计算为沿x轴的距离加上沿y轴的距离。
回到图2的过程，且特别是不执行跟踪的第一路线，在过程元素204处的边缘检测之后，距离测量元素206接收来自形状模板266的模型和在过程元素208处的初始映射之间的映射(映射N)的输入。在元素208处，在形状模板266和捕获的图像帧(图像N 256)之间执行映射(映射N)。
图4示意性地示出了这个映射步骤的示例。映射N可以包括将形状模型的形状模板坐标402变换成例如对应于捕获图像帧上的像素位置的图像坐标406。该映射可以包括比例变化和形状模板266的旋转(如图4所示)中的至少一个，以将其映射到图像N 256上。
形状模板266可以是预先确定的，并且可以存储在移动设备111上的存储器中或者可以存储在可以由移动设备远程访问的外部存储器中。形状模板266可以是外框，其尺寸和形状对应于如所示的测试结构。形状模板266可以对应于实际测试结构的特征的子集，该实际测试结构对应于最重要的特征以确定映射并识别用于确定测试成果的目标测量区域405。例如，如果测试结构的形状近似为矩形，则形状模板可以是矩形。形状模板266可以是对应于测试结构的可见外框的2D点的集合。2D点可以记录该点在形状模板的特定坐标系中的定位。如图6所示，2D点也可以记录该点处测试结构的外框的方向。这些2D点的至少一个子集可以被定义为形状模板坐标402。
形状模板266可以提供参考来识别测试结构上的目标测量区域405的定位，诸如测试结构上的窗口，其中测试结果将被显示。目标测量区域405可以在形状模板中被定义为目标测量区域405的形状模板坐标404的集合。目标测量区域405不限于显示来自化学反应的测试线的窗口，而是可以是例如框住用于分析的区域的窗口，诸如供用户放置在用于分析的痣或皮肤损伤上的框。目标测量区域405可以是显示屏，其被布置成以字母数字形式显示数字测试成果、基于测量改变颜色或强度的测试结构区域、或者显示测量结果的测试结构上的模拟刻度。
元素208处的映射N涉及以某个初始定位被放置在图像帧256上的形状模板266，并且形状模板266可以以某种方式与图像帧256中的测试结构的外框对齐，例如假设用户可以自然地捕获测试结构位于或靠近屏幕中心的图像，则形状模板266可以与图像帧的中心中的测试结构的外框对齐。形状模板到图像帧的映射N 208可以包括将形状模板402、404上的坐标的至少一个子集变换成图像帧映射中的相应图像坐标406、408(例如，像素定位)，以给出变换后的形状模板268(图2的过程元素)。目标测量区域405的形状模板坐标404可以被变换成目标测量区域的图像坐标408。这种到图像坐标的变换可以是单应性矩阵410。单应性矩阵可以是将物平面上的2D点映射到观察物平面的投影相机的像平面的2D点上的矩阵(例如，3×3同质矩阵)。该示例中的像平面可以被认为是形状模板的平面。
图2中过程元素208处的初始映射可以通过将形状模板定位在图像帧的中心来执行。形状模板可以自动定位在图像帧的中心。可替换地或附加地，表示形状模板的导向器可以显示在移动设备的显示屏上，以在获取图像帧时帮助用户定位相机。所显示的形状模板导向器可以帮助用户评估捕获图像的适当变焦级别和评估适当定位，利用该适当定位在显示屏上排列测试结构以捕获图像。
可选地，对应于形状模板的导向器可以显示在捕获图像上，并且用户也许能够使用输入方法来移动导向器。例如，使用触摸屏，用户可以拖放对应于形状模板表示的导向器，以与图像帧中的测试结构对象一致。
在另一个替代方案中，可以针对相应的形状模板或测试结构预先确定形状模板相对于图像帧的定位。形状模板的定位可以基于在图像帧中识别测试测量区域的先前尝试。可选地，形状模板的定位可以基于考虑到用户或测试结构中的至少一个的移动的先前图像帧的先前成果来确定，类似于使用运动图像专家组(MPEG)视频帧中的运动矢量来跟踪图像对象。在这种情况下，该方法可以通过可选的过程元素218和220遵循备选(第二)路线。
在元素218处，可以在图像N 256上执行跟踪。该跟踪可以使用至少一个先前图像图像N-1 262来执行，例如，在相同设置中相同测试结构的捕获图像的时间序列中的先前图像。根据先前图像，可以通过基于一个或更多个先前检测到的映射预测下一个定位来估计测试结构的外框在当前图像帧图像N 256中的定位。
在已经按照时间序列获取了多个图像的情况下，可以使用诸如“Lukas Kanade”算法的光流跟踪器算法，经由在图2中的分支元素218、220和208之后的过程的第二分支中的跟踪过程来校正单应性矩阵。“Lukas Kanade”光流跟踪器可以依赖于假设在前一帧上检测到的边缘之间的光流是恒定的。使用新帧中检测到的边缘和前一帧中检测到的边缘，可以计算连续图像帧中的点之间的单应性矩阵，并且这可以提供图像帧上的形状模板的校正定位。
对于经由边缘过程元素204并结合了元素208、266和268的映射过程的第一路线和经由跟踪元素218和帧间映射元素220的第二路线，该过程到达距离测量元素206。在元素206处，距离测量过程元素206的输入包括捕获的图像帧中的边缘检测204的结果和定义如由变换的形状模板元素268输出的形状模板相对于图像帧的变换的映射。在过程元素206处，可以执行距离测量以确定映射的形状模板上的点的至少一个子集和图像帧中的检测到的边缘的至少一个非零子集之间的距离。这些距离可以对应于在图像帧中识别到的一个或更多个边缘相对于形状模板的“第一位移”。
图5示意性地示出了确定对应于映射的形状模板上的点的至少一个子集的形状点502和对应于捕获的图像帧中的测试结构的至少一个检测到的边缘的边缘点506之间的距离504的一个示例。该距离可以被认为是对于形状模板上给定点和对于给定映射的第一位移或第二位移中的至少一个的示例。第一位移可以对应于最小二乘拟合，而第二位移在图5中示出。
确定位移(第一位移或第二位移或两者)的一种方法可以是测量从形状点502到最近的边缘点的最短距离，而不管边缘的定向如何。通过处理具有边缘的图像帧以获得距离变换，可以有效地计算该位移。对于给定映射，可以针对形状模板上的多个不同形状点502和图像帧中的多个检测到的边缘来测量位移。然而，在某些情况下，使用最短位移可能导致形状模板上的一个点与图像帧中的错误点相关联。例如，如图5所示，如果测量形状点502和边缘点之间的最短距离，则可以测量形状点502和不期望的边缘点512之间的距离，该不期望的边缘点512不对应于图像中的测试结构边缘。点502和点512之间的这个距离可能是最短的，但是很明显，包括点512的一组三个图像点对于由属于包括形状点502的形状模板的三个所示点所定义的边缘的定向不是很好的匹配。
确定对于给定形状模板点的位移的替代方法可以是确定从形状模板的形状点502到沿着与形状模板的边缘方向相切或垂直的线的最近边缘点506的距离，如图5中的形状点矢量504所示。形状点矢量502可以是由一组三个形状模板点形成的形状的边缘的法线，其可以被定义为如图6所示的形状模板的一部分。在该示例中，形状点矢量504的大小可以对应于第一位移或第二位移(或者对于给定的变换形状模板点的两个位移)。如果形状点矢量504与边缘点方向矢量508在相同的方向上，则捕获图像中的边缘点506可能是对于形状模板的形状点502的良好匹配。以这种方式测量形状模板的形状点和在捕获图像帧中检测到的相应边缘点之间的第一位移，尽管比确定任何方向上的最近点更复杂，但通过使映射的形状模板上的点更有可能与图像帧中的正确边缘点相关联，总体上可能更有效。可以针对形状模板上的多个形状点502且针对对象边缘510上的多个边缘点506测量第一位移或第二位移。在匹配过程中结合更多数量的点可以增加基于第一位移的给定映射的精度。
回到图2的流程图，在距离最小化过程元素210处，可以针对定义形状模板相对于图像帧的变换的当前映射来决定第一位移的总和或者第一位移的某个其他数学组合是否被最小化。诸如最小化算法的数学算法可应用于第一位移或第一位移的总和或某个数学组合，以确定形状模板的定位和/或定向与在捕获的图像帧中检测到的边缘的定位和/或定向有多相似。最小化算法可以是最小的最小二乘拟合算法，例如列文伯格-马夸尔特算法。如果在过程元素210处确定第一位移的均方值没有最小化，则该过程执行映射的进一步迭代，使得可以再次执行映射元素208，以改变捕获的图像帧上的形状模板的映射。每个迭代映射可以基于先前的映射，以更新映射，直到发现第一位移的均方值被最小化或者满足替代匹配条件。当通过执行更新映射的进一步迭代不能进一步减小第一位移的均方值时，可以发现第一位移的均方值被最小化。
当第一位移的均方值被最小化或以其他方式匹配时，如果映射的形状模板和图像帧中的边缘在视觉上显示在同一屏幕上，则可以预期映射的形状模板可以与图像帧中的边缘大致对齐。
在过程元素210处的距离最小化之后，过程前进到元素212，在元素212处可以执行测试以确定映射的形状模板是否与测试结构的图像足够好地对齐。尽管由于形状模板和测试结构之间的一些边缘匹配良好，基于第一匹配条件，给定映射可以被确定为良好拟合，但是该匹配可以是一致的。例如，如图7所示，尽管一些图像边缘可能与测试结构的最末端处的形状模板点匹配良好，导致满足第一匹配条件，但是由于映射实际上是颠倒的，所以整体上可能是不正确的。类似地，第一匹配中的异常可能由于例如捕获图像中的测试结构的一个或更多个边缘被另一对象遮挡或者被特定的照明条件遮掩而发生。在元素212处执行的该过程可以被认为是“一致性测试”，其中可以确定形状模板是良好拟合还是与形状模板的图像一致。可能需要形状模板具有与测试结构的图像的良好拟合，以确保能够确定最终的测试成果值。
为了实现一致性测试，可以测量在映射的形状模板上的点的至少一个子集和图像帧的识别边缘之间的第二位移。这些第二位移可以与第一位移相同，或者可选地可以不同于先前测量的第一位移。第一位移可以对应于形状模板上的点的第一集合，位移的第二集合可以对应于形状模板上的点的第二集合。点的第一集合和点的第二集合可以至少部分重叠。例如，点的第二集合可以是点的第一集合的子集，并且可以包括与形状模板的边缘相关联的点的第一集合的子集，对于该子集，紧密匹配(小位移)相对于其他点更重要。类似地，在第一位移的集合和第二位移的集合之间可能存在部分或完全重叠。可以相对于映射的形状模板上的不同或相同的点以及与第一位移不同或相同的边缘来测量第二位移。可以使用与关于图5所描述的确定第一位移的类似方法沿着边缘的法线或切线测量第二位移。在替代示例中，当确定第一位移时，用于识别与形状模板上的给定点匹配的所识别图像边缘的点的技术可以不同于为了测量第二位移而执行的技术。
根据点在形状模板上的位置，可以向形状模板的点的每个第二位移给出权值(significance value)(或权重)。例如，在图6中，区域602可以被认为是比更长的直边具有更高重要性的区域，因为在该部分处的测试结构的弯曲形状是映射处于正确定向的良好指示。如果对于给定的映射，在该区域中的捕获图像中检测到的边缘和形状模板点之间不存在良好的一致性，则形状模板更有可能被定位在错误的定向或位置上。
例如，在图7中，包括区域702a和702b的(由相对细的短划线示出的)形状模板与测试结构的图像失准180°。在该示例中，通过边缘检测算法在捕获图像中检测到的边缘由比用于形状模板的短划线更粗的短划线示出，并且这些边缘包括区域706a、706b和704a和704b。测试结构的例如在区域704a和704b中的端部边缘与形状模板的点正确一致，其中匹配点对之间具有短的距离。然而，在该位置处，区域702a中形状模板的直线部分上的点明显不符合测试结构的706a处的捕获图像中的弯曲检测边缘。类似地，在区域706b中由边缘检测算法捕获的点对应于直线边缘，而最接近那些检测到的边缘的形状模板点702b对应于曲线部分。在区域706a中，捕获图像中的边缘是弯曲的，而用于所示映射的形状模板在702a处是直的。相反，在702b处，形状模板具有弯曲边缘，而检测到的图像边缘706b仅具有对应于直线边缘的几个稀疏点。当考虑形状模板是否良好拟合时，在形状模板的这些弯曲边缘处(或在测试结构的图像上)测量的第二位移可以被给予更高的权值。图7的这个示例描述了在捕获图像的区域706a处检测到的弯曲边缘是重要的，然而本技术不以任何方式限于这个方面。
可以在测试结构的图像上的任何感兴趣区域或作为对于该特定测试结构的特征的任何区域中的各种形状模板点处向第二位移给出不同的权值。例如，这可以是在测试结构一侧上的延伸、形状模板上的入口、测试目标测量区域本身或测试结构的任何其他特征。权值可以基于存储在与形状模板相关的储存库中的信息来预先确定。
在一个示例实施例中，对于使用第二位移的给定映射，可以使用三种不同方法中的至少一种来确定变换的形状模板和图像帧中的对象之间是否存在“良好拟合”，但是本技术不限于这三种示例方法。这三种不同的方法可以被认为是第二匹配条件的三个不同示例。
第二匹配条件：方法一
第二匹配条件可以是例如使用最小化算法(诸如最小二乘算法)确定的第二位移的均方值低于阈值，而不是位移之和处于最小值这个不同条件。第二位移的均方值可以包括所有测量的位移。可选地，位移的均方值可以包括基于它们相应的权值的测量的第二位移的子集。可选地或附加地，第二位移的均方值可以包括基于测量的第二位移的至少一个子集的权重的第二位移的均方值，其中第二位移的权重基于相应的第二位移的确定的权值。
如果使用这些方法中的任何一种，第二位移的均方值低于给定阈值，则映射的形状模板可被认为具有良好的拟合，并且第二匹配条件可被认为得到满足。阈值可以是由用户可配置的。如果发现满足第二匹配条件，则图像帧检测到的边缘和变换的形状模板之间的映射可以被认为是形状模板相对于图像帧的验证映射。根据捕获图像和形状模板中的点对之间的短距离，验证映射可能具有适当的对准以及经由第一匹配条件的良好匹配。
第二匹配条件：方法二
可以关于图8来考虑确定第二匹配条件的第二种方法。形状模板806在捕获的图像帧中显示在测试结构802的检测到的外框的顶部。测试结构802的检测到的外框在这里显示为实线，然而，这可以对应于多个离散的检测边缘点，该边缘点大致对应于由测试结构802的外框提供的形状。形状模板806被示为包括均匀的多个圆形，其中多个圆形可以对应于形状模板点，然而，形状模板可以包括并非均匀间隔的点。形状模板806可以是大致对应于测试结构的形状的任何形状。虚线804a和804b在测试结构802捕获图像的外框周围形成阈值带。虚线804a和804b对应于距离测试结构802的外框上的点中的每一个的预定阈值位移处测量的点。如果对于形状模板806上的点的第二位移被测量为低于(或者等于或低于)距离测试结构外框802上的对应点的预定阈值位移，则该点可以被标记为“内点”。
在图8中，内点被表示为星形。内点可以位于测试结构802的外框周围的阈值带内的两条阈值线804a和804b之间。如果对于形状模板上的点的第二位移被测量为高于预定位移阈值，则该点可以被标记为“外点”。这些“外点”可能位于测试结构的外框周围的阈值带之外。在图8中，外点被表示为圆形。如果标记为“内点”的形状模板上的点的数量高于预定值，则映射的形状模板可被认为具有良好拟合。例如，考虑图8，其中形状模板与测试结构的外框没有很好地对齐。这里，内点少于外点，这可能导致确定了形状模板与测试结构的外框没有足够一致，并且没有良好拟合。
相比之下，图9展示了其中相对于图8所示的拟合可能存在良好拟合的示例。实际上，“良好拟合”包括图像边缘和形状模板之间的匹配，但是为了便于说明，图9显示了比图8相对更好的拟合。在图9的示例中，由星形显示的内点的数量可多于外点的数量。尽管在这些示例中已经考虑了内点和外点的相对数量，但情况并不总是如此。在某些情况下，可能会有比内点更多的外点，但是内点的数量仍然高于预定值，因此仍然是良好拟合。可选地或附加地，可以考虑点的权值。当确定内点的数量时，在确定涉及内点和外点的相对数量的匹配条件时，可以考虑内点的重要性。
尽管在图8和图9中，对于到图像帧的给定映射的形状模板上的点，基于它们是否在任何方向上位于距形状模板的边缘的最大阈值距离内而将这些点定义为内点或外点。在可选的类别中，内点或外点状态可以取决于与形状模板点相关联的方向和与最接近的检测边缘相关联的方向之间的对齐。例如，在图5的示例中，在没有对象边缘510非常接近形状点502的情况下，不期望的点512可以是其位移被定义了的点。尽管点502和点512之间的距离的大小可能很小并且低于可能将形状点502限定为内点的阈值，但是形状模板边缘的法线矢量504相对于检测到的对象边缘的法线514的未对准可能导致形状点502被分类为外点。
因此，内点或外点状态可以取决于形状模板点和最接近的边缘点之间的位移小于最大值以及以下足够接近的两个矢量的对齐中的至少一个：(i)靠近形状模板点的形状模板边缘的法线；和(ii)检测到的最接近边缘的法线。例如，当映射到图像点512时，矢量504和矢量514偏离太多，使得形状点502不能被分类为内点，因此在一些示例中，形状点502被分类为外点。
第二匹配条件：方法三
根据第三种方法，执行第二种方法中的相同的方法，其中形状模板上的许多点被标记为“内点”。然而，在这种情况下，分类器算法可以用于基于内点的分布模式来确定是否有良好拟合。分类器可以是包括至少一个决策树的“森林分类器”。决策树可以是树形式的决策图，它可以在给定一系列查询的情况下提供成果。
分类器可以是机器学习算法。分类器可以包括至少一个决策树，该决策树可以基于机器学习库。机器学习库可以用于编程语言Python，或者任何合适的计算机编程语言。分类器可以使用统计上重要的数量的图像数据集来构建，这些图像数据集对应于形状模板相对于测试结构的图像在图像帧上定位的各种不同输出可能性。使用机器学习，分类器可能能够根据先前的数据集确定“内点”的什么样的分布对应于映射的形状模板的良好拟合。决策树可以查询“内点”的分布。分类器可以隐含地对每个位移赋予重要性的不同级别。
分类器的输出可以包括对分类器的输入属于任何特定类别的概率的估计。森林分类器中的至少一个决策树的所有成果概率的平均概率可用于确定形状模板是否是良好拟合。基于成果概率，分类器可以决定映射的形状模板是良好拟合、紧密拟合还是完全不拟合。
如果以上三个第二匹配条件方法都不满足，并且没有找到映射的形状模板的良好拟合，则该方法可以返回到图2流程图的元素202，由此可以捕获另一个图像，并且可以重复直到该点的整个方法。在任何给定实施例中，只需要应用三种第二匹配条件方法中的一种，尽管在给定实施例中可以使用两种或三种方法。
在以上三个示例中的任何一个中，如果第二匹配条件实际上发现被满足，则在过程元素212处确定良好拟合，并且可以基于在图像帧中识别的一个或更多个边缘相对于形状模板的第二位移来验证给定映射满足第二匹配条件。然后，给定映射可以被认为是所捕获的测试结构和形状模板之间的验证映射，并且验证图像被识别为对应于验证映射。在元素212处良好拟合的情况下，过程可以继续到元素214，在元素214中分析目标测量区域。
在过程元素214处，分析目标测量区域。图像帧中的目标测量区域可识别为对应于测试结构上的目标测量区域。形状模板提供了用来识别测试结构上的目标测量区域的参考。可以分析图像帧的具有良好拟合形状模板的所识别的目标测量区域，以确定分析结果N258。目标测量区域分析可以执行以下至少一项：测量目标测量区域中一个或更多个像素的颜色或色调；测量目标测量区域中一个或更多个像素的光度；确定目标测量区域的图案或线条中的至少一个的存在，或者将目标测量区域与可以存储在存储器中的参考图像进行比较。
目标测量区域可以通过校正颜色或将该区域的颜色改变为灰度来分析。可以对目标测量区域内的像素进行平均，例如，可以对矩形区域中的列求和以提供线条轮廓。图15示意性地示出了测试结构的目标测量区域的示例分析。目标测量区域利用y轴上的强度标度和沿x轴的定位(距离)来示出。该示例具有对应于控制区域的第一峰值定位1510和对应于测试测量区域的第二峰值定位1520。第一峰值区域1510和第二峰值区域1520由基线区域1530分开。基线1540可以被拟合到检测到的线轮廓，并且被内插或外推到线轮廓中可能不期望有峰值的区域。可以测量峰值1510、1520的尺寸，其中峰值的尺寸可以对应于在该点处基线1540和线轮廓1510或1520之间的高度或面积中的至少一个。峰值的大小可以与已知的参考信号进行比较。结果值然后可以通过比较峰值的大小与以下之一来确定：高于或低于参考阈值，或者使用校准曲线来计算。在一些示例中，多项式基线拟合分析可用于分析测试测量区域。这可以包括计算从基线1540到对照峰值1510和测试峰值1520中的局部最小值的距离。高度值或高度之间的比率可用于提供测试的说明。例如，第二(测试)峰值1520的高度和第一(对照)峰值高度1510之间的比率可以用作测试测量。
可以通知用户已经确定了分析结果N258，并且可以通知用户分析结果N 258。可以通过任何合适的手段(例如，通过移动设备的显示单元上的反馈、来自移动设备的触觉反馈或来自移动设备的声音中的至少一个)来通知用户。还可以确定分析结果N 258的确定性或分析结果N 258中的置信水平，并且可以在移动设备111或其他图像捕获装置的显示单元上向用户提供该不确定性或置信水平。根据所指示的确定性水平，用户可以获取一个或更多个另外的图像帧，以提高所确定的分析结果N 258的置信水平。在元素216处，可以基于用户输入、预定条件中的至少一个或基于分析结果N 258的值来确定分析是否完成。如果分析没有完成，则可以捕获进一步的图像，并且可以重复整个方法。如果分析完成，可以确定测试成果值260。如果仅使用一个图像，则分析结果N258可以对应于测试成果值260，并且可以与不确定性一起报告给用户。至少两个被分析的图像帧的分析结果可以被组合以提供测试成果值。可以确定不同捕获图像的多个分析结果的平均值，以确定测试成果值260。测试成果值260可以和与测试成果值相关联的不确定性一起呈现给用户。
在图10、图11和图12中，形状模板由短的较细虚线表示，诸如图10中靠近标记1400的虚线，并且图像帧中检测到的边缘由较粗的短虚线表示，诸如部分覆盖标记1400的较细虚线的分离的两组粗虚线。在许多地方，较粗的虚线(检测到的边缘区域)和较细的虚线(形状模板外框)近似重合，但是在形状模板周界的某些部分中，在检测到的边缘区域中存在间隙。
图10示意性地示出了根据本技术执行算法的示例，并且示出了满足第一匹配条件由此第一位移的均方值被最小化的示例映射。在这种情况下，第一位移的均方值被最小化，因为形状模板点接近检测到的边缘点，但是匹配不是精确匹配，如可以看到的，例如，围绕测试对象窗口1150的区域1100中的形状模板的椭圆形部分的边缘相对于捕获图像中检测到的相应边缘1200的轻微未对准。在该示例中，测试结构1000后面的图像中出现的打印地址损害了测试结构的检测图像和形状模板的对准。捕获图像中的测试结构1000的边缘1300没有被边缘检测算法正确识别，而是打印文本中的某些内容(即，单词“Edinburgh”)已经被识别为形状模板边缘。形状模板已经被拟合到不正确识别的边缘，因此映射在区域1400中是错误的。该示例显示了第二匹配条件可如何适用于确定形状模板是否与测试结构的实际图像良好拟合。图10的示例可以被提供给上述方法的第三种方法的机器学习分类器，以演示“不好的拟合”的示例。
回到图7的示例，形状模板已经被拟合到测试结构1000，但是形状模板已经被倒置。形状模板和图像帧中检测到的边缘之间的均方值第一位移已经被最小化，但是它仍然不是良好拟合。由于在测试结构的每一端处的良好拟合边缘704a、704b，图7的示例可能满足第一匹配条件，但是可能无法满足任何第二匹配条件。尽管在图7的示例中第一位移的均方值比在图10的示例中更大，但是第二匹配条件之一可以通过防止错误映射的验证和触发映射的更新来提供形状模板与测试结构的更接近的拟合，以基于第一和第二匹配条件找到改进的拟合。类似于图10的示例，图7的示例可以被提供给方法3的机器学习分类器，以演示“不好的拟合”的示例。
图11示意性地示出了由于恶劣的照明条件使得难以将测试结构的边界与区域1102中的背景进行区分，测试结构1000的捕获图像的并非所有边缘都被边缘检测算法识别到的示例。特别是在区域1102中，从对应于检测到的边缘的较粗虚线的缺乏(与对应于形状模板定位的更连续的较细虚线相反)可以清楚地看出，该边缘没有被很好地检测到。在本示例中，由于缺少边缘，基于检测点的比例的单一测试可能会失败，即使形状模板(更连续的较细的虚线)与测试结构良好拟合。通过使用第一匹配条件，可以确定在应用第二匹配条件之前，第一位移的均方值被最小化。该图像可被提供给机器学习分类器，作为“良好拟合”的示例，以覆盖区域1102中不可区分的测试结构边缘的影响。
图12示意性地示出了当电缆1204已经被放置在测试结构1000上、覆盖测试结构1000的一部分时，定义形状模板相对于捕获图像帧的变换的映射的示例。电缆1204的定位使得它遮蔽了区域1204a和1204b中的边缘的短段。尽管存在这种障碍，基于已经检测到并如所示的被映射到形状模板的变换的边缘，已经发现，形状模板1000基于形状模板上的点的分布和它们形成的图案测试的第二匹配条件与测试结构1000具有良好拟合。该图像可以作为显示“良好拟合”的图像提供给机器学习分类器。
因此，根据本技术，第一匹配条件和第二匹配条件的组合提供了在识别捕获图像中的测试结构和形状模板之间的适当模仿(aping)、可变照明条件和捕获图像中的测试结构的某些障碍物方面的鲁棒性。
图13示意性地示出从测试结构来确定测试成果值所执行的迭代方法。图13的流程图不如图2的流程图详细，但描述了类似过程。
在图13的元素1302处，可以从装置(例如，移动设备或替代的图像捕获装置)的存储器中的形状模板储存库中访问用于测试结构的形状模板，以确定测试成果。可选地，形状模板可以从移动设备可远程访问的外部存储器中访问。形状模板对应于关于图2描述的测试结构。
在图13的元素1304处，移动设备可以使用移动设备的相机来获取图像帧。可选地，可以通过访问存储在移动设备的存储器中的图像帧或者存储在与移动设备分离的可被远程访问的存储器中的图像帧来获取图像。可以响应于用户请求测试成果值的指示例如经由执行根据本技术的测试成果确定算法来获取图像帧。
接下来，在图13的元素1306处，可以确定至少一个映射。该映射可以定义形状模板到获取的图像帧的变换(参见图4)。该映射可以基于图像帧中形状模板的初始定位。该映射可以包括将形状模板上的2D点的子集变换成与图像帧相同的坐标系。该映射可以具有与图2的映射元素208相关联的任何相同的属性。确定至少一个映射可以取决于先前确定的映射或至少一个先前获取的图像帧中的至少一个。确定至少一个映射可以取决于基于至少一个先前获取的图像帧和当前图像帧的光流跟踪器的结果。至少一个映射可以被调整到测试结构在其物理定位中的不同定位或不同定向中的至少一个，或者在图像捕获时调整图像捕获设备相对于测试结构的定位和/或定向以校正旋转、偏斜、缩放或失真中的至少一个。
在图13的元素1308处，确定图像帧上的形状模板的给定映射是否满足第一匹配条件。第一匹配条件可以基于在图像帧中识别的一个或更多个边缘相对于形状模板的点、方向和边缘的第一位移。该第一匹配条件可以是关于图2和元素210描述的最小化算法。图像帧中的边缘可以使用如前一节所述的“Canny边缘检测”或任何其他边缘检测算法来识别。第一位移可以被测量为从映射的形状模板上的点的集合中的每个点到图像帧中最接近的检测到的边缘的最短距离。可选地，第一位移可以是从映射的形状模板上的点的集合中的每个点沿着如图5所示的垂直于检测到的边缘的方向的最接近的检测到的边缘的所测量的位移。测量的第一位移可以用在最小化算法中，该最小化算法可以是最小最小二乘拟合算法，例如莱文伯格-马夸尔特算法。第一匹配条件可以包括第一位移的最小二乘拟合。如果确定不满足该最小化算法，即不满足第一匹配条件，则该方法可以返回到元素1306以确定新映射。这个新映射可以基于已经找到满意匹配的一个或更多个先前映射。如果确定满足该最小化算法，即满足第一匹配条件，则该方法继续到元素1310。
在图13的元素1310处，确定给定映射满足第二匹配条件，并且该映射可以被建立为形状模板和测试结构的捕获图像之间的验证映射。这也验证了捕获图像是用于准确识别目标测量区域以确定测试成果的目的的图像，即“验证图像”。第二匹配条件可以基于在图像帧中识别的一个或更多个边缘相对于形状模板的第二位移。如前所述，可以通过测量形状模板上的点的至少一个子集和图像帧中沿着所识别边缘的法线的所识别边缘之间的距离来测量第二位移。可选地或附加地，第二位移可以沿着形状模板的边缘的法线来测量。第二匹配条件可以被认为是以上描述的三种不同示例方法中的至少一种，以确定在关于图2的元素212的前述章节中讨论的良好拟合。这可以允许满足第二匹配条件的图像被验证为具有形状模板到测试结构的图像的映射的良好拟合的图像。
第二匹配条件可以将不同的权值赋予第二位移中的不同的位移。第二匹配条件可以包括根据权值确定第二位移的至少一个子集的内点或外点状态。权值可以通过机器学习算法来确定。通过确定具有内点状态的第二位移的数量可以高于(或至少等于)内点阈值，可以满足第二匹配条件。可选地或附加地，第二匹配条件可以包括第二位移的平方和。如果形状模板的点的数量的计数可以具有符合预定位移阈值的第二位移，则可以认为满足第二匹配条件。
在图13的元素1312处，可以识别测试结构的验证图像中的目标测量区域。目标测量区域可以对应于测试结构上的目标测量区域。形状模板可以提供识别测试结构上的目标测量区域的参考，这可以帮助识别图像上的测量区域。
在图13的元素1314处，可以分析所识别的目标测量区域以确定分析结果。目标测量分析可以包括在前一章节中关于图2的元素214所描述的任何方法。可以通过执行以下至少一项来分析目标测量区域：测量目标测量区域中一个或更多个像素的颜色；测量目标测量区域中一个或更多个像素的光度；确定目标测量区域中任何图案或线条的存在；以及将目标测量区域与一个或更多个预定参考图像或轮廓进行比较。
在图13的元素1316处，基于分析结果的值，可以确定分析是否完成。分析是否完成也可以基于分析结果中计算的不确定性来确定。如果确定分析未完成，则该方法返回到元素1304，并且获取新的图像帧。该方法然后可以继续，直到确定分析完成。新图像的获取和新映射的确定可以基于先前的分析结果。如果发现分析完成，则可以确定测试成果值。如果只执行了一轮方法1300，则该测试成果值可以对应于分析结果。如果执行了多轮方法，可能会有多个分析结果。测试成果值可以基于多个分析结果。可以向用户通知分析结果或测试成果值。可以使用移动设备的显示屏或如前一章节所述的任何其他合适的机制来通知用户。
图14示意性地示出了执行从测试结构确定测试成果值的方法的移动设备的框图。移动设备可以是例如移动电话、膝上型电脑、平板电脑、智能电话或任何其他合适的便携式电子设备。移动设备300可以包括存储器1412、相机141614、显示单元1418和处理电路1402。电路单元1404、1406、1408和1410可以各自在不同的处理器上实现，或者可以组合两组或更多组电路。处理电路1402可以包括一个或更多个处理器。存储器1412可以是任何形式的计算机可读存储介质。存储器1412可以包括形状模板储存库312。形状模板储存库1414可以存储对应于多个测试结构的多个形状模板。形状模板可以与测试结构相关联地存储，以使得能够容易地访问特定的形状模板。形状模板可以提供用来识别目标测量区域在测试结构上的定位的参考。相机1416可以是可以自动或响应于用户输入来获取图像帧的任何图像捕获设备。相机可以响应于请求测试读数的指示来获取图像帧。在图像帧被识别之后，相机可以按时间序列获取至少一个另外的图像帧。可选地，移动设备可以不包括相机1416，并且可以获取先前已经捕获的图像帧，该图像帧可以存储在存储器1412或外部存储器中。
显示单元1418可以是显示屏、LCD屏、触摸屏或移动设备1400上的任何显示屏。显示单元1416可以在屏幕上显示表示形状模板的导向器，以帮助用户定位移动设备1400来获取图像帧。导向器可以与形状模板或测试结构具有相同的形状。该导向器可以被显示以覆盖显示单元1416上的图像帧。显示单元1416可以显示通知，以通知用户已经找到良好拟合，并且给定映射满足第二匹配条件。显示单元1416可以显示可以通知用户测试成果值。显示单元1416上的通知可以是消息、图像、闪烁区域、屏幕的一部分的颜色变化或者对显示器的任何其他类似变化，以吸引用户的注意力。通过移动设备1400提供视觉、听觉或触觉反馈中的至少一个，可以通知用户图像是测试结构的验证图像。移动设备1400可以通过从移动设备1400的扬声器发出声音或音乐来提供音频反馈。移动设备可以通过发出振动来提供触觉反馈。
处理电路1402还可以包括初始映射电路1404、第一匹配条件电路1406、第二匹配条件电路1408和测试成果计算电路1410。
初始映射电路1404可以确定至少一个映射，每个映射定义形状模板相对于图像帧的变换。初始映射电路可以从形状模板储存库1414或从可以远程访问的外部存储器访问形状模板。可以使用任何前述机制来确定映射。初始映射电路1404可以基于先前获取的图像帧来确定至少一个映射。
第一匹配条件电路1406可以基于第一匹配条件来确定给定映射。第一匹配条件可以基于在图像帧中识别的一个或更多个边缘的第一位移。第一位移可如前一章节所述进行测量。第一匹配条件可以包括使用所确定的第一位移的最小二乘拟合算法。
第二匹配条件电路1406可以基于在图像帧中识别的一个或更多个边缘相对于形状模板的第二位移来验证给定映射满足不同的第二匹配条件，以建立测试结构的验证图像。
测试成果计算电路1408可以在(对应于验证映射的)测试结构的验证图像中识别对应于测试结构上的目标测量区域的目标测量区域，并且可以分析符合图像帧的目标测量区域以确定测试成果值。
测试成果计算电路1408可以执行以下至少一项：测量目标测量区域中的多个像素中的至少一个的颜色；测量目标测量区域中的多个像素中的至少一个的光度；基于目标测量区域中的多个像素中的至少一个的所测量的颜色或光度中的至少一个来确定目标测量区域中图案或线条中的至少一个的存在；以及将目标测量区域与存储在存储器1412中的一个或更多个预定参考图像或轮廓进行比较。
处理电路1402还可以包括边缘检测电路。边缘检测电路可以确定图像帧中的多个边缘。可以使用如前一章节所述的边缘检测算法来确定多个边缘。
根据本技术的方法是自顶向下的方法，而不是自底向上的方法，用于识别形状模板和在捕获的图像帧中的测试结构的图像的测量区域，以进行分析来确定测试成果。自顶向下方法在计算上更有效，并且在确定获取的图像帧的目标测量区域时更可靠。
根据本文描述的实施例的自顶向下方法使用对应于给定测试结构的形状模板，并确定图像帧中是否有证据支持该形状的存在。
形状模板的使用对于在多个连续图像中识别对象特别有效，其中从一个图像到下一个图像，对象基本上不移动。形状模板的实现基于测试结构识别的技术。例如，当图像对象由于照明条件和图像对象的部分的遮挡而并非所有边缘在图像中都可见时，形状模板可能难以映射到图像。此外，图像可能包含不是图像对象的部分的边缘。然而，使用由实施例实现的第一和第二匹配条件来识别形状模板和图像之间的映射减轻了可能与该过程相关联的困难。
根据本技术的测试结构的示例相对于自底向上方法的主要区别包括：
尽管已知的边缘检测没有形状的显式模型，但是模板匹配具有形状模板形式的待分析对象的显式模型。
已知的边缘检测是自底向上的，因为它从图像开始，然后形成越来越抽象的数据(边缘然后线条)。然后寻找抽象数据内的结构。
作为对比，根据本技术的模板匹配是自顶向下的。它从一个模型(形状模板)开始，然后在图像数据中寻找模型的证据。
已知的边缘检测迭代特征的组合(即，每次迭代考虑不同的特征组合)。作为对比，模板匹配迭代形状模板的参数空间，使得每次迭代考虑形状模板相对于图像帧的不同定位和定向，即不同的映射。根据第一匹配条件和不同的第二匹配条件来评估和验证映射。
根据本技术的方法可以允许使用相机自动读取测试结构。横向流动可用于跟踪图像序列中的测试结构。这可能在准确性、结果的一致性以及允许自动记录结果方面比人类读者具有优势。在本技术中，除了移动设备之外，可能不需要任何其他装置，这可以降低自动分析测试结果的成本，并且使得系统比可能需要额外装置的已知方法更便于使用。本技术可导致不需要装置来相对于相机固定测试结构或控制照明，如先前已知系统的情况。本技术可以允许通过使用多个图像帧来实时跟踪测试结构，并且确定测试成果值的分析可以基于包括自动跟踪的图像帧。
在功能单元被描述为电路的情况下，该电路可以是由程序代码配置以执行指定的处理功能的通用处理器电路。还可以通过修改处理硬件来配置电路。执行特定功能的电路配置可以完全在硬件中、完全在软件中或者使用硬件修改和软件执行的组合。程序指令可用于配置通用或专用处理器电路的逻辑门以执行处理功能。
例如，电路可以实现为包含定制的超大规模集成VLSI电路或门阵列、诸如逻辑芯片、晶体管的现成的半导体或其他分立部件的硬件电路。电路也可以在可编程硬件设备(诸如现场可编程门阵列FPGA、可编程阵列逻辑、可编程逻辑设备、片上系统SoC等)中实现。
机器可读程序指令可以被提供在诸如传输介质的暂时介质上，或者被提供在诸如存储介质的非暂时介质上。这种机器可读指令(计算机程序代码)可以用高级过程或面向对象的编程语言来实现。然而，如果需要，(多个)程序可以用汇编语言或机器语言来实现。在任何情况下，语言可以是编译语言或解释语言，且与硬件实现方式相结合。程序指令可以以分布式方式在单个处理器上或两个或更多个处理器上执行。
为了描述的目的，形式为“A/B”或形式为“A和/或B”的短语是指(A)、(B)或(A和B)。为了描述的目的，形式为“A、B和C中的至少一种”的短语是指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A和B和C)。
示例
以下示例涉及另外的实施例。
1.存储在机器可读介质上的机器可读指令，所述机器可读指令在执行时使处理电路：
访问用于测试结构的形状模板；
响应于用户请求测试结果读数的指示，获取图像帧；
确定映射，所述映射定义所述形状模板相对于图像帧的变换；
基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第一位移，确定所述映射是否满足第一匹配条件；
当所述映射确实满足所述第一匹配条件时，基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第二位移，验证所述映射也满足不同的第二匹配条件，以在满足所述第二匹配条件时建立所述测试结构的验证图像；
在所述测试结构的验证图像中识别目标测量区域；和
通过所述目标测量区域的分析来确定测试成果值。
2.如示例1或本文所述的任何其他示例的机器可读指令，其中，所述映射包括单应性矩阵，以将所述形状模板在形状模板坐标系中的点变换为在所述图像帧中表示所述测试结构的对应点的估计定位的图像像素坐标。
3.如示例1或示例2或本文所述的任何其他示例的机器可读指令，其中，确定所述映射包括在基于所述第二匹配条件进行图像验证之前，当所述映射不满足所述第一匹配条件时，迭代地更新对于所述图像帧的所述映射，直到满足所述第一匹配条件。
4.如示例1至3中任一项或本文所述的任何其他示例的机器可读指令，其中，确定所述映射取决于针对相同测试结构的至少一个先前确定的映射。
5.如示例1至4中任一项或本文所述的任何其他示例的机器可读指令，其中，确定所述映射取决于对于包括所述测试结构的至少一个先前获取的图像帧的验证映射。
6.如示例1至5中任一项或本文所述的任何其他示例的机器可读指令，其中，确定所述映射包括基于至少一个先前获取的图像使用光流跟踪器来确定对于所述图像帧的映射。
7.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，包括当不满足所述第二匹配条件时迭代地触发新的图像帧的捕获以替换所述图像帧，并且对于每个新的图像帧重复映射确定、所述第一映射条件的满足的确定和所述第二匹配条件的满足的验证中的每一个，直到识别出验证图像。
8.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，所述机器可读指令在由处理电路执行时用于：
在执行所述映射的确定之前，使用边缘检测算法来识别所述图像帧中的一个或更多个边缘。
9.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，其中，所述形状模板包括二维点的集合，所述二维点表示所述测试结构和所述目标测量区域的边缘的至少部分外框。
10.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，其中，所述第一匹配条件包括识别对应于所述形状模板和所述图像帧中识别的一个或更多个边缘之间的拟合的所述第一位移的平方和的最小值。
11.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，其中，所述第二匹配条件包括将所述第二位移的平方和与阈值进行比较。
12.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，其中，当确定所述第二匹配条件时，所述第二匹配条件将不同的权值赋予所述第二位移中的不同位移。
13.如示例12或本文所述的任何其他示例的机器可读指令，其中，使用机器学习算法的结果来分配所述权值。
14.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，其中，所述第二匹配条件包括确定所述第二位移的至少一个子集的内点状态，其中内点状态的分配取决于所述第二位移的大小。
15.如示例14或本文所述的任何其他示例的机器可读指令，其中，满足所述第二匹配条件包括对具有内点状态的第二位移的数量进行计数。
16.如示例15或本文所述的任何其他示例的机器可读指令，其中，满足所述第二匹配条件包括确定具有所述内点状态的第二位移的数量的计数大于阈值。
17.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，其中，所述第二匹配条件由分类器算法的输出来确定。
18.如示例17或本文所述的任何其他示例的机器可读指令，其中，所述第二位移的至少一个子集被用作所述分类器算法的输入。
19.如示例18或本文所述的任何其他示例的机器可读指令，其中，所述第二位移的子集的至少一个函数被用作所述分类器算法的输入。
20.如示例17或示例18或本文所述的任何其他示例的机器可读指令，其中，所述分类器利用根据多个训练图像确定的所述第二位移的至少一个子集来训练，其中所述训练图像具有标记为内点的多个点。
21.如示例17或本文所述的任何其他示例的机器可读指令，其中，满足所述第二匹配条件包括对具有内点状态的所述第二位移的数量进行计数，所述内点状态取决于所述第二位移的大小，并且其中具有所述内点状态的所述第二位移的至少一个子集被用作所述分类器的输入。
22.如示例17或本文所述的任何其他示例的机器可读指令，其中，所述分类器算法使用包括根据多个标记的训练图像确定的内点状态的至少一个子集的信息来训练，所述内点状态取决于所述第二位移的大小。
23.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，其中，通过基于所述形状模板的边缘的法线或所述图像帧中的边缘的法线中的至少一个来匹配所述形状模板上的点和所述图像帧中识别的边缘的对应点，并测量匹配点之间的距离作为第二位移值，来测量第二位移。
24.如前述示例中任一项或本文所述的任何其他示例的机器可读指令，还包括使处理电路统计地组合对于至少两个获取的图像帧的两个或更多个测试成果值以提供合并的测试结果的指令。
25.如示例1至24中任一项或本文所述的任何其他示例的机器可读指令，其中，所述目标测量区域的分析包括由处理电路执行以执行以下至少一项的机器可读指令：
测量所述目标测量区域中一个或更多个像素的颜色；
测量所述目标测量区域中一个或更多个像素的光度；
确定所述目标测量区域中任何图案或线条的存在；和
将所述目标测量区域与一个或更多个预定参考图像或轮廓进行比较。
26.一种移动设备，包括：
存储器，其用于存储对应于测试结构的形状模板，所述形状模板提供用来识别所述测试结构上的目标测量区域的定位的参考；
相机，其用于响应于请求测试成果值的指示来获取图像帧；
映射电路，其用于确定映射，所述映射定义所述形状模板相对于所述图像帧的变换；
第一匹配条件电路，其基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第一位移，确定所述映射是否满足第一匹配条件；
第二匹配条件电路，其当所述映射确实满足所述第一映射条件时，基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第二位移，验证所述映射也满足不同的第二匹配条件，以在满足所述第二匹配条件时建立测试结构的验证图像；以及
测试成果计算电路，其用于在所述测试结构的所述验证图像中识别与所述测试结构上的所述目标测量区域相对应的目标测量区域，并分析所述验证图像帧的所述目标测量区域以确定测试成果值。
27.如示例26或本文所述的任何其他示例的移动设备，其中，所述映射电路被布置为在基于所述第二匹配条件进行图像验证之前，当所述映射不满足所述第一匹配条件时，迭代地更新对于所述图像帧的映射，直到满足所述第一匹配条件。
28.如示例26或示例27或本文所述的任何其他示例的移动设备，其中，所述映射电路根据针对相同测试结构的至少一个先前确定的映射来确定所述映射。
29.如示例26至28中任一项或本文所述的任何其他示例的移动设备，其中，所述映射确定电路基于至少一个先前获取的图像使用光流跟踪器来预测对于所述图像帧的映射。
30.如示例26至29中任一项或本文所述的任何其他示例的移动设备，包括处理电路，所述处理电路用于当所述第二匹配条件不被满足时迭代地触发新的图像帧的捕获以替换所述图像帧，并且对于每个新的图像帧重复映射确定、所述第一映射条件的满足的确定和所述第二匹配条件的满足的验证中的每一个，直到识别出验证图像。
31.如示例26至30中任一项或本文所述的任何其他示例的移动设备，其中，所述第二匹配条件电路验证给定的映射满足不同的第二匹配条件，其中所述第二匹配条件包括确定所述第二位移的至少一个子集的内点状态，所述内点状态对应于在所述形状模板的最大位移大小内。
32.如示例31或本文所述的任何其他示例的移动设备，其中，所述第二匹配条件电路包括机器学习算法，所述机器学习算法用于确定所述第二位移的至少一个子集的内点状态，以确定是否满足所述第二匹配条件。
33.如示例26至32中任一项或本文所述的任何其他示例的移动设备，其中，所述映射电路基于至少一个先前获取的图像帧来确定所述图像帧的映射。
34.如示例26至33中任一项或本文所述的任何其他示例的移动设备，其中，所述测试成果计算电路用于进行以下项中的至少一项：
测量所述目标测量区域中多个像素中的至少一个像素的颜色；
测量所述目标测量区域中多个像素中的至少一个像素的光度；
基于在所述目标测量中测量的多个像素中的至少一个像素的颜色或光度中的至少一个，确定所述目标测量区域中的图案或线条中的至少一个的存在；或者
将所述目标测量区域与存储在所述存储器中的一个或更多个预定参考图像或轮廓进行比较。
35.如示例26至34中任一项或本文所述的任何其他示例的移动设备，还包括：
显示单元，其用于在显示器上显示表示所述形状模板的视觉导向器，以帮助用户定位相机设备来获取图像帧，并通知用户测试值成果。
36.一种通过分析捕获的图像来确定测试成果值的方法，所述方法包括：
访问对于测试结构的形状模板；
响应于请求测试结果读数的指示，获取图像帧；
确定映射，所述映射定义所述形状模板相对于图像帧的变换；
基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第一位移，确定所述映射是否满足第一匹配条件；
在所述映射确实满足所述第一匹配条件时，基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第二位移，验证所述映射是否满足不同的第二匹配条件，以在满足所述第二匹配条件时建立测试结构的验证图像；
在所述测试结构的验证图像中识别目标测量区域；和
通过所述目标测量区域的分析来确定测试成果值。
37.如示例36或本文所述的任何其他示例的方法，其中，所述第一位移对应于形状模板点的第一集合，并且所述第二位移对应于形状模板点的第二集合。
38.如示例37或本文所述的任何其他示例的方法，其中，所述形状模板点的第一集合和所述形状模板点的第二集合是点的同一集合。
39.示例1至25中任一项所述的机器可读指令或示例26至35中任一项所述的移动设备或示例36至38中任一项所述的方法，其中，所述目标测量区域的分析导致检测化学试剂或生物试剂的存在或不存在。

Claims (39)

1.一种存储在机器可读介质上的机器可读指令，所述机器可读指令在执行时使处理电路：
访问用于测试结构的形状模板；
响应于用户请求测试结果读数的指示，获取图像帧；
确定映射，所述映射定义所述形状模板相对于所述图像帧的变换；
基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第一位移，确定所述映射是否满足第一匹配条件；
当所述映射确实满足所述第一匹配条件时，基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第二位移，验证所述映射也满足不同的第二匹配条件，以在满足所述第二匹配条件时建立所述测试结构的验证图像；
在所述测试结构的验证图像中识别目标测量区域；和
通过所述目标测量区域的分析来确定测试成果值。
2.如权利要求1所述的机器可读指令，其中，所述映射包括单应性矩阵，以将所述形状模板在形状模板坐标系中的点变换为在所述图像帧中表示所述测试结构的对应点的估计定位的图像像素坐标。
3.如权利要求1或权利要求2所述的机器可读指令，其中，确定所述映射包括在基于所述第二匹配条件进行所述图像验证之前，当所述映射不满足所述第一匹配条件时，迭代地更新对于所述图像帧的所述映射，直到满足所述第一匹配条件。
4.如权利要求1至3中任一项所述的机器可读指令，其中，确定所述映射取决于针对相同测试结构的至少一个先前确定的映射。
5.如权利要求1至4中任一项所述的机器可读指令，其中，确定所述映射取决于对于包括所述测试结构的至少一个先前获取的图像帧的验证映射。
6.如权利要求1至5中任一项所述的机器可读指令，其中，确定所述映射包括基于至少一个先前获取的图像使用光流跟踪器来确定对于所述图像帧的映射。
7.如前述权利要求中任一项所述的机器可读指令，包括当不满足所述第二匹配条件时迭代地触发新的图像帧的捕获以替换所述图像帧，并且对于每个新的图像帧重复映射确定、所述第一映射条件的满足的确定和所述第二匹配条件的满足的验证中的每一个，直到识别出验证图像。
8.如前述权利要求中任一项所述的机器可读指令，所述机器可读指令在由处理电路执行时用于：
在执行所述映射的确定之前，使用边缘检测算法来识别所述图像帧中的一个或更多个边缘。
9.如前述权利要求中任一项所述的机器可读指令，其中，所述形状模板包括二维点的集合，所述二维点表示所述测试结构和所述目标测量区域的边缘的至少部分外框。
10.如前述权利要求中任一项所述的机器可读指令，其中，所述第一匹配条件包括识别对应于所述形状模板和所述图像帧中识别的一个或更多个边缘之间的拟合的所述第一位移的平方和的最小值。
11.如前述权利要求中任一项所述的机器可读指令，其中，所述第二匹配条件包括将所述第二位移的平方和与阈值进行比较。
12.如前述权利要求中任一项所述的机器可读指令，其中，当确定所述第二匹配条件时，所述第二匹配条件将不同的权值赋予所述第二位移中的不同位移。
13.如权利要求12所述的机器可读指令，其中，使用机器学习算法的结果来分配所述权值。
14.如前述权利要求中任一项所述的机器可读指令，其中，所述第二匹配条件包括确定所述第二位移的至少一个子集的内点状态，其中内点状态的分配取决于所述第二位移的大小。
15.如权利要求14所述的机器可读指令，其中，满足所述第二匹配条件包括对具有所述内点状态的第二位移的数量进行计数。
16.如权利要求15所述的机器可读指令，其中，满足所述第二匹配条件包括确定具有所述内点状态的第二位移的数量的计数大于阈值。
17.如前述权利要求中任一项所述的机器可读指令，其中，所述第二匹配条件由分类器算法的输出来确定。
18.如权利要求17所述的机器可读指令，其中，所述第二位移的至少一个子集被用作所述分类器算法的输入。
19.如权利要求18所述的机器可读指令，其中，所述第二位移的子集的至少一个函数被用作所述分类器算法的输入。
20.如权利要求17或权利要求18所述的机器可读指令，其中，所述分类器利用根据多个训练图像确定的所述第二位移的至少一个子集来训练，其中所述训练图像具有标记为内点的多个点。
21.如权利要求17所述的机器可读指令，其中，满足所述第二匹配条件包括对具有内点状态的所述第二位移的数量进行计数，所述内点状态取决于所述第二位移的大小，并且其中具有所述内点状态的所述第二位移的至少一个子集被用作所述分类器的输入。
22.如权利要求17所述的机器可读指令，其中，所述分类器算法使用包括根据多个标记的训练图像确定的内点状态的至少一个子集的信息来训练，所述内点状态取决于所述第二位移的大小。
23.如前述权利要求中任一项所述的机器可读指令，其中，通过基于所述形状模板的边缘的法线或所述图像帧中的边缘的法线中的至少一个来匹配所述形状模板上的点和所述图像帧中识别的边缘的对应点，并测量匹配点之间的距离作为第二位移值，来测量第二位移。
24.如前述权利要求中任一项所述的机器可读指令，还包括使处理电路统计地组合对于至少两个获取的图像帧的两个或更多个测试成果值以提供合并的测试结果的指令。
25.如权利要求1至24中任一项所述的机器可读指令，其中，所述目标测量区域的分析包括由处理电路执行以执行以下至少一项的机器可读指令：
测量所述目标测量区域中一个或更多个像素的颜色；
测量所述目标测量区域中一个或更多个像素的光度；
确定所述目标测量区域中任何图案或线条的存在；和
将所述目标测量区域与一个或更多个预定参考图像或轮廓进行比较。
26.一种移动设备，包括：
存储器，其用于存储对应于测试结构的形状模板，所述形状模板提供用来识别所述测试结构上的目标测量区域的定位的参考；
相机，其用于响应于请求测试成果值的指示来获取图像帧；
映射电路，其用于确定映射，所述映射定义所述形状模板相对于所述图像帧的变换；
第一匹配条件电路，其基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第一位移，确定所述映射是否满足第一匹配条件；
第二匹配条件电路，其当所述映射确实满足所述第一映射条件时，基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第二位移，验证所述映射也满足不同的第二匹配条件，以在满足所述第二匹配条件时建立测试结构的验证图像；以及
测试成果计算电路，其用于在所述测试结构的所述验证图像中识别与所述测试结构上的所述目标测量区域相对应的目标测量区域，并分析验证图像帧的所述目标测量区域以确定测试成果值。
27.如权利要求26所述的移动设备，其中，所述映射电路被布置为在基于所述第二匹配条件进行图像验证之前，当所述映射不满足所述第一匹配条件时，迭代地更新对于所述图像帧的映射，直到满足所述第一匹配条件。
28.如权利要求26或权利要求27所述的移动设备，其中，所述映射电路根据针对相同测试结构的至少一个先前确定的映射来确定所述映射。
29.如权利要求26至28中任一项所述的移动设备，其中，所述映射确定电路基于至少一个先前获取的图像使用光流跟踪器来预测对于所述图像帧的映射。
30.如权利要求26至29中任一项所述的移动设备，包括处理电路，所述处理电路用于当所述第二匹配条件不被满足时迭代地触发新的图像帧的捕获以替换所述图像帧，并且对于每个新的图像帧重复映射确定、所述第一映射条件的满足的确定和所述第二匹配条件的满足的验证中的每一个，直到识别出验证图像。
31.如权利要求26至30中任一项所述的移动设备，其中，所述第二匹配条件电路用于验证给定的映射满足不同的第二匹配条件，其中所述第二匹配条件包括确定所述第二位移的至少一个子集的内点状态，所述内点状态对应于在所述形状模板的最大位移大小内。
32.如权利要求31所述的移动设备，其中，所述第二匹配条件电路包括机器学习算法，所述机器学习算法用于确定所述第二位移的至少一个子集的内点状态，以确定是否满足所述第二匹配条件。
33.如权利要求26至32中任一项所述的移动设备，其中，所述映射电路基于至少一个先前获取的图像帧来确定所述图像帧的映射。
34.如权利要求26至33中任一项所述的移动设备，其中，所述测试成果计算电路用于进行以下项中的至少一项：
测量所述目标测量区域中多个像素中的至少一个像素的颜色；
测量所述目标测量区域中多个像素中的至少一个像素的光度；
基于在所述目标测量中测量的多个像素中的至少一个像素的颜色或光度中的至少一个，确定所述目标测量区域中的图案或线条中的至少一个的存在；或者
将所述目标测量区域与存储在所述存储器中的一个或更多个预定参考图像或轮廓进行比较。
35.如权利要求26到34中的任一项所述的移动设备，还包括：
显示单元，其用于在显示器上显示表示所述形状模板的视觉导向器，以帮助用户定位相机设备来获取图像帧，并通知用户测试值成果。
36.一种通过分析捕获的图像来确定测试成果值的方法，所述方法包括：
访问对于测试结构的形状模板；
响应于请求测试结果读数的指示，获取图像帧；
确定映射，所述映射定义所述形状模板相对于所述图像帧的变换；
基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第一位移，确定所述映射是否满足第一匹配条件；
在所述映射确实满足所述第一匹配条件时，基于在所述图像帧中识别的一个或更多个边缘相对于所述形状模板的第二位移，验证所述映射是否满足不同的第二匹配条件，以在满足所述第二匹配条件时建立测试结构的验证图像；
在所述测试结构的验证图像中识别目标测量区域；和
通过所述目标测量区域的分析来确定测试成果值。
37.如权利要求36所述的方法，其中，所述第一位移对应于形状模板点的第一集合，并且所述第二位移对应于形状模板点的第二集合。
38.如权利要求37所述的方法，其中，所述形状模板点的第一集合和所述形状模板点的第二集合是点的同一集合。
39.权利要求1至25中任一项所述的机器可读指令或权利要求26至35中任一项所述的移动设备或权利要求36至38中任一项所述的方法，其中，所述目标测量区域的分析导致检测化学试剂或生物试剂的存在或不存在。
CN201880087581.3A 2017-12-22 2018-12-19 分析捕获的图像以确定测试成果 Pending CN111656358A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1721811.6 2017-12-22
GB1721811.6A GB2569803B (en) 2017-12-22 2017-12-22 Analysis of a captured image to determine a test outcome
PCT/GB2018/053700 WO2019122883A1 (en) 2017-12-22 2018-12-19 Analysis of a captured image to determine a test outcome

Publications (1)

Publication Number Publication Date
CN111656358A true CN111656358A (zh) 2020-09-11

Family

ID=61131606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087581.3A Pending CN111656358A (zh) 2017-12-22 2018-12-19 分析捕获的图像以确定测试成果

Country Status (8)

Country Link
US (1) US11321578B2 (zh)
EP (1) EP3729335A1 (zh)
JP (1) JP7390730B2 (zh)
KR (1) KR20200100806A (zh)
CN (1) CN111656358A (zh)
GB (1) GB2569803B (zh)
IL (1) IL275535B2 (zh)
WO (1) WO2019122883A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288472B2 (en) * 2011-08-30 2022-03-29 Digimarc Corporation Cart-based shopping arrangements employing probabilistic item identification
GB2591614B (en) * 2018-06-22 2023-05-10 Oova Inc Methods, devices, and systems for detecting analyte levels
CN114585909A (zh) * 2019-08-08 2022-06-03 特斯达卡有限公司 体液测试方法
US11004212B1 (en) 2020-01-02 2021-05-11 Hong Kong Applied Science and Technology Research Institute Company Limited Object tracking method and system using iterative template matching
US20220020481A1 (en) 2020-07-20 2022-01-20 Abbott Laboratories Digital pass verification systems and methods
EP4214669A1 (en) 2020-09-17 2023-07-26 Scanwell Health, Inc. Diagnostic test kits and methods of analyzing the same
KR102570961B1 (ko) * 2020-10-21 2023-08-25 엄혜용 온라인 게임 내에서 문자를 인식하는 텍스트 마이닝 장치
USD970033S1 (en) 2020-10-23 2022-11-15 Becton, Dickinson And Company Cartridge imaging background device
CA3198824A1 (en) 2020-10-23 2022-04-28 Becton, Dickinson And Company Systems and methods for imaging and image-based analysis of test devices
WO2023028353A1 (en) * 2021-08-27 2023-03-02 Bilibaby, Inc. Systems and methods for determining and communicating levels of bilirubin and other subcutaneous substances
EP4395631A1 (en) 2021-09-02 2024-07-10 Atomo Diagnostics Limited Automated verification and guidance for test procedures
CN115355822B (zh) * 2022-10-19 2023-01-17 成都新西旺自动化科技有限公司 一种异形对位计算方法及系统
US20240212140A1 (en) * 2022-12-23 2024-06-27 Emed Labs, Llc Systems, methods, and devices for an integrated telehealth platform
CN116051681B (zh) * 2023-03-02 2023-06-09 深圳市光速时代科技有限公司 一种基于智能手表生成图像数据的处理方法及系统
CN116051556B (zh) * 2023-03-31 2023-07-25 至美时代生物智能科技(北京)有限公司 基于相对坐标的微流控芯片反应孔图像识别方法及系统
CN117826129B (zh) * 2024-03-04 2024-07-05 南京航空航天大学 一种单目相机和激光雷达在轨外参标定方法
CN118061205B (zh) * 2024-04-25 2024-06-25 福勤智能科技（昆山）有限公司 一种移动机器人控制方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1457015A (zh) * 2003-03-07 2003-11-19 北方交通大学 基于人脸识别和手形识别的双模态生物认证系统
US20130201291A1 (en) * 2012-02-08 2013-08-08 Microsoft Corporation Head pose tracking using a depth camera
CN103649731A (zh) * 2011-03-31 2014-03-19 阿尔巴盖亚有限公司 测试装置
US20140079338A1 (en) * 2011-05-12 2014-03-20 The Johns Hopkins University Method and system for registering images
CN105825203A (zh) * 2016-03-30 2016-08-03 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6446120B1 (en) * 1997-11-26 2002-09-03 International Business Machines Corporation Configurable stresser for a web server
JP4467838B2 (ja) * 2001-06-15 2010-05-26 パナソニック株式会社 画像認識装置および画像認識方法
KR20070106546A (ko) * 2005-03-15 2007-11-01 샤프 가부시키가이샤 휴대 단말 장치, 휴대 단말 장치의 화상 정보 대조 방법 및 화상 정보 대조 프로그램을 기록한 기록 매체
JP2006309699A (ja) * 2005-03-31 2006-11-09 Fukuoka Pref Gov Sangyo Kagaku Gijutsu Shinko Zaidan 画像処理装置、画像処理方法、画素抽出方法、それらの方法をコンピュータにより実行可能なプログラム、及び、そのプログラムを記録した記録媒体
JP4525526B2 (ja) * 2005-08-26 2010-08-18 パナソニック電工株式会社 パターンマッチング方法及び装置
US8498459B2 (en) * 2009-10-08 2013-07-30 Siemens Aktiengesellschaft System and method for verifying registration accuracy in digital medical images
US20120140993A1 (en) * 2010-12-05 2012-06-07 Unisys Corp. Secure biometric authentication from an insecure device
US8837791B2 (en) * 2010-12-22 2014-09-16 Kabushiki Kaisha Toshiba Feature location method and system
US10133950B2 (en) * 2011-03-04 2018-11-20 Qualcomm Incorporated Dynamic template tracking
US20130005048A1 (en) * 2011-06-29 2013-01-03 Monika Felten Indicator device
JP5699845B2 (ja) * 2011-07-29 2015-04-15 富士通株式会社 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
JP5955028B2 (ja) * 2012-02-28 2016-07-20 株式会社トプコン 画像処理装置、画像処理方法および画像処理用のプログラム
TW201527756A (zh) * 2014-01-10 2015-07-16 Nat Univ Tsing Hua 提供食品安全地圖之方法、電腦程式產品、和系統
JP6305856B2 (ja) * 2014-07-11 2018-04-04 Kddi株式会社 画像処理装置、画像処理方法、およびプログラム
US9613244B2 (en) * 2015-05-07 2017-04-04 Datalogic IP Tech, S.r.l. 2D indicia pose estimation and consequent grid localization and/or synchronization
US9858498B2 (en) * 2015-09-23 2018-01-02 Qualcomm Incorporated Systems and methods for incremental object detection using dual-threshold local binary pattern operators
US10572982B2 (en) * 2017-10-04 2020-02-25 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1457015A (zh) * 2003-03-07 2003-11-19 北方交通大学 基于人脸识别和手形识别的双模态生物认证系统
CN103649731A (zh) * 2011-03-31 2014-03-19 阿尔巴盖亚有限公司 测试装置
US20140079338A1 (en) * 2011-05-12 2014-03-20 The Johns Hopkins University Method and system for registering images
US20130201291A1 (en) * 2012-02-08 2013-08-08 Microsoft Corporation Head pose tracking using a depth camera
CN105825203A (zh) * 2016-03-30 2016-08-03 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘宝泉等: "基于点特征的干涉合成孔径雷达复图像自动配准算法", 航空学报, vol. 28, no. 1, pages 161 - 166 *

Also Published As

Publication number Publication date
KR20200100806A (ko) 2020-08-26
JP2021508135A (ja) 2021-02-25
GB201721811D0 (en) 2018-02-07
WO2019122883A1 (en) 2019-06-27
US20210089814A1 (en) 2021-03-25
IL275535B1 (en) 2024-06-01
US11321578B2 (en) 2022-05-03
GB2569803A (en) 2019-07-03
IL275535A (en) 2020-08-31
GB2569803B (en) 2021-11-24
JP7390730B2 (ja) 2023-12-04
IL275535B2 (en) 2024-10-01
EP3729335A1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
JP7390730B2 (ja) 検査結論を決定するための取り込まれた画像の解析
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
US11049240B2 (en) Method and system for assessing bone age using deep neural network
US9928592B2 (en) Image-based signal detection for object metrology
CN108256479B (zh) 人脸跟踪方法和装置
CN110569703B (zh) 计算机执行的从图片中识别损伤的方法及装置
WO2016062159A1 (zh) 图像匹配方法及手机应用测试平台
US20170262985A1 (en) Systems and methods for image-based quantification for allergen skin reaction
US20090129656A1 (en) Voting in mammography processing
WO2020046960A1 (en) System and method for optimizing damage detection results
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
CN108447061B (zh) 商品信息处理方法、装置、计算机设备和存储介质
US20170262965A1 (en) Systems and methods for user machine interaction for image-based metrology
JP2020102204A (ja) ノイズラベルに対する敵対的学習システムおよび方法
Liu et al. Optimal matching problem in detection and recognition performance evaluation
CN110222641B (zh) 用于识别图像的方法和装置
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
Joris et al. HemoVision: An automated and virtual approach to bloodstain pattern analysis
US20230146924A1 (en) Neural network analysis of lfa test strips
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
Lee et al. Neural geometric parser for single image camera calibration
WO2015079054A1 (en) Estimating gaze from un-calibrated eye measurement points
Liu et al. Infrared-visible image registration for augmented reality-based thermographic building diagnostics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination