CN101828191A - 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统 - Google Patents

用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统 Download PDF

Info

Publication number
CN101828191A
CN101828191A CN200880112307A CN200880112307A CN101828191A CN 101828191 A CN101828191 A CN 101828191A CN 200880112307 A CN200880112307 A CN 200880112307A CN 200880112307 A CN200880112307 A CN 200880112307A CN 101828191 A CN101828191 A CN 101828191A
Authority
CN
China
Prior art keywords
image
instrument
controller
signalling means
explain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880112307A
Other languages
English (en)
Other versions
CN101828191B (zh
Inventor
乔治·S·刘易斯
卡森·B·克兰顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bell Helicopter Textron Inc
Original Assignee
Bell Helicopter Textron Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bell Helicopter Textron Inc filed Critical Bell Helicopter Textron Inc
Publication of CN101828191A publication Critical patent/CN101828191A/zh
Application granted granted Critical
Publication of CN101828191B publication Critical patent/CN101828191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D3/00—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups
    • G01D3/08—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups with provision for safeguarding the apparatus, e.g. against abnormal operation, against breakdown
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D7/00—Indicating measured values
    • G01D7/02—Indicating value of two or more variables simultaneously
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P1/00—Details of instruments
    • G01P1/07—Indicating devices, e.g. for remote indication
    • G01P1/08—Arrangements of scales, pointers, lamps or acoustic indicators, e.g. in automobile speedometers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D2207/00—Indexing scheme relating to details of indicating measuring values
    • G01D2207/10—Displays which are primarily used in aircraft or display aircraft-specific information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于光学识别、解释和数字化人类可读仪器、信号器和控制器的系统，包括：图像获取传感器，可操作来捕获仪器、信号器和控制器的至少一个的图像；和逻辑处理单元，可操作来解码通过图像获取传感器捕获的图像，并解释解码的图像以确定仪器、信号器和控制器的至少一个的状态。

Description

用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统
技术领域
本发明通常涉及人类可读仪器、信号器和控制器的光学识别、解释和数字化。
背景技术
仪表系统使用电/电子模拟到数字系统来感测指定电机系统的物理状态，数字化传感器数据，并存储数字化的数据用于随后的分析。然而，制造、操作和维护这样的系统是昂贵的。此外，这样的系统不期望地增加了重量敏感系统的重量。
存在本领域已知的感测电机系统的物理状态的方式；然而，仍有显著的缺点。
附图说明
权利要求中提出了认为是本发明特性的新颖特征。然而，当结合附图阅读时，通过参考后面的详细描述，本发明自身以及其优选使用模式及其进一步的目的和优点将得到最佳地理解，附图中，各参考标号的最左边有效数字表示各个参考标号出现的第一个图，附图中：
图1是旋翼飞行器仪器面板的说明性实施例的视图；
图2是图1的仪器面板的信号器面板的说明性实施例的放大视图；
图3是图1的仪器面板的扭矩指示器的说明性实施例的放大视图；
图4是图1的仪器面板的风速指示器的说明性实施例的放大视图；
图5是具有两个分开的分段发光二极管测量计的、图1的仪器面板的仪器的说明性实施例的放大视图；
图6是具有两个分开的针规(needle gauge)的、图1的仪器面板的仪器的说明性实施例的放大视图；
图7是图1的仪器面板的姿态指示器的说明性实施例的放大视图；
图8是图1的仪器面板的水平位置指示器的说明性实施例的放大视图；
图9是旋翼飞行器仪器面板和驾驶员座舱的说明性实施例的透视图；
图10是用于人类可读仪器、信号器和/或控制器的光学识别、解释和数字化的系统的说明性实施例的图形表示；
图11是用于控制图10的系统的整体光学识别、解释和数字化处理的说明处理的框图；
图12是描绘如人类操作者将解释的、确定仪器或指示器的值的说明处理的框图；
图13是描绘计算图像相对于期望位置和朝向的实际位置和朝向的说明性图像配准处理的框图；
图14是通过比较目标的前景和背景图像的光学性质来确定仪器的状态的说明性目标部分处理的框图；以及
图15是用于确定控制状态或仪器读数的说明性模式匹配技术的框图。
尽管本发明能经受各种修改和替代形式，但是其具体实施例通过附图中的示例示出并且在这里详细描述。然而，应当理解，在此对具体实施例的描述不旨在将本发明限制于公开的具体形式，而是相反地，本发明要覆盖落入如权利要求定义的本发明的精神和范围内的所有修改、等效和替代。
具体实施方式
下面描述本发明的说明性实施例。为了清楚，在本说明书中没有描述实际实现的所有特征。当然，将认识到，在任何这种实际实施例的开发中，必须做出各种实现特定的确定，以实现开发者的特定的目的，如与系统相关和商业相关的限制的一致，这将从一个实现到另一实现而变化。此外，将认识到，这样的开发努力可能是复杂和耗时的，但将是具有本公开的受益的本领域普通技术人员的常规工作。
在说明书中，当在附图中描绘设备时，对各种组件之间的空间关系以及组件的各种方面的空间朝向进行参考。然而，如本领域技术人员在对本申请的完整阅读后将认识到的，这里描述的设备、组件、装置等可以任何期望的朝向放置。因此，如“上面”、“下面”、“高于”、“低于”的术语或类似的用来描述各种组件之间的空间关系或描述这样的组件的各方面的空间朝向的术语的使用应当被理解来分别描述各组件之间的相对关系或这样的组件的各方面的空间朝向，因为这里描述的设备可以朝向任何期望的方向。
本发明提出了一种用于人类可读仪器、信号器、控制器等的光学识别、解释和数字化的系统。
为了本公开的目的，术语“仪器面板”意味着包括一个或多个仪器、信号器、控制器等的装置。仪器、信号器、控制器等统一地是仪器面板的“对象”。然而，这样的对象不限制于仪器面板对象，而是包括任何适当设备的仪器、信号器、控制器等。例如，仪器可采用具有任何适当形状或大小并具有机械指示器或跨越固定背景面移动以指示测量的参数或条件的值的针的测量计的形式。在另一示例中，仪器可包括显示测量的参数或条件的值的一个或多个选择性照明的部分。说明性的信号器可包括一个或多个选择性照明的部分，使得一个或多个部分的照明状态(例如，开或关、亮或暗、颜色等)对应于测量的参数或条件的值。例如，控制器涉及可用来警告控制器自身和/或另一装置的状态的任何装置。这样的控制器的示例包括但不限于开关、旋钮、按钮、操纵杆、踏板、车轮、致动器、或可通过人类操作者或另一装置操纵的其他这种机构。
如这里所使用的，术语“相机”和“图像获取传感器”指可用于产生视频场景的数字化的、计算机可读的呈现的装置。这样的相机或图像获取传感器的示例包括但不限于数字相机、光学扫描仪、雷达系统、超声波扫描仪、热扫描仪、电扫描仪和轮廓测量设备。
为了本公开的目的，术语“前景”意味着在视觉目标的解释期间感兴趣的图像元素。例如，在某些操作下，测量计的针可被认为是前景。如这里使用的，术语“背景”意味着在视觉目标的解释期间很少或不感兴趣的图像元素。例如，在某些操作下，测量计的刻度盘面上的标记可被认为是背景。
应当注意，本发明的系统和方法可用于许多多样的实现，如这里更详细讨论的。这里关于旋翼飞行器仪器面板详细描述该系统，然而本发明的范围不被如此限制。而是，本发明的系统和方法可关于任何人类可读仪器或多个仪器使用，而不管与仪器或多个仪器关联的设备的类型。
图1描绘了包括各种类型的一个或多个仪器、信号器等的旋翼飞行器仪器面板101。在说明性实施例中，同样在图2中示出的信号器面板103包括一个或多个离散的信号器部分(segment)，如信号器部分105，每个部分操作为特定、离散条件的指示器。通过这样的信号器部分指示的条件的示例包括但不限于引擎着火、低燃料、电池热、发电机故障等。
如上所述，旋翼飞行器仪器面板101包括一个或多个测量计，如测量计107。现在参照图3，在说明性实施例中，测量计107在其面上包括通常为圆形的分度指示器或刻度盘301。图3图示的测量计107的具体实施例采用分段发光二极管303，其照明以指示被测量的参数或条件的值。注意，在该情况下，刻度盘301上的值是非线性的，即，依赖于角度位移施加于刻度盘301的哪个区域，给定角度位移具有不同值。例如，在0和4的值之间的区域中的角度位移(大致在305)与在5和7的值之间的区域中的角度位移(大致在307)大约相同。换句话说，测量计在5和7的值之间的分辨度大约为在0和4的值之间的分辨度的两倍。测量计107的具体实施例提供引擎扭矩的指示。测量计107还包括五字符字母数字显示309，用于显示被测量的条件或参数或诊断过程期间的系统状态信息的数字呈现。在说明性实施例中，显示309提供诊断过程期间的引擎扭矩或系统状态信息的数字读出。
参照图1和4，旋翼飞行器仪器面板101的说明性实施例还包括在其面上具有圆形的分度指示符或刻度盘401的测量计109。测量计109采用针403来指示测量的条件或参数的值。
现在参照图1和5，旋翼飞行器仪器面板101的说明性实施例还包括仪器111，其具有两个分开的分段发光二极管测量计501和503。在说明性实施例中，测量计501以磅每平方英寸指示燃料压力，并且测量计503以安培指示发电机输出。
参照图1和6，旋翼飞行器仪器面板101的说明性实施例还包括具有两个分开的针规601和603的仪器113。测量计601采用针605，并且测量计603包括针607。针605和607独立地移动。在说明性实施例中，针605将主转子旋转速度指示为飞行操作的正常转子旋转速度相对于外尺度609的百分比。针607将引擎涡轮旋转速度指示为飞行操作的正常引擎涡轮速度相对于内尺度611的百分比。
现在参照图1和7，旋翼飞行器仪器面板101的说明性实施例还包括将两个分度尺度测量计701和703和离散信号器705组合到一个仪器中的仪器115。图1和7中描绘的特定仪器115称为“姿态指示器”。在说明性实施例中，通过外刻度盘707相对于固定指针709的运动，使用测量计701指示旋翼飞行器的迎角或滚动姿态。从与指针709对应的外刻度盘707上的标记读取测量值。仪器中心的区域(即，测量计703)使用可移动卡713上的分度尺度711以指示对应于固定指针715的旋翼飞行器间距姿态。称为“螺旋条状纹(barber pole)”的信号器705是无论何时信号器705对人眼可视就指示仪器115无效或不可操作的离散信号器。
仍然参照图7，仪器115还包括旋钮719形式的控制器，其允许零间距姿态参照的任意设置。仪器115还包括旋钮721形式的控制器，以关住(cage)可操作地与仪器115关联的回转仪。
现在参照图1和8，旋翼飞行器仪器面板101的说明性实施例还包括仪器117，其将多个测量计、标记、尺度、指针等与多个离散信号器组合在一起。在说明性实施例中，仪器117采用水平位置指示器的形式。飞行器航向(heading)以粗线803显示在旋转方位角或落井刻度盘801上。航线偏差条805与固定导航参照接收器(如甚高频全向测距/定位(VOR/LOC)导航接收器、甚高频全向测距战术空中导航(VORTAC)接收器、或仪表着陆系统(ILS)接收器)操作，以指示距用航线选择指针807选择的航线向左或向右的偏差。航线偏差条805向左或右移动，以指示距尺度809的中心的偏差。期望的航线通过借由航线设置旋钮811，相对于落井刻度盘801旋转航线选择指针807来选择。固定飞行器符号813和航线偏差条805关于选择的航线显示飞行器，好像飞行员在飞行器上方向下看一样。图8中未示出的、作为指针的滑翔道偏差指针仅当正接收有效滑翔道信号时可见，指示飞行器与滑翔道的关系。当滑翔道偏差指针在尺度815的中心位置之上时，飞行器在滑翔道之上，并且需要增加下降速率。
仍然参照图1和8，信号器817当对人眼可见时，指示仪器117的导航功能不可操作。信号器819当对人眼可见时，指示仪器117的航向功能不可操作。信号器821指示通过旋翼飞行器的操作者使用仪器117的控制旋钮823而设置的航向参照。
参照图1，仪器面板101的说明性实施例还包括保护拨动开关118，其是开启或关闭旋翼飞行器的燃油阀的控制器。仪器面板101还包括推动按钮开关121，其用来控制全权限数字引擎控制(FADEC)的操作模式，即自动或手动。按钮121的面作为当前选择的FACEC模式的信号器而照明。
图1还示出存在的、对人眼可见的、并且旋翼飞行器操作期间对机组可用的各种其他仪器、信号器和控制器。从图1中呈现的单个图像，这里描述的系统使用单个图像获取传感器，而不是对应于信号器、仪器和控制器的每个的传感器，识别、解释和产生多个信号器、仪器和控制器的数字时间历史。在图1图示的实现中，这里描述的系统使用单个图像获取传感器，而不是使用传统仪表需要的90个独立的传感器，识别、解释和产生57个信号器、26个仪器和7个控制器的数字时间历史。因此，这里描述的系统的成本、重量和复杂度显著低于传统传感系统。
前面段落中描述的示例是可以应用这里描述的发明的各种类型的设备和装置的特性；然而，关于本发明的应用的机会，列出的项目和直升机环境都不是以任何方式穷尽式的。例如，本发明可用于或并入旋翼飞行器以外的各种类型的装置、系统、设备等。
图9是如通过数字驾驶员座舱视频记录器(图9中未示出)(即，图像获取传感器)捕获的旋翼飞行器的驾驶员座舱的一部分的透视图。图9中可见布置在统一操纵杆(图9中未示出)的自由端的统一操纵头(collective head)901。统一操纵头901用于通过变化旋翼飞行器的主动叶片的迎角来控制旋翼飞行器的主转子的推力大小。在实际使用中，抬高统一操纵头901通常增加推力，而降低统一操纵头901通常减小推力。此外，图9中可见环状把手(cyclicgrip)903。环状把手903的运动使得旋翼飞行器的主动叶片的循环间距变化，导致主转子推力的重定向，以控制飞行方向。图9中还可见统一指示为905的反扭矩或尾桨脚蹬(tail rotor pedal)。踏板905的运动使得旋翼飞行器的尾转子推力的改变，导致偏航姿态的改变。统一操纵头901、环状把手903和尾桨脚蹬905还是具有可通过这里描述的系统处理的位置的控制器的示例。
根据这里描述的系统，以对应于通过人类观察的解释的方式使用计算机化的手段解释仪器、信号器和/或控制器的图像的数字呈现。在信号器的情况下，信号器的状态定义被测量的质量或状态。信号状态之间的色度和/或强度的改变可通过本发明确定。在各种类型的测量计的情况下，测量计的每个可能的离散值映射到该测量计的数字化图像上的离散位置。通过使用本系统来确定测量计的可变特征(例如，针)的位置，可确定在图像捕获时通过测量计指示的值。例如，关于针规，如果数字化图像的分析确定针位于映射到风速的100节的数字化图像上的位置，则系统可将100节存储为图像捕获时的风速值。因此，这里描述的发明可用于替代更昂贵、更复杂和更笨重的传统的有线甚至无线仪表系统。
图10描绘用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统1001的示例性实施例。标记为1003的对象表示要被识别、解释和数字化的对象。例如，在旋翼飞行器实现中，对象1003表示旋翼飞行器驾驶员座舱中的对象，如这里描述的仪器、信号器和控制器。系统1001包括图像获取传感器1005，如捕获旋翼飞行器仪器面板和周围环境的图像的数字相机。在说明性实施例中，图像获取传感器1005将图像捕获和编码步骤组合到一个设备中，尽管本发明的范围不限于此。而是，在替代实施例中，图像获取传感器1005捕获图像，并且另一设备用于将图像编码为数字呈现。系统1001进一步包括逻辑处理单元1007，其在说明性实施例中是执行解码和解释数字编码的图像的软件的数字计算机。逻辑处理单元1007将图像中呈现的感兴趣的一个或多个仪器、信号器和控制器的状态(优选地作为基于时间的状态)存储到数据存储设备1009。在一些实施例中，逻辑处理单元1007创建伪参数，以增加飞行期间旋翼飞行器的机组可用的信息。伪参数是通过数学地、词汇地、和/或逻辑地组合两个或更多其它参数而产生的数据项。例如，垂直速度伪参数可通过取姿态的时间导数而产生。风速率、速度和方向可从基于卫星的全球定位系统数据、风速和航向而导出。顺风着陆方式可从垂直速度(例如，下沉速率、低风速和风向、同时低高度)而推断。在一些实施例中，系统1001还包括地面数据处理器1011，例如，使用定制软件的通用计算机。应当注意，附图中描绘的系统1001的组件和/或通过组件执行的功能可依赖于系统1001的具体实现而组合、分离和/或重分布。
图11描绘用于光学识别、解释和数字化人类可读仪器、信号器和控制器的方法的说明性实施例的框图。在一个实现中，该方法以可通过计算设备读取和执行的介质中编码的软件体现。在方法的初始化时(块1101)，读取配置文件以提供要解释的图像的定义(块1103)。文件包含这样的信息，其包括但不限于要解释的所有感兴趣的对象(即，仪器、信号器和/或控制器)的数量、类型和位置；每个对象的扫描区域的定义；在用于阈值交叉技术的数字化图像中的扫描区域内的、与离散位置相关联的值地图(如这里更详细描述的)；图像配准(registration)中使用的图像的参考区域的数学表示；用于使用模式匹配技术确定解释的对象的状态的参考模式的数学表示；用于解释发光信号器的照明状态中的色度和强度信息；用于解释背景相对前景信息的色度和强度信息；和/或为确保有效操作本方法需要的其他参数，如起始参数、偏好等。
应当注意，配置文件存储图像处理的信息，以消除冗余处理。可不使用配置文件而识别人类可读仪器、信号器和控制器，并且本发明的范围包含这样的实施例。在这样的实施例中，省略配准处理。该实施例在其中在即时提供实时分析的方面、计算机处理能力不是问题的实现中特别有用。
在某些实施例中，系统1001包括可通过计算系统读取和执行的介质中编码的一个或更多计算机程序，以便利使用自动和用户交互方法的配置文件的创建和维护。在这样的实施例中，可使用模式匹配技术和手动技术自动识别之前定义的对象，其中操作者可使用图形用户界面(GUI)中的定制工具定义配置。
仍然参照图11，该方法采用分析的图像的逐条连续流，并打开如图10的数据存储设备1009中的输出文件(块1105)，可将如对每个随后图像的解释的一系列值写入到该数据存储设备1009。输出文件有效地包含根据从配置文件读取的定义解释和分析的所有参数的时间历史。
该方法进入条件循环1107，并测试要解释的数字图像呈现的存在(块1109)。如果存在图像，则程序按需要解码图像(块1111)以创建图像的可索引呈现。解码处理可以根据被处理的图像的特性以任何一个或多个可能形式产生可索引呈现。在一个实施例中，图像是作为两维阵列存储(块1113)在计算机存储器中的两维像素位图或光栅。然而，系统1001可同等地应用到三维图像。然后从光栅读取测量计(块1115)，如关于图12更详细讨论的。每个测量计的值然后写到输出文件(块1117)。如果不存在图像(块1109)，则清除存储的变量等，并且方法结束。
图12描绘从图11中的光栅读取测量计(块1115)的一个具体实施例。尽管关于两维技术描述图12中描绘的方法，但是本发明的范围不限于此。第一步骤是“配准”图像(块1201)以确保当前光栅的坐标系统和配置文件的创建中使用的坐标系统之间的适当对准。图13示出配准处理(块1201)中的第一步骤是计算当前光栅化的图像的傅立叶变换(块1301)。在该实施例中，使用快速傅立叶变换(FFT)技术。从配置文件读取的参考区域是参考图像的FFT的共轭。接下来的步骤是逐元素的将参考FFT共轭乘以当前图像的FFT(块1303)。得到的乘积然后逐元素归一化，使得所有FFT值范围在-1和1之间(块1305)。归一化处理不是绝对必须的，但是帮助克服由于图像变化(如发光和/或光学噪声的差别)导致的误差。接下来的步骤是计算归一化的乘积的逆FFT(IFFT)(块1307)。最后的步骤是从IFFT找出阵列中的最大值的行和列索引(块1309)。然后使用极点坐标重复处理以校正旋转差。得到的行和列索引应用为从配置文件读取的行和列索引的偏置(块1311)，并且处理返回到图12中的下一步骤(块1313)。
应当注意，配准的处理可以其他方式实现，这包含在本发明的范围内。例如，要配准的区域不必是矩形阵列。光栅的单行可用于获得水平或横向图像偏移，并且光栅的单列可用于获得垂直偏移。尽管当偏移涉及垂直和水平平移两者时、光栅的单行和列的使用可能不能确定图像偏移，但是在某些实现中，光栅的单行和列的使用可能是充足的甚至期望的。本发明预期配准图像的其他方式。关于其中使用配准的本发明的实施例，实现配准的方式对于本发明的实践是非实质的。
配准处理的整体成果可称为“图像稳定化”，因为可对于平移和/或旋转误差，校正在该情况下由于图像获取传感器和仪器面板之间的相对位置和朝向的改变而导致的图像偏移。
回来参考图2，一旦完成配准，通过将来自配准处理的行和列偏置相加来调整通过配置文件定义的每个目标区域的坐标(块1203)。接下来的步骤是进入循环1205，重复通过在配置文件中定义的每个阈值交叉类型对象。一旦在循环内部，就扫描配准的当前图像的目标区域中的每个像素(块1207)。然后将中值滤波器应用到每个像素(1209)。通过中值滤波器产生的值然后分配到该像素。中值滤波器用于减少获取图像中的噪声的影响。
图14表示用于将目标区域分为前景和背景的处理流程(图12中的块1211)。第一步骤是使用中值滤波器步骤的结果对整个目标区域计算阈值(块1401)。本发明预期用于确定阈值的许多方式，但是已经测试和示出对于目标区域的最小和最大值之间的中点计算是可接受的。
阈值交叉检测是归一化图像以考虑发光变化的一种方法。本方法能够在多种发光条件下操作。在一些情况下，通过来自太阳、月亮或区域发光的环境光照明对象。在一些情况下，通过人造背光或指引面部光来照明对象。色彩和强度将广泛变化。例如，夜间飞行通常使用低强度的红色人造光。包括但不限于灰度分析和/或负图像分析的其他技术也是用于处理光的色度和/或强度的变化的选择。
一旦已经建立阈值，就检索目标中的每个像素的强度(块1403)，并且将每个像素的强度与阈值比较(块1405)，并分类为前景(块1407)或背景(块1409)。一旦已经扫描所有像素(块1411)，处理就返回(块1413)到图12中的下一步骤。
返回到图12，下一步骤是从对应于仪器的可变特征的位置的前景像素中挑选最可能的候选(块1213)。用于确定最可能的候选的方法可随着解释的对象的类型而变化。例如，可通过计算前景像素的簇的质心来确定针位置。可通过确定目标区域中存在突然并且非逆的从前景到背景像素的改变的位置来解释分段LED测量计值。可通过检测目标区域中的一个或多个前景像素的存在来解释信号器状态，其中数量依赖于如图像的质量、期望的置信级别或其他测量的因素。
图15参考使用模式匹配技术的图像解释，其是图12中的块1213的一个实施例。这里描述的技术基本是使用存储的参考模式的数学表示对图像配准处理的重复以确定对象的状态(块1501)。图像光栅围绕控制加窗，以获得更小的光栅(块1503)，并且在更小的图像区域上进行配准处理(块1505)。统计分析相位相关结果以确定参考模式的匹配概率(块1507)，并且处理返回(块1509)图12中的下一步骤。可类似地采用文献中公知的多个其他模式匹配变化。模式匹配技术可以是用于确定不是很好地适于阈值交叉技术的特点旋钮、开关和/或操纵杆的状态的优选方法。
还可单独或结合使用阈值交叉和模式匹配技术以解释主要飞行控制器的位置，如全部在图9中示出的附接统一操纵头901的统一组件(collective)、环状把手903或尾桨脚蹬905。
再次参照图12，一旦已经对于当前图像解释所有仪器、信号器和/或控制器的值和/或状态(块1215)，就将值存储在输出文件中(图11的块1117)，优选地存储在可移除介质上。本发明预期防撞和非防撞可移除介质实现。然后对下一图像重复整个处理。
使用本发明，数据质量评估的各种方法是可能的。阈值交叉检测是用于检测何时从相机取景中封闭对象的有效方法，如当飞行员到达仪器面板的前面，通过他的手臂按下按钮或转动旋钮时。从裸臂或袖筒的中值滤波图像计算的最小、最大和阈值将非常接近，允许系统解释目标区域封闭。还使用冗余测量评估解释值的质量。例如，可从旋转外刻度盘707的左右侧上扫描的目标区域解释来自姿态指示器115(图1和7中示出)的滚动角。除了多个目标区域外，多方向扫描提供冗余。例如，左到右扫描、之后右到左扫描可检测模糊度或多阈值交叉，在此情况下，可使用傅立叶光学技术使图像“去模糊”。如果检测多个阈值交叉，则可采用各种专业和/或统计坏点(wild point)编辑技术。可对多个状态(上/下、开/关等)检查使用模式匹配技术进行的解释。来自一个源的数据还可与来自其他源(包括评估数据质量的其他光学解释源)的数据比较和相关。可通过如标记值或数据质量位的手段来标记可疑数据。
在一些情况下，从一个源解释的数据可与来自其他源(光学或其他)的数据结合使用，以用于各种目的。一个这样的情况将是使用光学解释的风速和航向数据、结合来自有线全球定位系统(GPS)传感器的地面速度和地面轨道数据来估计风速率和方向。由此导出的风速信息可存储为时间历史“伪项目”以及在飞行中实时显示给飞行员。
本发明提供了显著的优点，包括：(1)提供用于监视飞行器(如旋翼飞行器)中的人类可读仪器、信号器和控制器的成本有效的手段；(2)提供用于监视与任何类型的装置或机械(如工业处理机械、材料处理装置、机械工具等)相关联的人类可读仪器、信号器和控制器的成本有效的手段；(3)提供用于监视飞行器系统、装置、机械等的状态的较低复杂度的手段；以及(4)提供用于监视飞行器系统、装置、机械等的状态的较低重量的手段。
上面公开的具体实施例仅是说明性的，因为本发明可以对具有这里的教导的受益的本领域技术人员明显的、不同但等效的方式修改和实践。此外，不意图限制到这里示出的构造或设计的细节，除非权利要求中描述。因此，显然，可更改或修改上面公开的具体实施例，并且所有这样的变化被认为在本发明的范围和精神内。因此，这里寻求的保护在权利要求中提出。显然，已经描述和图示具有显著优点的发明。尽管本发明以有限数量的形式示出，但是不仅限于这些形式，而是可修改为各种改变和修改，而不背离其精神。

Claims (25)

1.一种用于光学识别、解释和数字化人类可读仪器、信号器和控制器的系统，包括：
图像获取传感器，可操作来捕获仪器、信号器和控制器的至少一个的图像；
逻辑处理单元，可操作来解码通过图像获取传感器捕获的图像，并解释解码的图像以确定仪器、信号器和控制器的至少一个的状态。
2.如权利要求1所述的系统，其中逻辑处理单元可操作来存储仪器、信号器和控制器的至少一个的状态。
3.如权利要求1所述的系统，其中逻辑处理单元可操作来存储仪器、信号器和控制器的至少一个的时基状态。
4.如权利要求1所述的系统，其中逻辑处理单元从仪器、信号器和控制器的至少一个的状态创建伪参数。
5.如权利要求1所述的系统，还包括：
可操作地与逻辑处理单元相关联的地面数据处理器。
6.如权利要求1所述的系统，其中人类可读仪器、信号器和控制器是飞行器驾驶员座舱中的对象。
7.如权利要求6所述的系统，其中飞行器是旋翼飞行器。
8.一种用于光学识别、解释和数字化人类可读仪器、信号器和控制器的方法，包括：
读取配置文件以提供要解释的仪器、信号器和控制器的至少一个的、要解释的图像的目标区域的定义；
打开用于存储要解释的图像的输出文件；
确定是否存在要解释的捕获图像；
如果存在捕获图像：
解码捕获图像；
基于解码的捕获图像和配置文件中的定义，确定仪器、信号器和控制器的至少一个的状态；以及
将仪器、信号器和控制器的至少一个的状态写到输出文件。
9.如权利要求8所述的方法，其中配置文件包括以下一个或多个：
要解释的仪器、信号器和控制器的至少一个的数量；
要解释的仪器、信号器和控制器的至少一个的类型；
要解释的仪器、信号器和控制器的至少一个的位置；
要解释的仪器、信号器和控制器的至少一个的扫描区域的定义；
与要解释的仪器、信号器和控制器的至少一个的位置相关联的值地图；
用于图像配准中的图像的参考区域的数学表示；
用于确定要解释的仪器、信号器和控制器的至少一个的状态的参考模式的数学表示；
用于解释信号器的照明状态的色度和强度信息；
用于解释图像的背景相对前景信息的色度和强度信息；以及
起始参数和偏好。
10.如权利要求8所述的方法，其中输出文件包括基于从配置文件读取的定义而解释和分析的参数的时间历史。
11.如权利要求8所述的方法，其中解码图像得到存储为二维阵列的光栅或二维像素位图。
12.如权利要求8所述的方法，其中确定仪器、信号器和控制器的至少一个的状态通过下述来实现：
用要解释的图像的目标区域的定义配准捕获图像；
基于配准捕获图像调整通过配置文件定义的目标区域的坐标；
扫描配准的捕获图像的每个像素；
应用中值滤波器到配准的捕获图像的每个像素；
将目标区域分为前景和背景；以及
挑选对应于要解释的仪器、信号器和控制器的至少一个的可变特征的前景像素。
13.如权利要求12所述的方法，其中配准捕获图像通过下述来实现：
计算捕获图像的傅立叶变换；
将来自配置文件的参考傅立叶变换共轭与捕获图像的傅立叶变换逐元素相乘；
计算相乘的参考傅立叶变换共轭和捕获图像的傅立叶变换的逆傅立叶变换；
找到从逆傅立叶变换中得到的阵列中的最大值的行和列索引；以及
存储行和列索引。
14.如权利要求13所述的方法，还包括：
在计算逆傅立叶变换之前，将相乘的参考傅立叶变换共轭和捕获图像的傅立叶变换逐元素归一化。
15.如权利要求12所述的方法，其中将目标区域分为前景和背景通过下述实现：
基于将中值滤波器应用到配准的捕获图像的每个像素的结果，计算目标区域的阈值；
检索捕获图像的目标区域中的每个像素的强度；
比较每个像素的强度和阈值；以及
将每个像素分类为前景或背景。
16.如权利要求12所述的方法，其中挑选对应于要解释的仪器、信号器和控制器的至少一个的可变特征的前景像素通过下述实现：
围绕目标区域加窗捕获图像；
用要解释的图像的目标区域的定义配准捕获图像的窗口区域；以及
基于配准窗口区域的结果，确定要解释的仪器、信号器和控制器的至少一个的状态。
17.一种用于光学识别、解释和数字化人类可读仪器、信号器和控制器的软件，该软件以计算机可读介质体现，并且当执行时可操作来：
读取配置文件以提供要解释的仪器、信号器和控制器的至少一个的、要解释的图像的目标区域的定义；
打开用于存储要解释的图像的输出文件；
确定是否存在要解释的捕获图像；
如果存在捕获图像：
解码捕获图像；
基于解码的捕获图像和配置文件中的定义，确定仪器、信号器和控制器的至少一个的状态；以及
将仪器、信号器和控制器的至少一个的状态写到输出文件。
18.如权利要求17所述的软件，其中配置文件包括以下一个或多个：
要解释的仪器、信号器和控制器的至少一个的数量；
要解释的仪器、信号器和控制器的至少一个的类型；
要解释的仪器、信号器和控制器的至少一个的位置；
要解释的仪器、信号器和控制器的至少一个的扫描区域的定义；
与要解释的仪器、信号器和控制器的至少一个的位置相关联的值地图；
用于图像配准中的图像的参考区域的数学表示；
用于确定要解释的仪器、信号器和控制器的至少一个的状态的参考模式的数学表示；
用于解释信号器的照明状态的色度和强度信息；
用于解释图像的背景相对前景信息的色度和强度信息；以及
起始参数和偏好。
19.如权利要求17所述的软件，其中输出文件包括基于从配置文件读取的定义而解释和分析的参数的时间历史。
20.如权利要求17所述的软件，其中当该软件被执行时，可操作来解码存储为二维阵列的光栅或二维像素位图的图像结果。
21.如权利要求17所述的软件，其中当该软件被执行时，通过下述来确定仪器、信号器和控制器的至少一个的状态：
用要解释的图像的目标区域的定义配准捕获图像；
基于配准捕获图像调整通过配置文件定义的目标区域的坐标；
扫描配准的捕获图像的每个像素；
应用中值滤波器到配准的捕获图像的每个像素；
将目标区域分为前景和背景；以及
挑选对应于要解释的仪器、信号器和控制器的至少一个的可变特征的前景像素。
22.如权利要求21所述的软件，其中当该软件被执行时，通过下述来配准捕获图像：
计算捕获图像的傅立叶变换；
将来自配置文件的参考傅立叶变换共轭与捕获图像的傅立叶变换逐元素相乘；
计算相乘的参考傅立叶变换共轭和捕获图像的傅立叶变换的逆傅立叶变换；
找到从逆傅立叶变换中得到的阵列中的最大值的行和列索引；以及
存储行和列索引。
23.如权利要求22所述的软件，其中当该软件被执行时，通过下述来配准捕获图像：
在计算逆傅立叶变换之前，将相乘的、参考傅立叶变换共轭和捕获图像的傅立叶变换逐元素归一化。
24.如权利要求21所述的软件，其中当该软件被执行时，通过下述将目标区域分为前景和背景：
基于将中值滤波器应用到配准的捕获图像的每个像素的结果，计算目标区域的阈值；
检索捕获图像的目标区域中的每个像素的强度；
比较每个像素的强度和阈值；以及
将每个像素分类为前景或背景。
25.如权利要求21所述的软件，其中当该软件被执行时，挑选对应于要解释的仪器、信号器和控制器的至少一个的可变特征的前景像素通过下述实现：
将捕获图像围绕目标区域加窗；
用要解释的图像的目标区域的定义配准捕获图像的窗口区域；以及
基于配准的窗口区域的结果，确定要解释的仪器、信号器和控制器的至少一个的状态。
CN200880112307.3A 2007-08-17 2008-08-15 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统 Active CN101828191B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US95667507P 2007-08-17 2007-08-17
US60/956,675 2007-08-17
PCT/US2008/073327 WO2009026156A1 (en) 2007-08-17 2008-08-15 System for optical recognition, interpretation, and digitization of human readable instruments, annunciators, and controls

Publications (2)

Publication Number Publication Date
CN101828191A true CN101828191A (zh) 2010-09-08
CN101828191B CN101828191B (zh) 2014-12-17

Family

ID=40378544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880112307.3A Active CN101828191B (zh) 2007-08-17 2008-08-15 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统

Country Status (6)

Country Link
US (1) US9202098B2 (zh)
EP (1) EP2176812B1 (zh)
CN (1) CN101828191B (zh)
CA (1) CA2696190C (zh)
DE (1) DE08827781T1 (zh)
WO (1) WO2009026156A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864678A (zh) * 2015-06-26 2018-03-30 亚马逊技术公司 对视觉指示器的检测和解译
CN108805019A (zh) * 2017-04-28 2018-11-13 通用电气公司 用于监测飞机的驾驶舱的系统和方法
CN110308346A (zh) * 2019-06-24 2019-10-08 中国航空无线电电子研究所 基于图像识别的座舱显示系统自动测试方法及系统
US11200892B1 (en) 2018-12-10 2021-12-14 Amazon Technologies, Inc. Speech-enabled augmented reality user interface

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008036759A1 (de) * 2008-08-07 2010-02-11 Esg Elektroniksystem- Und Logistik-Gmbh Vorrichtung und Verfahren zum Testen von Systemen mit visueller Ausgabe
US8319665B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Adaptive instrument and operator control recognition
US8319666B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
US9114188B2 (en) 2010-01-13 2015-08-25 Allergan, Industrie, S.A.S. Stable hydrogel compositions including additives
WO2012050969A1 (en) 2010-09-29 2012-04-19 Quentiq AG Automated health data acquisition, processing and communication system
US9378336B2 (en) 2011-05-16 2016-06-28 Dacadoo Ag Optical data capture of exercise data in furtherance of a health score computation
US8358903B1 (en) * 2011-10-31 2013-01-22 iQuest, Inc. Systems and methods for recording information on a mobile computing device
US20150030304A1 (en) * 2011-10-31 2015-01-29 iQuest, Inc. Systems and Methods for Recording Information on a Mobile Computing Device
JP2013152198A (ja) * 2012-01-26 2013-08-08 Hiroshima Univ 計測器読み取り装置およびモニタリングシステム
US8958945B2 (en) * 2012-02-07 2015-02-17 Ge Aviation Systems Llc System and methods for maintaining and operating an aircraft
WO2013120103A1 (en) 2012-02-10 2013-08-15 Appareo Systems, Llc Frequency-adaptable structural health and usage monitoring system
US10607424B2 (en) 2012-02-10 2020-03-31 Appareo Systems, Llc Frequency-adaptable structural health and usage monitoring system (HUMS) and method with smart sensors
US9546002B1 (en) * 2013-09-30 2017-01-17 The Boeing Company Virtual instrument verification tool
KR20150074486A (ko) * 2013-12-24 2015-07-02 삼성전자주식회사 디스플레이장치 및 디스플레이장치의 제어방법
GB2523359B (en) * 2014-02-21 2016-01-06 Risk Telematics Uk Ltd Determining the status of a vehicle
CA2949449C (en) 2014-05-23 2021-05-25 Dacadoo Ag Automated health data acquisition, processing and communication system
US20160134841A1 (en) * 2014-11-10 2016-05-12 David Christopher Round Verifying information on an electronic display with an incorporated monitoring device
FR3036101B1 (fr) * 2015-05-12 2019-05-10 Safran Nacelles Systeme pour inspection visuelle d'equipements derriere un carenage d'aeronef, comportant des cameras transmettant les images a l'exterieur
US10311409B1 (en) 2015-06-26 2019-06-04 Amazon Technologies, Inc. Detection and interpretation of visual indicators
US10067235B2 (en) * 2015-07-07 2018-09-04 The United States Of America As Represented By The Administrator Of Nasa Wind event warning system
JP2019503020A (ja) 2015-11-24 2019-01-31 ダカドー エージー 自動健康データ取得、処理および通信システムならびに方法
US20170154446A1 (en) * 2015-11-30 2017-06-01 Honeywell International Inc. Methods and apparatus for providing visual overlay assistance for flight preparation
US10359779B2 (en) 2016-03-22 2019-07-23 Aurora Flight Sciences Corporation Aircrew automation system and method
MX2018014739A (es) * 2016-05-31 2019-03-11 Theia Group Incorporated Sistema de transmision y digitalizacion de telemetria de maquina.
US10380810B2 (en) 2016-08-17 2019-08-13 Bell Helicopter Textron Inc. Diagnostic method, system and device for a rotorcraft drive system
US10424134B2 (en) 2016-08-17 2019-09-24 Bell Helicopter Textron Inc. Diagnostic method, system and device for a rotorcraft drive system
US10464689B2 (en) 2016-08-17 2019-11-05 Bell Helicopter Textron Inc. Diagnostic method, system and device for a rotorcraft drive system
US10643405B2 (en) 2016-08-17 2020-05-05 Bell Helicopter Textron Inc. Diagnostic method, system and device for a rotorcraft drive system
KR20230096145A (ko) 2017-04-24 2023-06-29 세이아 그룹, 인코포레이티드 지상 서비스에 비행 중 항공기 조종석의 기록 및 실시간 전송 방법
US10552206B2 (en) 2017-05-23 2020-02-04 Ge Aviation Systems Llc Contextual awareness associated with resources
US11409271B2 (en) 2017-05-26 2022-08-09 Ge Aviation Systems Llc Monitoring and confirming information in an image
US10816970B2 (en) 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US10453351B2 (en) 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10509415B2 (en) 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities
US10883862B2 (en) * 2017-10-24 2021-01-05 Mitutoyo Corporation Measurement-data collecting apparatus and computer program
US10875662B2 (en) 2018-04-19 2020-12-29 Aurora Flight Sciences Corporation Method of robot manipulation in a vibration environment
US10850397B2 (en) 2018-04-19 2020-12-01 Aurora Flight Sciences Corporation System and method for providing in-cockpit actuation of aircraft controls
US11037453B2 (en) 2018-10-12 2021-06-15 Aurora Flight Sciences Corporation Adaptive sense and avoid system
US11151810B2 (en) 2018-10-12 2021-10-19 Aurora Flight Sciences Corporation Adaptable vehicle monitoring system
JP7144809B2 (ja) * 2019-03-08 2022-09-30 高砂熱学工業株式会社 計器読み取りシステム、計器読み取り方法及び計器読み取りプログラム
GB201909420D0 (en) * 2019-06-30 2019-08-14 Collins Peter Harrington Heavy aircrew logic 900
US11928812B2 (en) 2021-09-03 2024-03-12 Caterpillar Inc. Systems and methods for inspecting multi-mode asset status in communication-denied environments

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6095976A (en) * 1997-06-19 2000-08-01 Medinol Ltd. Method for enhancing an image derived from reflected ultrasound signals produced by an ultrasound transmitter and detector inserted in a bodily lumen
US7028899B2 (en) * 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
US6266100B1 (en) * 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US20030065428A1 (en) * 2001-10-01 2003-04-03 Ehud Mendelson Integrated aircraft early warning system, method for analyzing early warning data, and method for providing early warnings
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
US7171036B1 (en) * 2002-05-22 2007-01-30 Cognex Technology And Investment Corporation Method and apparatus for automatic measurement of pad geometry and inspection thereof
US20040032906A1 (en) * 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
ES2305560T3 (es) * 2002-09-23 2008-11-01 Captron Electronic Gmbh Sistema de medicion y estabilizacion para vehiculos controlados mecanicamente.
KR100473598B1 (ko) * 2002-11-04 2005-03-11 삼성전자주식회사 가려진 얼굴영상을 판단하는 시스템 및 방법
US6987883B2 (en) * 2002-12-31 2006-01-17 Objectvideo, Inc. Video scene background maintenance using statistical pixel modeling
JPWO2005069216A1 (ja) * 2004-01-15 2010-02-25 松下電器産業株式会社 光学的伝達関数の測定方法、画像復元方法、およびデジタル撮像装置
WO2006011141A2 (en) 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
US7447362B2 (en) * 2004-11-08 2008-11-04 Dspv, Ltd. System and method of enabling a cellular/wireless device with imaging capabilities to decode printed alphanumeric characters
US20060119901A1 (en) 2004-12-06 2006-06-08 Feri Ehrenfeld Handheld text scanner
IL165614A0 (en) * 2004-12-07 2006-01-15 Tenitek Ltd Analog metamonitoring device and method
CN1693852A (zh) * 2005-01-28 2005-11-09 华南理工大学 一种仪表指针自动检测识别方法及自动读数方法
TWI268703B (en) * 2005-04-08 2006-12-11 Benq Corp Photographing apparatus and compensating method used in the photographing apparatus
US7844247B2 (en) * 2006-01-25 2010-11-30 International Business Machines Corporation System for automatic wireless utilization of cellular telephone devices in an emergency by co-opting nearby cellular telephone devices
US20080316010A1 (en) * 2007-06-23 2008-12-25 Appro Technology Inc. Recording system and method for capturing images of driving conditions and driving images identification method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864678A (zh) * 2015-06-26 2018-03-30 亚马逊技术公司 对视觉指示器的检测和解译
CN107864678B (zh) * 2015-06-26 2021-09-28 亚马逊技术公司 对视觉指示器的检测和解译
CN108805019A (zh) * 2017-04-28 2018-11-13 通用电气公司 用于监测飞机的驾驶舱的系统和方法
US11200892B1 (en) 2018-12-10 2021-12-14 Amazon Technologies, Inc. Speech-enabled augmented reality user interface
CN110308346A (zh) * 2019-06-24 2019-10-08 中国航空无线电电子研究所 基于图像识别的座舱显示系统自动测试方法及系统
CN110308346B (zh) * 2019-06-24 2021-10-26 中国航空无线电电子研究所 基于图像识别的座舱显示系统自动测试方法及系统

Also Published As

Publication number Publication date
WO2009026156A1 (en) 2009-02-26
CA2696190C (en) 2014-02-18
EP2176812A1 (en) 2010-04-21
CN101828191B (zh) 2014-12-17
EP2176812B1 (en) 2016-04-13
CA2696190A1 (en) 2009-02-26
US9202098B2 (en) 2015-12-01
EP2176812A4 (en) 2014-04-30
US20110149067A1 (en) 2011-06-23
DE08827781T1 (de) 2010-08-26

Similar Documents

Publication Publication Date Title
CN101828191B (zh) 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统
CN106156778B (zh) 用于识别机器视觉系统的视野中的已知对象的方法
CN110069972A (zh) 自动探测真实世界物体
CN109977813A (zh) 一种基于深度学习框架的巡检机器人目标定位方法
KR100884100B1 (ko) 항공 레이저 측량을 이용한 수목 캐노피 추출 시스템 및 방법
CN109886217A (zh) 一种基于卷积神经网络从近岸海浪视频中检测浪高的方法
US20070035436A1 (en) Method to Provide Graphical Representation of Sense Through The Wall (STTW) Targets
CN111598098B (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
WO2019048597A1 (en) METHOD FOR ANALYZING SENSOR DATA RELATING TO A WIND TURBINE
JP2003065812A (ja) 計器表示の画像情報に基く数値データ化システム
GB2394543A (en) Positional measurement of a feature within an image
CN108596117A (zh) 一种基于二维激光测距仪阵列的场景监控方法
CN106202140A (zh) 数据浏览装置和数据浏览方法
CN117836800A (zh) 植被管理系统和植被管理方法
CN116128883A (zh) 一种光伏板数量统计方法、装置、电子设备及存储介质
CN115372877B (zh) 基于无人机的变电站的避雷器泄露电流表计巡检方法
CN111931573A (zh) 基于yolo进化深度学习模型的安全帽检测与预警方法
CN116659396A (zh) 一种基于点光源检测的直升机机载旋翼桨尖位移测量方法
Graves et al. Development of an intelligent videogrammetric wind tunnel measurement system
Singh et al. Vidaq: A framework for monitoring human machine interfaces
CN115660452A (zh) 一种基于前后端分离技术的海洋环境效能评估系统
Hsieh et al. Automatic precipitation measurement based on raindrop imaging and artificial intelligence
JP2021056707A (ja) 車両シミュレーションシステム、車両シミュレーション方法およびコンピュータプログラム
KR102588415B1 (ko) 인공지능 기반 cctv 영상정보와 관측자료를 이용한 이안류 예측 방법 및 그 장치
Yao et al. Automatic identification system of aircraft cockpit indicators based on machine vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant