CN204415685U - 一种船只和适于与该船只一起使用的一种控制元件 - Google Patents

一种船只和适于与该船只一起使用的一种控制元件 Download PDF

Info

Publication number
CN204415685U
CN204415685U CN201190001029.1U CN201190001029U CN204415685U CN 204415685 U CN204415685 U CN 204415685U CN 201190001029 U CN201190001029 U CN 201190001029U CN 204415685 U CN204415685 U CN 204415685U
Authority
CN
China
Prior art keywords
image
user
ship
mode
control element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201190001029.1U
Other languages
English (en)
Inventor
A·C·泰希
A·弗莱切特
J·D·弗兰克
J·T·乌拉韦
A·A·理查兹
P·B·理查森
N·霍根斯特恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teledyne Flir LLC
Original Assignee
Flir Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems Inc filed Critical Flir Systems Inc
Application granted granted Critical
Publication of CN204415685U publication Critical patent/CN204415685U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00Arrangements of nautical instruments or navigational aids
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本文公开的系统和方法提供了海上控制元件的各种实施方式。例如,在一种实施方式中,适于与船只一起使用的控制元件包括:适于将控制元件安装到船只的方向盘上的安装部件;控制元件的模式选择器,其适于接收和发送对应于用户从多个可选择的操作模式中选择的操作模式的第一用户输入信号,可选择的操作模式包括地图模式、声纳模式、寻鱼仪模式、雷达模式、自动驾驶方式模式、娱乐模式和/或海上模式。控制元件还包括增加/降低致动器,其适于接收和发送对应于在用户选择的操作模式中的用户选择的第二用户输入信号。还提供了显示控制的船只和方法的实施方式。

Description

一种船只和适于与该船只一起使用的一种控制元件
相关申请的交叉引用
该部分继续专利申请要求下述申请的权益及优先权:于2007年11月28日提交的美国专利申请11/946,801,通过引用将该申请全文并入本文中。
技术领域
本申请涉及成像系统的控制,具体地,涉及用于海上应用的成像系统的显示控制。
背景技术
各种成像装置和操作模式可以用于在海上应用中捕获图像,例如用于在多功能显示器上显示。例如,红外摄像机用在各种成像应用中以捕获红外图像并且可以用于海上应用以增加海上船员在各种条件下的可视性。然而,红外摄像机的常规海上实施方法通常有很多缺陷。
常规系统的一个缺陷在于:用户在检视到红外图像时通常不能够在不同处理技术之间切换,或者用户可能难以确定优选设置。另一缺陷在于:在已经执行了初始处理之后,用户控制的处理可能导致滞后捕获,这通常减弱了用户的输入和控制,并且可能导致比期望显示的图像更少。此外,常规多功能显示器的缺陷已经成为不同视角或操作模式之间的简易切换中的难点,或者成为在用户的双手被占用(例如执行与控制船只相关的任务)时在特定操作模式下调整显示器输出的难点。
因此,需要改进的装置和技术以向显示器(例如,连接到成像装置)提供简单可选择的观察控制。还需要改进的用于海上应用的处理技术。
实用新型内容
本文公开的根据一种或多种实施方式的系统、装置和方法提供了一种控制元件、船只以及用于例如海上应用的显示控制的方法。例如,根据一种实施方式,一种控制元件,适于与船只一起使用,该船只具有用于捕捉图像的至少一个图像捕捉元件、适于存储捕捉的图像的存储元件、显示元件、以及适于从所述存储元件提取图像并将提取的图像显示在所述显示元件上的处理元件,其特征在于,该控制元件包括:安装部件,适于将控制元件安装到船只的方向盘上;模式选择器,其适于接收用户输入从而提供第一用户输入信号,其中,控制元件配置成将第一用户输入信号发送至处理元件;及增加/降低致动器,其适于接收用户输入进而提供第二用户输入信号,其中,控制元件配置成将第二用户输入信号发送至处理元件。
其中,安装部件包括皮带、垫片和钮扣中的一种,并且其中,增加/降低致动器包括正按钮和负按钮、向上按钮和向下按钮、切换开关、旋钮或滑杆。
其中,模式选择器和增加/降低致动器位于方向盘的突出部上,并且,其中该突出部配置为由用户把持以辅助旋转船只的方向盘。
其中,控制元件包括发送机和/或收发机,用于无线地发送第一用户输入信号和第二用户输入信号。
根据本公开文本的另一实施方式,一种船只包括:连接到船只上(例如,船只周围)的用于捕捉图像的至少一个图像捕捉元件、适于存储捕捉的图像的存储元件、显示元件;以及适于从所述存储元件提取图像并将提取的图像显示在显示元件上的处理元件;配置为与处理元件和/或显示元件通信的控制元件,其特征在于,该控制元件包括:模式选择器,其适于接收用户输入从而提供第一用户输入信号,其中,控制元件配置用于将第一用户输入信号通信至处理元件和/或显示元件;及增加/降低致动器,其适于接收用户输入以提供第二用户输入信号,其中,控制元件配置成将第二用户输入信号发送至处理元件和/或显示元件。
其中,增加/降低致动器包括正按钮和负按钮、向上按钮和向下按钮、 切换开关、旋钮或滑杆,其中控制元件安装到船只的方向盘上。
其中,处理元件还适于接收第一和第二用户输入信号,并且,其中所述至少一个图像捕捉元件包括红外摄像机、雷达和声纳。
其中,船只还包括感应元件,其适于为处理元件提供环境信息。
其中,船只还包括船只的方向盘,其中,控制元件具有从船只的方向盘上突出的旋钮的形状因素,并且该旋钮被配置为由用户把持以辅助旋转船只的方向盘。
其中,控制元件包括发送机和/或收发机,用于无线地发送第一用户输入信号和第二用户输入信号。
根据本公开文本的又一实施方式,一种方法包括接收与用户从多种可选择的操作模式中选择的操作模式相对应的第一用户输入信号,所述多种可选择的操作模式包括地图模式、声纳模式、寻鱼仪模式、雷达模式、自动驾驶方式模式、娱乐模式和/或海上模式;该方法还包括将第一用户输入信号发送至处理元件,以根据第一用户输入信号控制显示元件;接收与用户选择的操作模式中增加或降低选择相对应的第二用户输入信号;以及将第二用户输入信号发送至处理元件,以根据第二用户输入信号控制显示元件。
本公开文本的范围由权利要求限定,通过引用将权利要求合并至本部分中。通过考虑下文中一个或多个实施方式的详细说明,将给本领域技术人员提供对本公开文本的实施方式的更全面理解及其额外优势的实现。下文将参考附图,首先简要地介绍附图。
附图说明
图1A-1B示出了根据本公开各种实施方式的用于捕捉和处理图像(例如红外图像)的各种成像系统的框图。
图1C-1D示出了根据本公开各种实施方式的成像系统的各种配置的框图。
图1E-1F示出了根据本公开各种实施方式的成像系统的各种视角的框图。
图2示了根据本公开的实施方式的用于捕捉和处理图像的方法的框图。
图3A-3F示出了根据本公开各种实施方式的红外处理技术的框图。
图4示出了根据本公开各种实施方式的红外处理技术的概览的框图。
图5示出了根据本公开的实施方式的用于在不同操作模式之间进行选择的红外成像系统的控制元件的框图。
图6示出了根据本公开的实施方式的成像系统的图像捕捉元件的实施方式的框图。
图7示出了根据本公开的实施方式的用于监测红外成像系统的图像数据的方法的实施方式的框图。
图8A和8B示出了根据本公开的实施方式的用于在不同操作和/或显示模式之间进行选择的成像系统的控制元件的实施方式的框图。
图9A和9B示出了根据本公开的实施方式的包括控制元件、海上舵轮以及多功能显示器的系统。
图10A和10B示出了根据本公开的实施方式的在图9A和9B中示出的控制元件的不同视图。
图11示出了根据本公开另一实施方式的用于在不同操作和/或显示模式之间进行选择的另一控制元件。
图12示出了根据本公开的实施方式用于显示控制的方法的框图。
图13示出了根据本公开各种实施方式的用于显示控制的第一和第二用户输入选择的概览的框图。
图14A和14B示出了根据本公开另一实施方式的用于在不同操作和/或显示模式之间进行选择的另一控制元件。
通过参阅下文的详细说明将最佳地理解本公开文本的实施方式及其优势。应该意识到,类似的附图标记用于标识一个或多个附图中的类似元 件。
具体实施方式
根据本公开的实施方式,图1A示出了用于捕捉和处理图像(例如,通过红外、雷达和/或声纳)的成像系统100A的框图。成像系统100A包括处理元件110、存储元件120、图像捕捉元件130、显示元件140、控制元件150以及可选的感应元件160。
在各种实施中,成像系统100A可以代表用于捕捉诸如图像170(例如,对象或场景的图像)的图像的红外成像设备(例如红外摄像机)。成像系统100A可以代表任意类型的红外摄像机,举例来说,该红外摄像机检测红外辐射并且提供有代表数据(例如,一个或多个快照或视频红外图像)。例如,成像系统100A可以代表指向近、中和/或远红外光谱的红外摄像机。成像系统100A可以包括便携式设备,并且举例来说,可以结合到任意类型的需要存储和/或显示红外图像的交通工具(例如:船只、陆基交通工具、飞行器或航空器)或者非移动设备中。在其他实施中,成像系统100A可以代表用于捕捉图像(例如图像170)的雷达成像设备和/或声纳成像设备,并且控制元件150和显示元件140可以被作为单个元件安置,用于与彼此通信和/或与其他系统元件通信,如下文将详细描述的那样。在另一种实施方式中,成像系统100A可以代表利用电磁和/或声谱的其他或不同部件的成像设备。
在一种实施方式中,处理元件110包括微处理器、单核处理器、多核处理器、微控制器、逻辑设备(例如:配置用于执行处理功能的可编程逻辑设备)、数据信号处理(DSP)设备或者一些其他类型的公知处理器。处理元件110适于与元件120、130、140、150和160交互和通信以执行本文描述的方法和处理步骤。处理元件110可以包括一个或多个模式模块112A-112N以在一种或多种操作模式下运行,这将在下文详细描述。在一种实施方式中,模式模块112A-112N定义那些可以嵌入在处理元件110中或存储在存储元件120中以供处理元件110访问和执行的功能(例如,预设显示功能)。此外,处理元件110可以适于以如本文所述的方式执行各种 其他操作(例如,各种类型的图像处理算法)。
在各种实施方式中,应该意识到,模式模块112A-112N中的每一个都可以集成在软件和/或硬件中,作为处理元件110的一部分,或作为用于与每个模式模块112A-112N相关的每种操作模式的代码(例如,软件或配置数据),其可以存储在存储元件120中。本文公开的模式模块112A-112N的实施方式(即,操作模式)可以由独立的计算机可读介质(例如:诸如硬盘驱动器、光盘、数字视频盘或闪存的存储器)存储以由计算机(例如,逻辑或基于处理器的系统)执行,从而实现本文公开的各种方法。在一个实例中,计算机可读介质可以是便携的和/或与成像系统100A分离,通过将计算机可读介质连接到成像系统100A和/或通过成像系统100A从计算机可读介质(举例来说,对于一种或多种实施方式如存储元件120所表示)下载(例如经由有线和无线链接)模式模块112A-112N而将存储的模式模块112A-112N提供给成像系统100A。如本文更详细描述的那样,在一种实施方式中,模式模块112A-112N为实时应用提供了改进的红外摄像机处理技术,其中,用户或操作人员可以在观察显示元件140上的图像同时改变模式。在其他实施方式中,举例来说,当利用雷达、声纳或其他感应技术时,模式模块112A-112N为不同的实时成像应用提供了处理技术。
在一种实施方式中,存储元件120包括一个或多个用于存储数据和信息的存储设备。该一个或多个存储设备可包括各种类型的存储器,包括易失性和非易失性存储设备,例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除只读存储器)、闪存,等等。处理元件110适于执行存储在存储元件120中的软件,从而以本文描述的方式执行方法、程序和/或操作模式。
在一种实施方式中,图像捕捉元件130包括一个或多个红外传感器(例如,任意类型的红外探测器,例如焦平面阵列),以捕捉代表图像(例如图像170)的红外图像信号。在其他实施方式中,图像捕捉元件130包括一个或多个可见光、雷达和/或声纳传感器,以捕捉代表图像(例如图像170)的图像信号。举例来说,对于可见光摄像机而言,可以使用任意类型的可见光摄像机,包括低光可见摄像机(例如:基于电子倍增电荷耦合 装置(EMCCD)的摄像机)在其他实施方式中,图像捕捉元件130包括一个或多个电磁或声谱传感器以捕捉图像信号。
在一种实施中,图像捕捉元件130的传感器用于将捕捉到的图像170的图像信号表示(转换)为数字数据(例如,经由作为传感器的一部分的或与传感器分离而作为成像系统100A的一部分的模数转换器)。处理元件110可以适于从图像捕捉元件130接收图像信号、处理图像信号(例如,用于提供处理过的图像数据)、将图像信号或图像数据存储在存储元件120中和/或从存储元件120中提取存储的图像信号。处理元件110可以适于处理存储在存储元件120中的红外、雷达、声纳和/或其他电磁/声谱图像信号,从而为显示元件140提供用于用户检视的图像数据(例如:捕捉的和/或处理的图像数据)。
在一种实施方式中,显示元件140包括图像显示设备(例如:液晶显示器(LED))或各种其他类型的公知视频显示器或监测器。处理元件110可以适于在显示元件140上显示图像数据和信息。处理元件110还可以适于从存储元件120中提取图像数据和信息并将任何检索到的图像数据和信息显示在显示元件140上。显示元件140可以包括显示电子设备,其可以由处理元件110使用以显示图像数据和信息(例如:红外、雷达和/或声纳图像)。显示元件140可以经由处理元件110直接从图像捕捉元件130接收图像数据和信息,或者图像数据和信息可以从存储元件120经由处理元件110传输。在一种实施中,处理元件110最初可以处理捕捉的图像并以一种模式(对应于模式模块112A-112N)呈现处理过的图像,随后在用户输入到控制元件150之后,处理元件110可以将当前的模式切换到不同的模式,从而以不同的模式在显示元件140上检视处理过的图像。切换可以指应用用于实时应用的模式模块112A-112N的红外摄像机、雷达、声纳或其他感应处理技术,其中,用户或操作人员可以在检视显示元件140上的图像时基于用户对控制元件150的输入而改变模式。
在一种实施方式中,控制元件150包括用户输入和/或接口设备,该设备具有一个或多个用户致动元件(例如选择器),例如一个或多个按钮、弹板(flipper)、拨动开关、滑块、旋钮和/或键盘,这些装置适于生成一个 或多个用户致动的输入控制信号。注意,应该从本公开文本理解到,术语“按钮”和术语“致动器”可以指任意类型的用户输入致动的选择器元件。控制元件150可以适于集成为显示元件140的一部分,从而既作为用户输入设备,又作为显示设备,举例来说,例如适于根据用户触摸显示屏的不同部分而接收输入信号的触摸屏设备。处理元件110可以适于感应来自控制元件150的控制输入信号并且响应从其接收的任何感应的控制输入信号。处理元件110可以适于将控制输入信号解释为值,这将在本文中更详细地描述。
在一种实施方式中,控制元件150可包括具有一个或多个按钮(例如选择器)控制面板单元(例如有线或无线的手持或方向盘安装的控制单元),这些按钮适于与用户交互并且接收用户输入控制值,如图5(控制面板单元500)和图8A-11及14A-14B(例如方向盘控制元件800A、800B、950、1150和1450)以及本文进一步描述的那样。在各种实施中,控制面板单元的一个或多个按钮可以用于在不同操作模式之间进行选择,如本文结合图2-4以及12-13描述的那样。例如,可以实施仅一个按钮,其仅由操作人员用以循环各种操作模式(例如:地图模式、声纳模式、探鱼仪模式、自动驾驶方式模式、雷达模式、娱乐模式、海上模式),其中,选择的模式标明在显示元件140上。在各种其他实施中,应该意识到,控制面板单元可以适于包括一个或多个其他按钮,以提供成像系统100A的各种其他控制功能,例如:自动对焦、菜单使能和选择、视场(FOV)、亮度、对比度、增益、偏移、空间、时间、放大、敏感性、自动驾驶方式模式、范围、音量、光盘轨道、图像处理的海上模式和/或各种其他特征和/或参数。在另一种实施中,用户或操作人员可以基于选择的操作模式调整可变的增益值。
在另一种实施方式,控制元件150可以包括图形用户界面(GUI),其可以集成为显示元件140(例如,用户致动的触摸屏)的一部分,举例来说,该图像用户界面具有适于与用户交互并接收用户输入控制值的按钮的一个或多个图像。
在一种实施方式中,可选的感应元件160包括一种或多种不同类型的 传感器,包括环境传感器,根据期望的应用或实施要求,该环境传感器为处理元件110提供信息。处理元件110可以适于与感应元件160通信(例如,通过从感应元件160接收传感器信息)并且与图像捕捉元件130通信(例如,通过从图像捕捉元件130接收数据并且将命令、控制或其他信息提供给成像系统100A的其他元件和/或从成像系统100A的其他元件接收命令、控制或其他信息)
在各种实施方式中,可选的感应元件160可以提供与环境状况相关的数据和信息,例如外部温度、光照条件(例如,白天、晚上、黄昏和/或黎明)、湿度水平、具体天气状况(例如:晴天、下雨和/或下雪)、距离(例如激光测距仪)和/或是否进入或离开隧道、覆盖的码头或某些类型的封闭物。可选的感应元件160可以代表本领域技术人员公知的常规传感器以监测各种状况(例如环境状况),这些状况可能对图像捕捉元件130所提供的数据有影响(例如,在图像外观方面)。
在一些实施方式中,可选的感应元件160(例如,一个或多个传感器)可以包括将信息经由无线通信中继给处理元件110的设备。例如,感应元件160可以从卫接收信息,通过本地广播(例如射频)传输、通过移动或蜂窝网络和/或通过基础设施(例如:传输或高速公路信息信标基础设施)中的信息信标或各种其他有线或无线技术。
在各种实施方式中,根据需要或取决于应用或需求,成像系统100A的元件可以组合和/或实施,或者不被组合和/或实施,其中成像系统100A代表系统的各种功能块。例如,处理元件110可以与存储元件120、图像捕捉元件130、显示元件140、控制元件和/或感应元件160组合。在另一实例中,处理元件110可以与图像捕捉元件130组合,并且仅处理元件110的某些功能由图像捕捉元件130内的电路(例如:处理器、微处理器、微控制器、逻辑设备等)执行。在又一实例中,成像系统100A的元件可以分布在联网或链接的系统内部。在再一实例中,控制元件150可以与一个或多个其他元件组合,或者可以经由控制线或无线连接远程地连接到至少一个其他元件上以为其提供控制信号,其他元件例如处理元件110和/或显示元件140。例如,控制元件150可包括发送机和/或收发机以与成像系统 100A的其他部分进行无线通信。
根据本公开文本的另一实施方式,图1B示出了用于捕捉和处理图像(例如,红外、声纳、雷达和/或其他电磁/声谱图像)的成像系统100B的框图。在一种实施方式中,成像系统100B包括处理元件110、接口元件118、存储元件120、一个或多个图像捕捉元件130A-130N、显示元件140、控制元件150以及可选的感应元件160。应该意识到,图1B的成像系统100B的各种元件在功能和范围上类似于图1A的成像系统100A的元件,本文更详细地描述了系统100A、100B之间的区别。
在各种实施中,成像系统100B可以表示一个或多个用于捕捉图像(例如图像170A-170N)的成像设备,例如一个或多个红外摄像机。一般而言,成像系统100B可以利用多个红外摄像机,举例来说,红外摄像机检测红外辐射并且提供代表数据(例如,一个或多个快照或视频红外图像)。例如,成像系统100B可以包括一个或多个定向为近、中和/或远红外光谱的红外摄像机。如本文所公开的那样,举例来说,成像系统100B可以结合到任意类型的需要存储和/或显示红外图像的交通工具(例如:船只(水基交通工具)、陆基交通工具、飞行器或航空器)或者非移动设施中。在其他实施中,成像系统100B可以代表用于捕捉图像的雷达成像设备和/或声纳成像设备,并且控制元件150和显示元件140可以被安置为配置用于与彼此和/或成像系统其他系统元件通信的独立元件,如下文将详细描述的那样。在另一种实施中,成像系统100B可以代表利用电磁和/或声谱的其他或不同部件的成像设备。
处理元件110适于与多个元件(包括系统100B的元件118、120、130A-130N、140、150和/或160)交互和通信以执行本文描述的方法和处理步骤。处理元件110可以包括一个或多个模式模块112A-112N以在一种或多种操作模式下运行,这将在下文详细描述。处理元件110可以适于以如本文所述的方式执行各种其他类型的图像处理算法。
在一种实施方式中,接口元件118包括通信设备(例如:调制解调器、路由器、交换机、集线器或以太网卡),其允许每个图像捕捉元件130A-130N和处理元件110之间的通信。因此,处理元件110适于经由接口元件118 从每个图像捕捉元件130A-130N接收图像信号(例如:红外、雷达、声纳,等)。
在各种实施方式中,每个图像捕捉元件130A-130N(其中,N代表任意期望的数值)包括一个或多个红外、雷达、声纳或其他电磁/声学传感器(例如:任意类型的红外探测器,例如焦平面阵列,或者任意类型的雷达或声纳传感器/扫描仪),以捕捉表示图像(例如一个或多个图像170A-170N)的图像信号。在一种实施中,图像捕捉元件130A的传感器用于将例如图像170A的捕捉到的图像信号表示(例如转换)为数字数据(例如:经由作为传感器的一部分的或与传感器分离而作为成像系统100B的一部分的模数转换器)。因此,处理元件110可以适于经由接口元件118从每个图像捕捉元件130A-130N接收图像信号、处理图像信号(例如,用于提供处理过的图像数据,或者可以由每个图像捕捉元件130A-130N提供处理过的图像数据)、将图像信号或图像数据存储在存储元件120中和/或从存储元件120中提取存储的图像信号。处理元件110可以适于处理存储在存储元件120中的图像信号,从而为显示元件140(例如,一个或多个显示器)提供用于用户检视的图像数据(例如:捕捉的和/或处理的图像数据)。
在作为示例的一种实施中,简要地参考图6,每个图像捕捉元件130A-130N可以包括一个或多个元件,包括第一摄像机元件132、第二摄像机元件134和/或探照灯元件136。在图6所示的一种实施方式中,第一摄像机元件132适于以本文描述的方式捕捉红外图像,第二摄像机元件134适于捕捉可见光光谱中的彩色图像,并且探照灯元件136适于为一个或多个图像170的图像边界内(例如,位于第一摄像机元件132和/或第二摄像机元件134的视场内)的位置提供光束。本文详细地描述了与这些元件中的每一个相关的其他范围和功能。
图1C示出了成像系统100B的俯视图,根据本公开文本的一种实施方式,该成像系统100B具有多个安装到船只180上的图像捕捉元件130A-130D(例如:红外摄像机、雷达传感器或声纳传感器)。在各种实施中,图像捕捉元件130A-130D可以包括任意类型的适于捕捉一个或多个红 外图像的红外摄像机(例如红外探测器设备)、任意类型的适于捕捉一个或多个雷达图像的雷达传感器、和/或任意类型的适于捕捉一个或多个声纳图像的声纳传感器。船只180可以表示任意类型的船只(例如:船、游艇、船舶、游轮、油轮、商船、军舰等等)。
如图1C所示,多个图像捕捉元件130A-130D可以以一种配置安装在船只180上的不同位置,安装方式使得能够提供船只180周围的一个或多个视场。在各种实施中,可以安装图像捕捉元件130A以提供船只180的船头182(例如:前部或前部)的前方或周围的视场。如进一步示出的那样,可以安装图像捕捉元件130B以提供船只180的左舷184(例如:当向前朝向船头182时的左侧)的侧部或周围的视场。如进一步示出的那样,可以安装图像捕捉元件130B以提供船只180的右舷186(例如:当向前朝向船头182时的右侧)的侧部或周围的视场。如进一步示出的那样,可以安装图像捕捉元件130D以提供船只180的船尾188(例如:后部或尾部)的后方或周围的视场。
因此,在一种实施中,可以围绕船只180的周围安装多个图像捕捉元件130A-130D以提供其附近的视场。作为实例并且如本文进一步讨论的那样,船只180可以结合成像系统100B以提供落水检测、在各种海上操作模式期间(例如,船只180的夜间入坞、夜间巡航和/或白天巡航)提供辅助和/或提供各种信息,例如在雾气状况期间提供改进的图像清晰度,或者提供地平线和/或海岸线的可视指示。
图1D示出了成像系统100B的俯视图,根据本公开文本的一种实施方式,该成像系统100B具有多个安装到船只180的控制塔190(例如桥)上的图像捕捉元件130E-130H(例如:红外摄像机)。如图1D所示,多个图像捕捉元件130E-130H可以以一种配置在船只180上的不同位置安装到控制塔190上,安装方式使得能够提供船只180周围的一个或多个视场。在各种实施中,可以安装图像捕捉元件130E以提供船只180的船头182的视场。如进一步示出的那样,可以安装图像捕捉元件130F以提供船只180的左舷184的视场。如进一步示出的那样,可以安装图像捕捉元件130G以提供船只180的右舷186的视场。如进一步示出的那样,可以安装图像 捕捉元件130H以提供船只180的船尾188的视场。因此,在一种实施中,可以在船只180的控制塔190周围安装多个图像捕捉元件130E-130H以提供其附近的视场。此外,如图所示,图像捕捉元件130B和130C也可以安装在船只180的控制塔190上。
图1E示出了成像系统100B的左舷侧视图,根据本公开文本的实施方式,该成像系统100B具有安装到船只180上的图1B的左舷侧图像捕捉元件130B。参考图1E,图像捕捉元件130B提供了船只180周围的左舷侧视场。
在一种实施中,图像捕捉元件130B可以提供船只180的左舷侧图像的视场。在另一种实施中,左舷侧视场可以分段成多个视场B1-B6。例如,图像捕捉元件130B可以适于提供左舷侧视场的一个或多个分段的狭窄视场,包括一个或多个向前的左舷侧视场B1-B3和一个或多个向后的左舷侧视场B4-B6。在又一种实施中,如图6所示,图像捕捉元件130B可以包括多个图像捕捉元件132(以及可选的多个图像捕捉元件134)以提供船只180的整个左舷侧视场内的多个分段的或狭窄的视场B1-B6
如图1E中进一步示出的那样,船只180的左舷侧视场B1-B6可以延伸通过从图像捕捉元件130B至船只180附近的水面198的可视范围。然而,在各种实施中,取决于利用的红外探测器的类型(例如,红外摄像机的类型,红外光谱的期望波长或部分,以及本领域内技术人员将理解的其他相关因素),可视范围可包括水面198之下的一部分。
图1F示出了根据本公开文本的实施方式的在安装到船只180上的左舷侧图像捕捉元件130B的左舷侧视场内定位和识别落水人员的实例。在一种实施方式中,图像捕捉元件130B可以用于识别和定位船只180的落水人员(例如,在狭窄的左舷侧视场B3内)。一旦识别和定位了落水人员,成像系统100B的处理元件110可以控制或提供信息(例如转向到队列(slew-to-queue))给左舷侧视场B3内的位置探照灯元件136以辅助视觉识别和营救落水人员。应该理解到,探照灯元件136可以与图像捕捉元件130B分离(例如,分离地置放和/或控制),或者可以形成为图像捕捉元件130B的一部分(例如:位于同一壳体或封装物内)。本文详细地描述了与 这种程序相关的其他范围和功能。
图2示了根据本公开实施方式的用于捕捉和处理图像的方法200。出于简化图2的讨论的目的,可以将图1A、1B的成像系统100A、100B参考作为可执行方法200的系统、设备或装置的实例。
参考图2,利用成像系统100A、100B捕捉了(框210)图像(例如红外、雷达或声纳图像信号)。在一种实施中,处理元件110促使(例如使得)图像捕捉元件130捕捉图像,例如,图像170。在从图像捕捉元件130接收捕捉的图像之后,处理元件110可以可选地将捕捉的图像存储在存储元件120中以进行处理。
然后,捕捉的图像可以可选地被预处理(框215)。在一种实施中,预处理可以包括获得与捕捉的图像相关的红外、雷达和/或声纳传感器数据、应用修正项和/或应用瞬时噪声降低以在进一步处理之前提高图像质量。在另一种实施中,处理元件110可以直接预处理捕捉的图像或可选地提取存储在存储元件120中的捕捉的图像,然后预处理该图像。预处理的图像可以可选地存储在存储元件120中以进行进一步处理。
随后,可以获得选择的操作模式(框220)。在一种实施中,选择的操作模式可以包括可从控制元件150(例如:图5的控制面板单元500,或图8A、8B、9A-10B、11和14A-B中的方向盘控制元件800A、800B、950、1150和1450)获得或接收的用户输入控制信号。在各种实施中,操作模式可以选自下述模式中的至少一种:地图模式、声纳模式、探鱼仪模式、自动驾驶方式模式、雷达模式、娱乐模式和/或海上模式,并且选择的海上操作模式可以选自下述中的至少一种:夜间入坞、人员落水、夜间巡航、白天巡航、雾气状况和/或海岸线模式。因此,处理元件110可以与控制元件150通信以获得如用户输入的选择的操作模式和/或显示调整。这些操作模式在本文中详细地被描述,并且这些操作模式可以包括使用一种或多种图像处理算法并且可使用有线或无线通信。
在一种或多种实施中,操作模式可以包括并且可以指图像的预设处理和显示功能,并且在一个实例中,红外成像器和红外摄像机适于在将数据显示给用户之前处理红外传感器数据。在其他实例中,利用雷达、声纳或 其他电磁/声谱的其他类型的收发机可以适于在将数据显示给用户之前处理传感器数据。一般而言,显示算法尝试以一种有效的方式将场景(即,视场)信息呈现给用户。在一些情况下,红外图像处理算法被用于在各种状况下呈现良好的图像,并且红外图像处理算法为用户提供了一种或多种选择来调整参数和以“手动模式”(例如:用户可选择的那些模式)运行摄像机。一方面,可以通过隐藏高级手动设置而简化成像系统100A、100B。另一方面,可以在海上应用中实施不同状况的预设图像处理的概念。
下面,参考图2,根据选择的操作模式以本文详细的方式处理图像(框225),操作模式例如:地图模式、声纳模式、探鱼仪模式、自动驾驶方式模式、雷达模式、娱乐模式和海上模式。在一种实施中,处理元件110可以将处理过的图像存储在存储元件120中以供显示。在另一种实施中,处理元件110可以提取存储在存储元件120中的处理过的图像,并且将该处理过的图像显示在显示元件150上以供用户检视。
随后,以本文详细描述的方式确定是否以夜间模式显示处理过的图像(框230)。如果结果为是,则处理元件110配置显示元件140以将夜间彩色调色板应用到处理过的图像上(框235),并且以夜间模式显示处理过的图像(框240)。例如,在夜间模式下(例如,对于夜间入坞、夜间巡航或在夜间操作的其他模式),可以以红色调色板或绿色调色板显示图像,从而为用户改进夜视能力。否则,如果不需要夜间模式,则以非夜间模式(例如:黑热(black hot)或白热调色板(white hot palette))的方式显示处理过的图像(框240)。
在各种实施中,显示图像的夜间模式指利用红色调色板或绿色调色板以当调整到低光照条件时在黑暗中辅助用户或操作人员。在成像系统100A、100B的夜间操作期间,人在黑暗的视觉能力可能受到显示器上的明亮图像的致盲效应的损害。因此,夜间模式设置将彩色调色板从标准黑热或白热调色板改变成红色或绿色调色板显示。一方面,公知红色或绿色调色板大体上较少地干扰人类的夜间视觉能力。在一个实例中,对于红绿蓝(RGB)类型的显示器,可以禁用绿色和蓝色像素,从而为红色调色板增强红色。在另一实施中,如本文所述,夜间模式显示可以与成像系统 100A、100B的任何其他操作组合,并且成像系统100A、100B在夜间的默认显示模式可以是夜间模式显示。
此外,在各种实施中,某些图像特征可以被大致地标记出来(用颜色标示或彩色化、高亮或用其他标记标识),例如在图像处理期间(框225)或处理过的图像的显示期间(框240),从而在检视显示的图像时辅助用户识别这些特征。例如,如本文所述,在人员落水模式期间,疑似人员(例如,或者其他暖体动物或对象)可以在显示的图像中用蓝色(或者其他颜色或标记类型)相对于黑和白的调色板或夜间彩色调色板(例如,红色调色板)标记出来。作为另一实例,如本文所述,在夜间或白天巡航模式和/或雾气状况模式期间,可以在显示的图像中利用黄色(或其他颜色或标记类型)将水中潜在的危险标记出来以辅助用户检视显示器。举例来说,和图像彩色化相关的其他细节可以在美国专利6,849,849中找到,通过引用将该专利全文并入本文中。
在各种实施中,处理元件110可以实时切换捕捉的图像的处理模式并且在从控制元件150接收用户输入之后将显示的处理过的图像从一种模式(对应于模式模块112A-112N)改变到不同的模式。因此,处理元件110可以将显示的当前模式切换到显示的不同模式,从而便于用户或操作人员在显示元件140上检视处理过的图像。切换可以指应用用于实时应用的模式模块112A-112N的图像处理技术,其中,用户或操作人员可以在检视显示元件140上的图像时基于用户对控制元件150的输入而改变显示的模式。
图3A-3E示出了根据本公开各种实施方式的海上模式的红外处理技术的框图。如本文所述,成像系统100A、100B可以适于在不同的操作模式之间切换,从而改进提供给用户或操作人员的红外图像和信息。
图3A示出了结合图2的框225描述的红外处理技术300的一种实施方式。在一种实施中,红外处理技术300包括用于海上应用的夜间入坞操作模式。例如,在夜间入坞时,船只或海轮位于港口、防波堤或码头附近,这些位置具有邻近结构,包括桥墩、浮标、其他船只、陆地上的其他结构。热红外成像仪(例如:成像系统100A、100B)可被用作导航工具以发现 正确的入坞点。成像系统100A、100B产生红外图像,该红外图像在入坞船只期间辅助用户或操作人员。有很大的可能性在图像中出现热点,例如:船坞灯光、通风口和运行的电机,它们对场景显示的方式的影响可能微乎其微。
参考图3A,对输入图像进行了直方图均衡和缩放(例如0-511)以形成直方图均衡部分(框302)。随后,输入图像被线性缩放(例如0-128),而使最高和最低(例如1%)饱和以形成线性缩放部分(框304)。然后,直方图均衡的部分和线性缩放的部分相加到一起以形成输出图像(框306)。此后,输出图像的动态范围被线性地映射以符合显示元件140(框308)。应该意识到,程序300执行的框顺序可以以不同的顺序执行,而不脱离本公开文本的范围。
在一种实施方式中,夜间入坞模式适用于存在大量热杂波的图像设置,例如海港、港口或锚地。这种设置可允许用户检视场景而不使热对象离焦。因此,举例来说,当在低可见度下入坞船只时,用于夜间入坞模式的红外处理技术300对于海上应用中的态势感知是有用的。
在各种实施中,在选择夜间入坞模式时的处理图像期间,对图像进行直方图均衡化以通过移除直方图中“孔洞(hole)”而压缩动态范围。该直方图可以高地限制的,从而大的均匀区域(例如天空或水分量)不会被给出太大的对比度。例如,输出图像的动态范围的大约20%可以被保留以用于非直方图均衡的图像的直线映射。举例来说,在线性映射中,像素值的最低的1%被映射到0,则输入像素的最高1%被映射到显示范围的最大值(例如235)。一方面,最终输出图像成为直方图均衡化的和线性(具有1%“异常值(outlier)”剪切)映射的图像的加权总和。
图3B示出了结合图2的框225描述的红外处理技术320的一种实施方式。在一种实施中,红外处理技术320包括用于海上应用的人员落水操作模式。例如,在人员落水操作模式中,成像系统100A、100B可以调整到寻找水中人员的具体任务。水中人员和船只之间的距离可能是未知的,并且人员可以在直径上仅为若干像素或者明显地较大(如果靠近船只的话)。一方面,即使人员可能靠近船只,人员可能不具有足够的热特征以 被清楚地看见,因此,人员落水显示模式可以以下述情况为目标:人员具有弱的热对比并且离得足够远,从而在没在成像系统100A、100B的辅助的情况下不会被清楚地看见。
参考图3B,成像系统100A、100B的图像捕捉元件130(例如红外摄像机)的定位用于决定或识别地平线(框322)。在一种实施中,移动红外摄像机,从而使得地平线处于视场(FOV)的上部。在另一种实施中,还可以沿着地平线标识出海岸线。然后,对图像应用高通滤波器(HPF)以形成输出图像(框324)。此后,输出图像的动态范围被线性地映射以配合显示元件140(框326)。应该意识到,程序320执行的框顺序可以是不同的顺序,而不脱离本公开文本的范围。
在一个实例中,地平线标识可以包括海岸线标识,并且地平线和/或海岸线可以由重叠在热图像上的沿着地平线和/或海岸线的线(例如红线或其他标记)表示,这可能有助于用户或操作人员确定船只相对于海岸线的位置。可以通过利用应用到图像流上的实时霍夫变换或其他等价类型的变换而完成对地平线和/或海岸线的标识,其中,该图像处理变换在图像中发现线性区域(例如,直线)。举例来说,当对比度可能为低时,实时霍夫变换也可以用于在公海中寻找地平线和/或海岸线。在晴朗条件下,可以轻易地识别出地平线和/或海岸线。然而,在雾天时,可能难以定位地平线和/或海岸线。
一般而言,知道地平线和/或海岸线在哪里对态势感知是有利的。因此,在各种实施中,霍夫变换可以被应用于本文描述的任何海上操作模式以在图像中识别地平线和/或海岸线。例如,海岸线标识(例如地平线和/或海岸线)可以与任何处理模式包括在一起以在显示的图像上提供线(例如任何类型的标记物,例如红线或其他标记),并且/或者信息可以用于定位红外摄像机的视场。
在人员落水模式的一种实施方式中,可以增大信号增益以显示出海洋的微小温度差异,例如当在均匀的可能接近人员身体温度的海洋温度中寻找低温体时遇到的。当将人体温度与海洋温度相比较时,牺牲了图像质量以提高检测细小温度变化的能力。因此,举例来说,当在船只附近搜索落 水人员时,用于人员落水模式的红外处理技术320对于海上应用中的态势感知是有用的。
在各种实施中,在选择人员落水模式时的图像处理期间,对图像应用高通滤波器。例如,来自高斯核的图像卷积的信号可以被扣除。余下的高通信息被线性地伸展以适配显示范围,这可能增加水中任何小对象的对比度。在人员落水模式的一种增强情况中,水中的对象可以被标记,并且系统向船只发信号以将探照灯导向对象。对于具有可见成像仪和热成像仪的系统而言,热成像仪被显示。对于放大或多FOV系统,系统设置在宽FOV上。对于具有用于地平线的存储的仰角定位的云台控制系统而言,移动该系统,从而地平线刚好在视场的上限之下可见。
在一种实施方式中,人员落水模式可以激活定位程序以识别感兴趣的区域、放大感兴趣的区域并且将探照灯定位到该感兴趣的区域。例如,人员落水模式可以激活定位程序以识别水中对象(例如人员)的位置,对于水中识别的对象放大红外成像设备(例如红外摄像机),并且然后将探照灯指向水中识别的对象。在各种实施中,这些活动可以添加到图2的方法200和/或图3B的方法320,并且进一步适于自动地发生,从而感兴趣的区域和/或感兴趣的对象的位置可能被船员快速地识别并且提取。
图3C示出了结合图2的框225描述的红外处理技术340的一种实施方式。在一种实施中,红外处理技术340包括用于海上应用的夜间巡航操作模式。例如,在夜间巡航期间,可见光通道已经限制用于除人工照明的对象之外,例如,其他船只。热红外成像仪可以用于穿透黑暗并且辅助识别浮标、岩石、其他船只、岛屿和海岸上的结构。热红外成像仪还可以发现可能直接位于船只航线中的半浸没的障碍。在夜间巡航模式中,可以调整显示算法以寻找水中的对象,而不会将场景(即,视场)扭曲到对导航无用的程度。
在一种实施方式中,夜间巡航模式用于公海上遇到的低对比度条件。场景(即,视场)可以由均匀温度的海洋填充,并且任何导航辅助或漂浮物可以与海洋的均匀温度形成鲜明的对比。因此,举例来说,用于夜间巡航模式的红外处理技术340对于公海中的态势感知是有用的。
参考图3C,图像被分成背景图像部分和细节图像部分(框342)。然后,对背景图像部分进行直方图均衡化(框344)和缩放(例如0-450)(框346)。然后,细节图像部分被缩放(例如0-511)(框348)。然后,直方图均衡化的背景图像部分和缩放的细节图像部分添加到一起以形成输出图像(框350)。此后,输出图像的动态范围被线性地映射以配合显示元件140(框352)。应该意识到,程序340执行的框顺序可以以不同的顺序执行,而不脱离本公开文本的范围。
在各种实施中,在选择夜间巡航模式时的图像处理期间,利用非线性边缘保护低通滤波器(LPF)(例如中值滤波器或通过各向异性扩散)将输入图像分成细节和背景图像分量。背景图像分量包括低通分量,并且通过从输入图像中减去背景图像部分而提取细节图像部分。为了增加小和潜在的弱对象的对比度,细节和背景图像分量可以被缩放,从而以输出/显示动态范围的大约60%给出细节。在夜间巡航模式的一种提高的情况下,跟踪了水中的对象,并且如果它们处于和当前船只航线直接碰撞的航线上,则将它们在图像中标记出来,并且可以分别拉响音频和/或显示视觉警报。在一些实施中,对于既具有可视成像仪又具有热成像仪的系统而言,可以默认地显示热成像仪。
在一种实施方式中,图像信号的第一部分可以包括背景图像部分,该背景图像部分包括图像的低空间频率高幅度部分。在一个实例中,低通滤波器(例如低通滤波器算法)可以被用于隔离图像信号(例如,红外图像信号)的低空间频率高幅度部分。在另一种实施方式中,图像信号的第二部分可以包括细节图像部分,该细节图像部分包括图像的高空间频率低幅度部分。在一个实例中,高通滤波器(例如高通滤波器算法)可以被用于隔离图像信号(例如,红外图像信号)的高空间频率低幅度部分。可选地,第二部分可以来自图像信号和图像信号的第一部分(例如,通过从图像信号中减去第一部分)。
一般而言,举例来说,图像信号的两个图像部分(例如第一和第二部分)可以在融合两个图像部分以产生输出图像之前分别地被缩放。例如,第一或第二部分可以被缩放,或者第一和第二部分都可以被缩放。一方面, 这可以允许系统输出精细的细节是可见并且可调(即使是在高动态范围场景中)的图像。在一些例子中,作为实例,如果图像由于噪声在某些程度上表现出用处不大或者品质降低,则图像的一个部分(例如细节部分)可以被减弱,而不是放大,以抑制融合图像中的噪声,从而提升图像质量。
图3D示出了结合图2的框225描述的红外处理技术360的一种实施方式。在一种实施中,红外处理技术360包括用于海上应用的白天巡航操作模式。例如,在白天巡航期间,用户或操作人员可以依赖人类视觉以在船只周围进行定位。成像系统100A、100B可以用于放大感兴趣的对象,其可以涉及读取其他船只的名字并且搜索浮标、陆地上的结构,等等。
参考图3D,图像被分成背景图像部分和细节图像部分(框362)。然后,对背景图像部分进行直方图均衡化(框364)和缩放(例如0-511)(框366)。然后,细节图像部分被缩放0-255(框368)。然后,直方图均衡化的背景图像部分和缩放的细节图像部分添加到一起以形成输出图像(框370)。此后,输出图像的动态范围被线性地映射以适合显示元件140(框372)。应该意识到,程序360执行的框顺序可以以不同的顺序执行,而不脱离本公开文本的范围。
在一种实施方式中,白天巡航模式用于较高对比度状况,例如当太阳热量导致未淹没或部分淹没对象与海洋温度之间的温度差更高。因此,举例来说,用于白天巡航模式的红外处理技术360对于海上应用中高对比度情况下的态势感知是有用的。
在各种实施中,在选择白天巡航模式时的图像处理期间,利用非线性边缘保护低通滤波器(例如中值滤波器或通过各向异性扩散)将输入图像分别地分成细节和背景分量。对于彩色图像来说,可以在图像的强度部分上(例如YCrCb格式中的Y)实现这种操作。背景图像部分包括低通分量,并且可通过从输入图像中减去背景图像部分而提取细节图像部分。为了增加小和潜在的弱对象的对比,细节和背景图像部分可以被缩放,从而以输出/显示动态范围的大约35%给出细节。对于既具有可视成像仪又具有热成像仪的系统而言,可以默认地显示可视图像。
图3E示出了结合图2的框225描述的红外处理技术380的一种实施 方式。在一种实施中,红外处理技术380包括用于海上应用的雾气状况操作模式。例如,即使是在白天操作期间,用户或操作人员可以从利用红外(MWIR、LWIR)和近红外(NIR)波段的成像仪实现更好的性能。根据水汽含量和颗粒大小,热红外成像仪可以显著地提升雾气状况下的能见度。如果可视成像仪或热成像仪均没有穿透雾气,则成像系统100A、100B可以设置在雾气状况模式中,在该模式下,系统100A、100B试图从选定的红外传感器中提取可用的细微信息。在雾气状况下,可能几乎不存在高空间频率信息(举例来说,一方面主要是由于颗粒的散射)。可以从图像的低频率部分获取图像中的信息,并且较高频率的增加可能将图像淹没在噪声中(例如,临时和/或固定的方式)。
参考图3E,对图像应用非线性边缘保存低通滤波器(LPF)(框382)。然后,对图像进行直方图均衡化(框384)和缩放(框386)以形成直方图均衡的输出图像。此后,输出图像的动态范围被线性地映射以配合显示元件140(框388)。应该意识到,程序380执行的框顺序可以处于不同的顺序,而不脱离本公开文本的范围。
在各种实施中,在选择雾气状况模式时的图像处理期间,非线性的、边缘保存的低通滤波器(例如中值滤波器或通过各向异性扩散)被应用到图像上(即,要么来自热成像仪,要么来自可视彩色图像的强度分量)。一方面,来自低通滤波器操作的输出可以被直方图均衡化和缩放以将动态范围映射到显示器上并且最大化显示器的对比度。
图3F示出了结合图2的框225描述的红外处理技术390的一种实施方式。在一种实施中,红外处理技术390包括用于海上应用的海岸线操作模式。
参考图3F,可以确定海岸线(框392)。例如,如前所述,可以通过对图像应用图像处理变换(例如霍夫变换)而确定海岸线识别(例如,地平线和/或海岸线)(框392),这种识别可以用于定位红外摄像机的视场和/或提供线(例如:任意类型的标记,例如显示图像上的红线或其他标记物)。然后,对图像进行直方图均衡化(框394)和缩放(框396)以形成输出图像。此后,输出图像的动态范围被线性地映射以配合显示元件140(框 398)。应该意识到,程序390执行的框顺序可以处于不同的顺序,而不脱离本公开文本的范围。
在一种实施中,由变换(例如霍夫变换)产生的信息可以被用于将海岸线或者甚至地平线识别为显示的线性区域。可以在与主视频路径分离的路径上将变换应用到图像上(例如,当应用变换时,不会改变图像数据并且不会影响后续的图像处理操作),并且变换的应用可以用于检测线性区域,例如直线(例如,海岸线和/或地平线的直线)。一方面,通过假定海岸线和/或地平线包括伸展到帧的整个宽度的直线,海岸线和/或地平线可以被识别为变换中的峰值且可以用于参照海岸线和/或地平线将视场维持在一个位置。因此,可以对输入图像(例如处理过的图像)进行直方图均衡化(框394)和缩放(框396)以生成输出图像,随后,变换信息(框392)可以添加到输出图像中以高亮显示的图像的海岸线和/或地平线。
此外,在海岸线操作模式中,图像可以由海洋(即图像的下部)和天空(即图像的上部)占主导地位,这可以在图像直方图中显示为两个峰值。一方面,在海岸线的窄带上期望显著的对比度,并且可以为直方图均衡化的高地限制选择低的数值(例如,基于传感器像素数量和直方图中使用的二进制数值的相对数值)。一方面,举例来说,低的高地限制(相对的)可能降低直方图中的峰值的影响,并且给予海洋和天空较少的对比度,同时保留海岸线和/或地平线区域的对比度。
图4示出了如结合本公开文本的各种实施方式所述的实施海上模式410A-410E的方法400以及与其相关的红外处理技术的框图。具体地,第一海上模式指夜间入坞模式410A,第二海上模式指人员落水模式410B,第三海上模式指夜间巡航模式410C,第四海上模式指白天巡航模式410D,并且第五海上模式指雾气状况模式410E。
在一种实施中,参考图4,图1A、1B的成像系统100A、100B的处理元件110可以执行下述方法400。接收或获得捕捉的图像的传感器数据(即红外图像数据)(框402)。修正项可以应用到接收的传感器数据上(框404),并且瞬时噪声降低可以应用到接收的传感器数据上(框406)。
然后,选定的海上模式410A-410E中的至少一个可以由用户或操作人 员经由成像系统100A、100B的控制元件150选择,并且处理元件110执行与选择的海上操作模式相关的相应的处理技术。在一个实例中,如果选择夜间入坞模式410A,则可以对传感器数据进行直方图均衡化和缩放(例如0-511)(框420),传感器数据可以被线性地缩放(例如0-128),使最高和最低部分(例如1%)饱和(框422),并且将直方图均衡化的传感器数据添加到线性缩放的传感器数据中以将动态范围线性地映射到显示元件140(框424)。在另一个实例中,如果选择了人员落水模式410B,则可以移动或定位成像系统100A、100B的红外捕捉元件130以使得地平线处于视场(FOV)的上部和/或被导向感兴趣的区域,将高通滤波器(HPF)应用到传感器数据上(框432),并且高通滤波的传感器数据的动态范围随后被线性地映射以适配显示元件140(框434)。在另一个实例中,如果选择了夜间巡航模式410C,则处理传感器数据以利用高通滤波器提取微弱的细节部分和背景部分(框440),对背景部分进行直方图均衡化和缩放(例如0-450)(框442),缩放(例如0-511)细节部分(框444),并且将背景部分添加到细节部分以将动态范围线性地映射到显示元件140(框446)。在另一个实例中,如果选择了白天巡航模式410D,则处理传感器数据以利用高通滤波器提取微弱的细节部分和背景部分(框450),对背景部分进行直方图均衡化和缩放0-511(框452),将细节部分缩放0-255(框454),并且将背景部分添加到细节部分以将动态范围线性地映射到显示元件140(框456)。在又一实例中,如果选择了雾气状况模式410E,则将非线性低通滤波器(例如中值滤波器)应用到传感器数据上(框460),随后对数据进行直方图均衡化和缩放以将动态范围线性地映射到显示元件140(框462)。
对于任何海上模式(例如框410A-410E)而言,用于显示的图像数据可以被标记(例如,彩色编码、高亮或利用标记以其他方式识别)以识别(举例来说)水中的疑似人员(例如,用于人员落水模式)或水中的雾气(例如,用于夜间巡航、白天巡航或任意其他模式)。例如,如本文所讨论的,图像处理算法可以应用到(框470)图像数据上以识别图像数据中的各种特征(例如对象,例如暖体人员、水中危险、地平线或海岸线)并且大致地标记这些特征以在由检视显示器的用户进行的识别和鉴定中起 辅助作用。作为具体实例,水中的疑似人员可以在显示的图像中被标为蓝色,而水中危险(例如,漂浮物)可以被标为黄色。
此外,对于任意海上模式(例如框410A-410E)而言,举例来说,用于显示的图像数据可以被标记以识别海岸线(例如海岸线和/或地平线)。例如,如本文所讨论的,图像处理算法可以应用到(框475)图像数据上以识别海岸线和/或地平线并且大致地标记这些特征以在由检视显示器的用户进行的识别和鉴定中起辅助作用。作为具体实例,海岸线和/或地平线可以在显示的图像中利用红线勾勒或标记,以辅助检视显示的图像的用户。
然后,在应用海上模式410A-410E的至少一种红外处理技术之后,以前述的方式确定是否在夜间模式(即,应用夜间彩色调色板)显示处理过的传感器数据(框480)。如是结果为是,则将夜间彩色调色板应用到处理过的传感器数据上(框482),并且在夜间模式中显示处理过的传感器数据(框484)。否则,则以非夜间模式的方式(例如:黑热或白热调色板)显示处理过的传感器数据(框484)。应该意识到,在夜间模式下,传感器数据(即图像数据)可以以红色或绿色调色板显示以提升用户或操作人员的夜视能力。
图5示出了成像系统100A、100B的控制元件150的一种实施方式的框图,该控制元件150用于在不同海上操作模式之间进行选择,如上文中参考图3A-4描述的那样。在一种实施方式中,成像系统100A、100B的控制元件150可包括用户输入和/或接口设备,例如控制面板单元500(例如有线或无线手持式控制单元),其具有一个或多个按钮510、520、530、540、550、560、570,这些按钮适于与用户交互并接收用户输入控制值,还适于生成并发送一个或多个输入控制信号至处理元件110。在各种其他实施方式中,控制面板单元500可包括滑杆、用于选择期望的模式的可旋钮、键盘等等,而不脱离本公开文本的范围。
在各种实施中,举例来说,控制面板单元500的多个按钮510、520、530、540、550、560、570可以用于如上文中参考图3A-4描述的那样在各种海上操作模式之间进行选择。在各种实施中,处理元件110可以适于从 控制面板单元500感应控制输入信号并且响应从按钮510、520、530、540、550、560、570接收的任何感应到的控制输入信号。处理元件110还可适于将控制输入信号解释为值。在各种其他实施中,应该意识到,控制面板单元500可以适于包括一个或多个其他按钮(未示出),以提供成像系统100A、100B的各种其他控制功能,例如:自动对焦、菜单使能和选择、视场(POV)、亮度、对比度、显示变焦、寻鱼仪敏感性、雷达范围、雷达增益、音量、音轨、自动驾驶方式模式和/或各种其他特征。在另一种实施方式中,控制面板单元500可包括单个按钮,其可用于选择海上操作模式510、520、530、540、550、560、570中的每一个。
在另一种实施方式中,控制面板元件500可以适于集成为显示元件140的一部分,从而既作为用户输入设备,又作为显示设备,举例来说,例如适于根据用户触摸显示屏的不同部分而接收输入信号的用户致动的触摸屏设备。因此,举例来说,GUI界面设备可以具有按钮510、520、530、540、550、560、570的一个或多个图像,它们适于与用户交互并经由显示元件140的触摸屏接收用户输入控制值。
在一种实施方式中,参考图5,可以使能第一按钮510以选择夜间入坞操作模式,可以使能第二按钮520以选择人员落水操作模式,可以使能第三按钮530以选择夜间巡航操作模式,可以使能第四按钮540以选择白天巡航操作模式,可以使能第五按钮550以选择雾气状况操作模式,可以使能第六按钮560以选择海岸线操作模式,可以使能第七按钮570以选择或关闭夜间显示模式(即,夜间彩色调色板)。在另一种实施方式中,控制面板单元500的单个按钮可以用于切换到海上操作模式510、520、530、540、550、560、570中的每一个,而不脱离本公开文本的范围。
图6示出了成像系统100A、100B的图像捕捉元件130的实施方式的框图。如所示,图像捕捉元件130可以适于包括第一摄像机元件132、第二摄像机元件134和/或探照灯元件136。在各种实施中,元件132、134、136中的第一个均可以集成为图像捕捉元件130的一部分,或者元件132、134、136中的一个或多个可以与图像捕捉元件130分离,而不脱离本公开文本的范围。
在一种实施方式中,第一摄像机元件132可以包括红外摄像机元件,其能够捕捉图像170的红外图像数据。一般而言,红外摄像机是一种适于利用红外辐射形成图像的设备,其对于水中和/或黑暗中的营救操作是有用的。
在一种实施方式中,第二摄像机元件134可以包括能够捕捉图像170的可见光谱图像的另一红外摄像机元件或摄像机。一般而言,船只180的船员可以利用可见波长摄像机来观察和检查图像170。例如,在白天时,可见波长摄像机可以辅助检视、识别和定位落水的人员。
在各种实施中,摄像机元件132、134可以适于包括宽和/或窄的视场(例如固定或可变视场)。例如,这种特征可以包括伸缩镜头,其使视场变窄以聚集视场内的特定区域。
在一种实施方式中,探照灯元件136包括能够将光束投射到视场中的图像170上的设备。在一种实施中,举例来说,探照灯元件136适于将光束聚集到至少一个摄像机元件132、134的视场内的目标上,从而识别和定位落水人员的位置,这将允许提高船只180的船员在黑暗中对落水人员的能见度。
图7示出了用于监测成像系统100A、100B的图像数据的方法700的实施方式的框图。在一种实施中,方法700由成像系统100A、100B的处理元件110执行。如图7所示,获得图像数据(框710)。在各种实施中,可以直接从图像捕捉元件130或从存储元件120的存储中获得图像数据。
然后,获得的图像数据可以被处理(框714)。在一种实施中,可以利用图3B的人员落水操作模式320处理获得的图像数据,以收集图像数据,从而检测落入或位于船只180附近的水中的对象(例如人)。
然后,可以从处理过的图像数据中识别落水人员(例如人)(框718)。在一种实施中,基于对象(例如人)和水之间的温度差可以将对象和水分离。例如,当体温大约为98华氏度的人落入水温大约为60-70华氏度或更低的水中时,利用红外图像可以观察到温度之间的差异,因此,可以快速地识别和定位水中的人。
在一种示例性实施方式中,处理元件110可以运行各种类型的常规图像处理软件(例如,由位于弗吉尼亚州的洛斯顿(Reston)的ObjectVideo开发的软件包)以进行图像分析,从而监测图像数据并且检测人员落水状况。在一种示例性实施方式中,举例来说,这种常规软件中的特征可以支持使用阈值条件或对象辨识,从而区分无生命对象(例如甲板躺椅或其他无生命对象)和人员。利用阈值因子(例如:温度、形状、尺寸、宽高比、速度或其他因子)对软件包进行编程可以辅助软件包区分无生命和/或非人类对象的图像与人类的图像。因此,在给定应用中期望使用中的阈值条件可以规定:例如,飞过摄像机视场的鸟可以被忽略,就像跌落的甲板躺椅或扔入海中一杯热咖啡那样。
当怀疑或确定人员落水状况时,可以向操作人员(例如,船员)发送警报或通知(框722),从而可以进行营救行动。在各种实施中,这种警报或通知可以包括音频信息和/或视觉信号,例如警告、警示灯、汽笛、响铃、蜂鸣器等。
然后,可以基于图像数据确定落水人员的具体位置(框726)。在一种实施中,确定人员的位置可以包括使图像捕捉元件130的视场变窄。例如,红外摄像机的镜头可以远摄到某个位置以放大水中的对象或人员或至少放大水中人员的大致位置,或图像捕捉元件130的另一较窄的视场可以被导向水中人员的大致位置。此外,探照灯(例如,图像捕捉元件130的探照灯元件136)可以被导向水中人员的大致位置(框730)以辅助落水人员的搜索和营救。
举例来说,根据一种实施方式,当检测到人员落水状况时,事件的时间和/或位置可以与图像数据一起记录(例如,作为框722或726的一部分),举例来说,这样做的目的是辅助搜索和营求操作和/或为疑似人员落水事件的后续分析提供信息。可选地,时间和/或位置可以定期地与图像数据记录在一起。例如,处理元件110(图1A、1B)可以包括位置确定功能(例如,全球定位系统(GPS)接收器,或通过其他常规定位确定技术)以接收精确位置和/或时间信息,其可以与图像数据一起存储(例如存储在存储元件120中)。举例来说,图像数据和位置信息和/或时间信息随后可被用于使 搜索和营救队能够离开船(例如游轮)并在较小的船只或直升机中以迅速的方式追踪到人员落水状况的精确位置,这是因为大型舰船一般不能够快速地停止和返回到人员落水事件的位置。
如上所述,可以利用不同的元件实施本公开文本的不同方面,不同的元件例如不同的控制元件、处理元件、显示元件和/或图像捕捉元件。例如,现在参考图8A和8B,框图分别示出了根据本公开文本的实施方式的并且如本文进一步描述的控制元件800A和800B的实施方式,控制元件800A和800B用于在不同操作模式和/或显示模式之间进行选择。在一种实施中,控制元件800A、800B是诸如如上所述的成像系统100A、100B的成像系统的一部分(例如图1A、1B的控制元件150),并且可以是便携式的(例如手持式)、可安装的,或者安装在交通工具的一部分中(例如船只的方向盘),从而便于用户用于选择操作模式(例如:地图模式、声纳模式、寻鱼仪模式、雷达模式、自动驾驶方式模式、娱乐模式和/或海上模式)并且在操作模式内进行调整或选择(例如:增加或减少地图显示缩放、声纳显示缩放、寻鱼仪声纳敏感性、雷达范围、雷达增益、音量、音轨或自动驾驶方式中的一些功能,或者选择例如如上文中结合图3A-4描述的特定海上模式)。例如,对于一种或多种实施方式,控制元件800A或800B可用于选择和调整地图模式(例如:放大或缩小显示的地图或显示的地图的重新定位部分)、声纳模式(例如:放大或缩小显示的图像)、寻鱼仪模式(例如增加/降低敏感性)、雷达范围模式(例如:增加/降低范围、敏感性和/或增益)、娱乐模式(例如:增加/降低音量和/或前一/后一音轨)、自动驾驶方式模式(例如:增加/降低收紧/放松方式)和/或海上模式(例如:选择期望的模式和/或模式中的功能)。
控制元件800A、800B(作为示例性实施,在本文中也被称为方向盘控制元件)可以与处理元件110和/或显示元件140进行无线通信(例如经由蓝牙或其他无线标准)或通过有线连接进行通信。各种无线通信协议和标准均是可应用的,并且可以在不脱离本公开文本的范围的情况下被使用。在一种实施方式中,方向盘控制元件800A、800B还可包括安装件,其允许方向盘控制元件可以安装在船只的方向盘上。安装件可以包括夹 具、螺栓、皮带、钮扣、垫片和/或其他安装结构,从而将控制元件800A、800B安装到方向盘上。在其他实施方式中,方向盘控制元件800A、800B可以建造在或以其他方式结合到船只的方向盘或交通工具的其他部分上,从而便于用户使用控制元件800A、800B。
在一种实施方式中,控制元件800A、800B可以包括具有模式按钮802的用户输入和/或接口设备(例如,如在本文中结合控制元件150描述的和/或与图5的描述类似),模式钮802适于与用户交互并接收用户输入控制值,其还适于生成且有线或无线地发送一个或多个控制输入信号至处理元件110。单一模式按钮802(例如:模式选择器,例如任意类型的用户输入选择器接口)适于在不同操作模式(例如:地图模式、声纳模式、寻鱼仪模式、雷达模式、自动驾驶方式模式、娱乐模式和海上模式)之间循环或切换到不同的操作模式,以将第一用户输入信号发送到处理元件110。在其他实施方式中,控制元件800A、800B可以包括多个模式按钮,每个模式按钮被使能时选择一种特定模式。
控制元件800A还包括增加/降低致动器804(例如增加/降低选择器),在一种情况中,该致动器804可以是两个按钮,用于指示增加功能和降低功能,如控制元件800B中的增加按钮804a和降低按钮804b所示。致动器804适于与用户交互并且接收用户输入控制值,还适于生成并发送一个或多个控制输入信号至处理单元110(有线地或无线地)以在选择的操作模式中进行调整和选择(例如,增加或降低地图显示缩放、声纳显示缩放、寻鱼仪声纳敏感性、雷达范围、雷达增益、音量、音轨或自动驾驶方式中的一种,或者选择例如如上文中结合图3A-4描述的特定海上模式)。因此,增加/降低致动器804可以将第二用户输入信号发送至处理元件110,以在选择的操作模式内或第一用户输入信号内进行调整或选择。在其他实施方式中,增加/降低致动器804以及模式按钮802可以由拨动开关、可旋钮、可旋转轮、滑杆、触摸屏、致动器或其他类型的用户输入设备组成,而不脱离本公开文本的范围。
在各种实施中,处理元件110可以适于从控制元件800A、800B中感应控制输入信号并且响应从模式按钮802和增加/降低致动器804接收的任 意感应的控制输入信号(例如:第一和第二用户输入信号)。处理元件110还可适于将控制输入信号解释为值。处理元件110还可以包括位置确定功能(例如:全球定位系统(GPS)接收器或其他常规位置确定技术)以在各种操作模式中出于导航目的接收精确定位和/或时间信息。在各种其他实施中,应该意识到,控制元件800A、800B可以适于包括一个或多个其他按钮或致动器(未示出),以提供成像系统100A、100B的各种其他控制功能,例如:自动对焦、菜单使能和选择、视场(POV)、亮度、对比度和/或各种其他特征。
在另一种实施方式中,控制元件800A、800B可以适于集成为显示元件140的一部分,这种组合随后集成或安装到船只的方向盘上,从而既作为用户输入设备,又作为显示设备,举例来说,例如适于根据用户触摸显示屏的不同部分而接收输入信号的用户致动的触摸屏设备。因此,举例来说,GUI界面设备可以具有模式按钮802和增加/降低致动器804的一个或多个图像,它们适于与用户交互并经由显示元件140的触摸屏接收用户输入控制值。
在一种实施方式中,图像捕捉元件130可以包括雷达、声纳和/或寻鱼仪传感器,它们可以从新罕布什尔州的梅里马克市的公司获得。在另一种实施方式中,显示元件140可以包括多功能导航显示器,其可以也从公司获得。
参考图9A-9B和10A-10B,根据本公开文本的一种实施方式,控制系统900包括方向盘控制元件950、船只的海上方向盘980以及处理元件910/显示元件940(例如多功能GPS导航显示器)。图9A示出了安装到方向盘980上的控制元件950,而图9B示出了一用户,该用户正通过控制元件950的按钮将用户输入信号无线地发送给处理元件910/显示元件940。图10A和10B示出了根据本公开实施方式的在图9A和9B中示出的控制元件950的不同近视图。
方向盘控制元件950(例如,图1A的控制元件150的示例性实施)可以包括类似结构和功能,如上文中结合控制元件500和800A、800B描述的,它们可以完全地应用在该实施方式中,尽管此处并未重复相同的描述。 根据一方面,控制元件950包括模式按钮952、增加按钮954a、降低按钮954b和安装片956a、956b。模式按钮952适于与用户交互并且接收用户输入控制值,还适于生成且无线地发送一个或多个控制输入信号至处理元件910/显示元件940。单一模式按钮952适于在不同操作模式(例如:地图模式、声纳模式、寻鱼仪模式、雷达模式、自动驾驶方式模式、娱乐模式和海上模式)之间循环或切换到不同的操作模式,以将第一用户输入信号发送到处理元件910/显示元件940。
增加和降低按钮954a、954b都适于与用户交互并且接收用户输入控制值,还适于生成并无线地发送一个或多个控制输入信号至处理单元910以在选择的操作模式中进行调整和选择(例如,增加或降低地图显示缩放、声纳显示缩放、寻鱼仪声纳敏感性、雷达范围、雷达增益、音量、音轨或自动驾驶方式中的一种,或者选择例如如上文中结合图3A-4描述的特定海上模式)。因此,增加/降低按钮954a、954b可以将第二用户输入信号发送至处理元件910/显示元件940,以在选择的操作模式内或第一用户输入信号内进行调整或选择。
图11示出了根据本公开文本的另一实施方式的用于在不同操作和/或显示模式之间进行选择的另一方向盘控制元件1150(例如,图1A的控制元件150的示例性实施)。在该实施方式中,控制元件1150包括向上和向下模式按钮1152a、1152b,向上和向下鳍状致动器1154a、1154b以及增加和降低音量按钮1158a、1158b。向上和向下模式按钮1152a、1152b适于与用户交互并且接收用户输入控制值,还适于生成且无线地发送一个或多个控制输入信号至处理元件910/显示元件940。向上和向下模式按钮可以与单一模式按钮类似的使用,以在不同操作模式(例如:地图模式、声纳模式、寻鱼仪模式、雷达模式、自动驾驶方式模式、娱乐模式和海上模式)之间循环,从而将第一用户输入信号发送到处理元件910/显示元件940。
向上和向下鳍状物致动器1154a、1154b都适于与用户交互并且接收用户输入控制值,还适于生成并无线地发送一个或多个控制输入信号至处理单元910以在选择的操作模式中进行调整或选择(例如,增加或降低地图显示缩放、声纳显示缩放、寻鱼仪声纳敏感性、雷达范围、雷达增益、音 量、音轨或自动驾驶方式中的一种,并且/或者选择例如如上文中结合图3A-4描述的特定海上模式)。因此,向上和向下鳍状物致动器1154a、1154b可以将第二用户输入信号发送至处理元件910/显示元件940,以在选择的操作模式内或第一用户输入信号内进行调整或选择。增加和降低音量按钮1158a、1158b可以用于控制来自显示元件或可操作的连接的扬声器的音量。
现在参考图12,该框图示出了根据本公开文本实施方式的控制方法1200。方法1200始于框1202,其中,接收第一用户输入信号,例如,通过方向盘控制元件的模式按钮接收。第一用户输入信号对应于用户选择的操作模式,其选自多个可选择的操作模式,包括地图模式、声纳模式、寻鱼仪模式、雷达模式、自动驾驶方式模式、娱乐模式和/或海上模式。
在框1204处,将第一用户输入信号(有线地或无线地)发送至处理元件,以根据第一用户输入信号控制显示元件。在一个实例中,处理元件和显示元件可以一起位于多功能导航显示器中。根据选择的操作模式,显示元件可以根据第一用户输入信号显示特定图像。
框1206处,接收第二用户输入信号,例如,通过方向盘控制元件的增加/降低致动器接收。第二用户输入信号对应于用户选择的操作模式中的调整(例如增加或降低调整)或选择,例如增加或减少地图显示缩放、声纳显示缩放、寻鱼仪声纳敏感性、雷达范围、雷达增益、音量、音轨或自动驾驶方式中的一种,或者选择例如如上文中结合图3A-4描述的特定海上模式。
在框1208处,将第二用户输入信号(有线地或无线地)发送至处理元件,以根据第二用户输入信号控制显示元件。因此,可以在操作模式内调整显示,或者可以在操作模式内进行选择,例如多个海上模式中的特定海上模式。
现在参考图13,该框图示出了根据本公开各种实施方式的显示控制方法1300中的第一和第二用户输入选择的概览。方法1300包括第一用户输入选择操作模式(框1302),操作模式包括地图模式1310A、声纳模式1310B、寻鱼仪模式1310C、自动驾驶方式模式1310D、雷达模式1310E、 娱乐模式1310F和海上模式1310G。
地图模式1310A用于导航目的,并且可利用GPS接收器或其他常规定位确定技术来出于海上导航目的接收精确位置和/或时间信息,并且在显示元件上提供地图图像。声纳模式1310B可以与声纳图像捕捉元件一起使用,从而在显示元件上提供声纳图像。寻鱼仪模式1310C可以与声纳图像捕捉元件一起使用,从而在显示元件上提供声纳图像。自动驾驶方式模式1310D也可利用GPS接收器或其他常规定位确定技术来编程自动驾驶海上导航并且在显示元件上提供自动导航图。雷达模式1310E可以与雷达图像捕捉元件一起使用,从而在显示元件上提供雷达图像。娱乐模式1310F可以与音频或其他娱乐系统结合使用,从而通过显示元件或可操作地连接到显示元件的其他装置来提供视频和音频。海上模式1310G可以与红外图像捕捉元件一起使用,从而例如如上文中结合图3A-4描述的那样在显示元件上提供红外图像。
第二用户输入调整或选择可以在每种操作模式内进行。在地图模式1310A中,用户可以提供第二用户输入1320A,其选择为增加或降低显示中的特定区域或以其他方式在显示元件上放大或缩小地图上的特定点。在声纳模式1310B中,用户可以提供第二用户输入1320B,其选择为增加或降低显示中的特定区域或以其他方式在显示元件上放大或缩小声纳图像上的特定点。在寻鱼仪模式1310C中,用户可以提供第二用户输入1320C,其选择为增加或降低声纳图像捕捉元件的敏感性,从而调整声纳图像以更清楚地检测水下对象。在自动驾驶方式模式1310D中,用户可以提供第二用户输入1320D,其选择为放松或收紧自动驾驶方式。在雷达模式1310E中,用户可以提供第二用户输入1320E,其选择为增加或降低雷达信号的范围或增益。在娱乐模式1310F中,用户可以提供第二用户输入1320F和/或1330F,其选择为增加或降低音量和/或选择为在不同文件或轨道(例如不同的多媒体文件或音轨)之间循环。在海上模式1310G中,用户可以提供第二用户输入1320G,其选择特定的海上模式例如夜间入坞模式1330A、人员落水模式1330B、夜间巡航模式1330C、白天巡航模式1330D、雾气状况模式1330E或海岸线模式1330F,例如如上文中结合图3A-4描述的那 样。
图14A和14B示出了根据本公开文本的另一实施方式的用于在不同操作和/或显示模式之间进行选择的另一方向盘控制元件1450(例如,图1A的控制元件150的示例性实施)。如上文其他实施方式中所述的那样,控制元件150可以内建到船只的海上方向盘1480中,或者控制元件1450可以是分离的元件,其可以安装并且可操作地连接(例如机械地和/或电连接)到海上方向盘1480。在一种实施方式中,用于将控制元件安装到方向盘(例如方向盘1480)上的安装部件可以包括夹具、螺栓、皮带、钮扣、垫片和/或其他安装结构。在该实施方式中,控制元件1450具有方向盘1480上的旋钮或其他形状的突出物(例如,突出以形成用于用户的把手的旋钮)的形状因素,这可以允许用户将控制元件1450用于简便且快速地旋转方向盘1480(例如,帆船的方向盘),如本领域技术人员理解的那样。
在一种实施方式中,控制元件1450包括中央模式按钮1452,其位于(例如旋钮的)上表面并且增加和降低按钮1454a、1454b位于(例如旋钮的)侧表面。模式按钮1452适于与用户交互并且接收用户输入控制值,还适于生成且无线地发送一个或多个控制输入信号至处理元件910/显示元件940。模式按钮1452可以用作单个模式按钮,以在不同操作模式(例如:地图模式、声纳模式、寻鱼仪模式、雷达模式、自动驾驶方式模式、娱乐模式和/或海上模式)之间循环,从而将第一用户输入信号发送到处理元件910/显示元件940。
增加和降低按钮1454a、1454b都适于与用户交互并且接收用户输入控制值,还适于生成并无线地发送一个或多个控制输入信号至处理单元910以在选择的操作模式中进行调整和选择(例如,增加或降低地图显示缩放、声纳显示缩放、寻鱼仪声纳敏感性、雷达范围、雷达增益、音量、音轨或自动驾驶方式中的一种,并且/或者选择例如如上文中结合图3A-4描述的特定海上模式)。因此,增加/降低按钮1454a、1454b可以用于将第二用户输入信号发送至处理元件910/显示元件940,以在选择的操作模式内或第一用户输入信号内进行调整或选择。根据一种或多种实施方式,其他选择/调整按钮也可以位于控制元件1450上。因此,方向盘控制元件1450可以 提供用户用于抓握以及转向船只(例如:旋钮或其他突出的形状因素)的形状因素,并且如本文所述地,还可以提供可访问按钮(例如模式按钮1452、增加/降低按钮1454a、1454b)以接收用户输入控制信号。
根据一种或多种实施方式,处理元件能够实时地接收并处理第一和第二用户输入信号,其中,在用户在多个操作模式之间循环时,可以发送、接收和处理多个第一用户输入信号,并且在用户对图像进行多个后续调整或在不同选择(例如多个海上模式)之间循环时,可以发送、接收和处理多个第二用户输入信号。
在适用的情况下,可以利用硬件、软件或硬件和软件的各种组合实施本公开的多种实施方式。在适用的情况下,本文列出的各种硬件元件和/或软件元件可以组合到复合元件中,该复合元件包括软件、硬件和/或二者,而不脱离本公开文本的范围和功能。在适用的情况下,本文列出的各种硬件元件和/或软件元件可以分成多个子元件,子元件具有软件、硬件和/或二者,而不脱离本公开文本的范围和功能。在适用的情况下,可以预期的是,软件元件可以实施为硬件元件,反之亦然。
根据本公开文本,软件(例如程序代码和/或数据)可以存储在一个或多个计算机可读介质中。还可以预期的是,本文表述的软件可以利用一个或多个通用或专用的计算机和/或计算机系统、网络和/或其他方式实现。在适用的情况下,本文描述的各种步骤的顺序可以发生变化、组合成复合步骤和/或分割成若干子步骤以提供本文描述的特征。
在各种实施中,用于模式模块112A-112N的软件可以嵌入(例如硬编码)在处理元件110中或存储在存储元件120中以由处理元件110访问和执行。如前所述,在一种实施方式中,用于模式模块112A-112N的代码(即软件和/或硬件)限定了预设显示功能,其允许处理元件110在一种或多种处理技术之间切换,例如如上文中结合图3A-4描述的那样,这些处理技术用于在显示元件140上显示捕捉的和/或处理的红外或其他类型的图像。
上文描述的实施方式是示例性的,并非限制本公开文本。应该理解,根据本公开文本的原理,众多改进和变化是可能的。例如,尽管已经在上文中的实施方式中描述了特定操作模式,但其他操作模式和这些其他操作 模式中的调整/选择也是可应用的并且可以用在上文公开的装置和方法中。因此,本公开文本的范围仅由随附权利要求限定。

Claims (10)

1.一种控制元件,适于与船只一起使用,该船只具有用于捕捉图像的至少一个图像捕捉元件、适于存储捕捉的图像的存储元件、显示元件、以及适于从所述存储元件提取图像并将提取的图像显示在所述显示元件上的处理元件,其特征在于,该控制元件包括:
安装部件,适于将控制元件安装到船只的方向盘上;
模式选择器,其适于接收用户输入从而提供第一用户输入信号,其中,控制元件配置成将第一用户输入信号发送至处理元件;及
增加/降低致动器,其适于接收用户输入进而提供第二用户输入信号,其中,控制元件配置成将第二用户输入信号发送至处理元件。
2.根据权利要求1所述的控制元件,其特征在于,安装部件包括皮带、垫片和钮扣中的一种,并且其中,增加/降低致动器包括正按钮和负按钮、向上按钮和向下按钮、切换开关、旋钮或滑杆。
3.根据权利要求1所述的控制元件,其特征在于,模式选择器和增加/降低致动器位于方向盘的突出部上,并且,其中该突出部配置为由用户把持以辅助旋转船只的方向盘。
4.根据权利要求1所述的控制元件,其特征在于,控制元件包括发送机和/或收发机,用于无线地发送第一用户输入信号和第二用户输入信号。
5.一种船只,包括:
连接到船只上的用于捕捉图像的至少一个图像捕捉元件;
适于存储捕捉的图像的存储元件;
显示元件;以及
适于从所述存储元件提取图像并将提取的图像显示在显示元件上的处理元件;
配置为与处理元件和/或显示元件通信的控制元件,其特征在于,该控 制元件包括:
模式选择器,其适于接收用户输入从而提供第一用户输入信号,其中,控制元件配置用于将第一用户输入信号通信至处理元件和/或显示元件;及
增加/降低致动器,其适于接收用户输入以提供第二用户输入信号,其中,控制元件配置成将第二用户输入信号发送至处理元件和/或显示元件。
6.根据权利要求5所述的船只,其特征在于,增加/降低致动器包括正按钮和负按钮、向上按钮和向下按钮、切换开关、旋钮或滑杆,其中控制元件安装到船只的方向盘上。
7.根据权利要求5所述的船只,其特征在于,处理元件还适于接收第一和第二用户输入信号,并且,其中所述至少一个图像捕捉元件包括红外摄像机、雷达和声纳。
8.根据权利要求5所述的船只,其特征在于,还包括感应元件,其适于为处理元件提供环境信息。
9.根据权利要求5所述的船只,其特征在于,还包括船只的方向盘,其中,控制元件具有从船只的方向盘上突出的旋钮的形状因素,并且该旋钮被配置为由用户把持以辅助旋转船只的方向盘。
10.根据权利要求5所述的船只,其特征在于,控制元件包括发送机和/或收发机,用于无线地发送第一用户输入信号和第二用户输入信号。
CN201190001029.1U 2010-12-20 2011-12-14 一种船只和适于与该船只一起使用的一种控制元件 Expired - Fee Related CN204415685U (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/973,371 2010-12-20
US12/973,371 US20110279673A1 (en) 2007-11-28 2010-12-20 Maritime controls systems and methods
PCT/US2011/064979 WO2012087715A1 (en) 2010-12-20 2011-12-14 Maritime controls systems and methods

Publications (1)

Publication Number Publication Date
CN204415685U true CN204415685U (zh) 2015-06-24

Family

ID=45563495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201190001029.1U Expired - Fee Related CN204415685U (zh) 2010-12-20 2011-12-14 一种船只和适于与该船只一起使用的一种控制元件

Country Status (4)

Country Link
US (1) US20110279673A1 (zh)
EP (1) EP2655180A1 (zh)
CN (1) CN204415685U (zh)
WO (1) WO2012087715A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045351A (zh) * 2017-05-13 2017-08-15 上海磐剑海洋科技有限公司 一种多功能的新型无人船遥控器

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384780B1 (en) 2007-11-28 2013-02-26 Flir Systems, Inc. Infrared camera systems and methods for maritime applications
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US20110126160A1 (en) * 2009-11-23 2011-05-26 Samsung Electronics Co., Ltd. Method of providing 3d image and 3d display apparatus using the same
WO2012142049A1 (en) 2011-04-11 2012-10-18 Flir Systems, Inc. Infrared camera systems and methods
CN103748867B (zh) 2011-06-10 2019-01-18 菲力尔系统公司 低功耗和小形状因子红外成像
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
KR101778353B1 (ko) 2011-06-10 2017-09-13 플리어 시스템즈, 인크. 적외선 이미징 장치용 불균일성 교정 기술
GB2493390A (en) * 2011-08-05 2013-02-06 Marine & Remote Sensing Solutions Ltd System for detecting a person overboard event
DE102012019942B4 (de) * 2012-10-11 2016-12-15 Volkswagen Aktiengesellschaft Suchscheinwerfer für Sonderfahrzeuge
TWI535587B (zh) * 2012-11-14 2016-06-01 義晶科技股份有限公司 利用觸控面板來控制車用影像之顯示的方法及其車用影像系統
CN105009169B (zh) * 2012-12-21 2018-03-09 菲力尔系统公司 用于抑制图像中的天空区域的系统和方法
US9688200B2 (en) * 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
US11505292B2 (en) 2014-12-31 2022-11-22 FLIR Belgium BVBA Perimeter ranging sensor systems and methods
US9558643B2 (en) * 2015-03-09 2017-01-31 Alexander Inchausti Emergency alert assembly
CN108370622A (zh) * 2015-08-05 2018-08-03 普莱哈德有限公司 用于使用单按钮照明模块来选择显示模式的系统和方法
GB2550112B (en) 2016-04-29 2019-10-09 Marss Ventures S A Method of verifying a potential detection of a man overboard event and alert verification processing apparatus
US10037701B2 (en) * 2016-06-20 2018-07-31 Navico Holding As Watercraft navigation safety system
US10773591B2 (en) * 2016-10-17 2020-09-15 FLIR Belgium BVBA Video analytics based pilot safety devices
EP3525446A4 (en) * 2016-10-29 2019-10-02 Huawei Technologies Co., Ltd. PHOTOGRAPHIC METHOD AND DEVICE
JP6661708B2 (ja) * 2018-08-01 2020-03-11 三菱電機株式会社 船舶の着岸支援装置
EP3874337B1 (en) * 2018-10-31 2023-01-11 Flir Belgium BVBA Assisted docking graphical user interface systems and methods
US20220171043A1 (en) * 2020-11-30 2022-06-02 Navico Holding As Sonar display features

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5072362A (en) * 1989-12-07 1991-12-10 Boating Laboratories, Inc. Apparatus for controlling a vessel's horn
GB9012601D0 (en) * 1990-06-06 1990-07-25 Poulter Graham Plc Display system and method
US5751344A (en) * 1995-07-05 1998-05-12 Schnee; Robert Alan Navigation system for a marine vessel in low light conditions
US5999212A (en) * 1997-07-31 1999-12-07 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for infrared detection of a moving target in the presence of solar clutter
DE19754582A1 (de) * 1997-12-09 1999-06-10 Benedikt Zeyen Schiffsnavigation mit Hilfe von Hyper Reality
DE19813005A1 (de) * 1998-03-25 1999-10-07 Lehnkering Reederei Gmbh Verfahren und Anordnung zur Führung und automatischen Steuerung von Schiffen oder schwimmenden Anlagen
US6255650B1 (en) 1998-12-11 2001-07-03 Flir Systems, Inc. Extreme temperature radiometry and imaging apparatus
CA2396349C (en) * 2001-08-02 2006-01-24 Kabushiki Kaisha Toyota Jidoshokki Steering wheel position compensating apparatus in steering apparatus
US6985753B2 (en) * 2001-12-07 2006-01-10 Dashsmart Investments Llc Portable navigation and communication systems
US6628569B1 (en) * 2002-01-09 2003-09-30 Techsonic Industries, Inc. Fishfinder device with integrated controller
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
JP2004142537A (ja) * 2002-10-23 2004-05-20 Yamaha Marine Co Ltd 船舶の操舵制御装置
US7394724B1 (en) * 2005-08-09 2008-07-01 Uzes Charles A System for detecting, tracking, and reconstructing signals in spectrally competitive environments
GB2441802A (en) * 2006-09-13 2008-03-19 Marine & Remote Sensing Soluti Safety system for a vehicle
GB0705248D0 (en) * 2007-03-19 2007-04-25 Cummins Generator Technologies Propulsion arrangement
JP2008309529A (ja) * 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
US9215384B2 (en) * 2007-07-09 2015-12-15 Flir Systems Ab Method of processing an infrared image, infrared image capturing system and computer readable medium
US20090019382A1 (en) * 2007-07-13 2009-01-15 Honeywell International Inc. Systems and methods for side angle radar training and simulation
JP5079424B2 (ja) * 2007-08-27 2012-11-21 アルパイン株式会社 車載機器制御装置及び車載機器制御方法
US8223262B2 (en) * 2007-10-26 2012-07-17 Cisco Technology, Inc. Charging and use scheme for a hand-held electronics device
US8155434B2 (en) * 2007-10-30 2012-04-10 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement
JP2010041530A (ja) * 2008-08-07 2010-02-18 Sanyo Electric Co Ltd 操縦支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045351A (zh) * 2017-05-13 2017-08-15 上海磐剑海洋科技有限公司 一种多功能的新型无人船遥控器

Also Published As

Publication number Publication date
US20110279673A1 (en) 2011-11-17
WO2012087715A1 (en) 2012-06-28
EP2655180A1 (en) 2013-10-30

Similar Documents

Publication Publication Date Title
CN204415685U (zh) 一种船只和适于与该船只一起使用的一种控制元件
US9729802B2 (en) Infrared camera systems and methods for maritime applications
CN103583037B (zh) 红外相机系统和方法
US9083897B2 (en) Infrared camera systems and methods for dual sensor applications
US8817106B2 (en) Infrared camera with image processing modes for maritime applications
US10395113B2 (en) Polarization-based detection and mapping method and system
US10931934B2 (en) Watercraft thermal monitoring systems and methods
US20150104064A1 (en) Method and system for detection of foreign objects in maritime environments
CN103493472B (zh) 模块化的红外摄像机系统及方法
EP4056950A1 (en) Thermal imaging for navigation systems and methods
AU2018230648A1 (en) Polarization-based detection and mapping method and system
Schoonmaker et al. Spectral detection and monitoring of marine mammals
JP2008107857A (ja) 動体認識方法及び動体認識装置
Schwering et al. Application of heterogeneous multiple camera system with panoramic capabilities in a harbor environment
Schwering et al. Asymmetric threat assessment using electrooptical imaging systems
Lensen et al. Application of heterogeneous multiple camera system with panoramic capabilities in a harbor environment
Schwering et al. Task-specific sensor settings for electro-optical systems in a marine environment
CN117630951A (zh) 基于深海采矿车的集成全景环视及声呐预警系统及预警方法
KR20190033851A (ko) 열상 감시 장비를 이용한 선박의 항해 지원 시스템 및 방법

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150624

Termination date: 20171214

CF01 Termination of patent right due to non-payment of annual fee