CN110113511A - 一款具有图像识别功能的新型三目相机的设计 - Google Patents

一款具有图像识别功能的新型三目相机的设计 Download PDF

Info

Publication number
CN110113511A
CN110113511A CN201910084778.8A CN201910084778A CN110113511A CN 110113511 A CN110113511 A CN 110113511A CN 201910084778 A CN201910084778 A CN 201910084778A CN 110113511 A CN110113511 A CN 110113511A
Authority
CN
China
Prior art keywords
lens
position recognition
picture
recognition capability
photographic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910084778.8A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yumo Information Technology Co Ltd
Original Assignee
Shanghai Yumo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yumo Information Technology Co Ltd filed Critical Shanghai Yumo Information Technology Co Ltd
Priority to CN201910084778.8A priority Critical patent/CN110113511A/zh
Publication of CN110113511A publication Critical patent/CN110113511A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开涉及摄像终端技术领域。不同焦距的摄像头,与成像的清晰度直接相关。多目摄像头,可以通过不同的摄像头组合来覆盖不同范围的场景,既解决了摄像头无法快速来回切换焦距的问题,也可以一次性解决不同距离下识别清晰度的问题。在港口的使用场景中,集装箱起重机的起吊过程装卸效率低,港口工作环境多变,起吊过程中钢绳易受风的影响而摆动。本发明借助计算机图像处理与识别技术提高装运稳定性和效率,尤其涉及在特种环境下获取高质量图像的方法,以及对获取图像后使用增强技术获取高质量图像的方法。

Description

一款具有图像识别功能的新型三目相机的设计
技术领域
随着国际贸易量的不断提高和大型集装箱船舶的出现,对港口的装卸效率提出了更高要求,全自动化港口码头应运而生。目前,我国的上海港已经有堆场作业自动化的先例,但港口集装箱起重机的起吊过程并不能完全实现无人化操作,装卸效率依然有提升的空间;且港口工作环境多变,起吊过程中钢绳易受风载摆动。近年来,国内外都对堆场效率的提高展开了各种研究,并取得了较好的理论成果,目前采用的技术大多数是基于工人经验上的改进,而集装箱吊装作业环境的特殊性,使此种改进方法具有一定的局限性。工人操作存在很大的主观性和模糊性,不能与高效自动化的堆场进行很好的衔接,进而影响整个码头的装卸效率。目前,计算机图像处理与识别技术已经广泛的应用于国民经济的各个部门,此技术应用于集装箱吊装过程具有很好的前景。
本公开涉及摄像终端技术领域。不同焦距的摄像头,与成像的清晰度直接相关。多目摄像头,可以通过不同的摄像头来覆盖不同范围的场景,既解决了摄像头无法快速来回切换焦距的问题,也可以一次性解决不同距离下识别清晰度的问题。本公开重点阐述三目摄像头的设计。
在计算机视觉识别系统中,图像内容通常用图像特征进行描述。事实上,基于计算机视觉的图像检索也可以分为类似文本搜索引擎的三个步骤:提取特征、建模、优化及控制信号输出。
背景技术
实际上,自动化引发的“机器换人”已经成为全产业转型升级发展的时代潮流,港口行业也概莫能外。首先,只要风险控制得当,实现自动化没有实质性的技术风险,并能降低成本和风险。近10年来,国内沿海港口行业劳动力越来越短缺,人力成本飙升,同时港口自动化技术逐步成熟,设施成本逐渐下降。此消彼长,集装箱自动化码头发展在经历了漫长的阶段之后条件已经变得相当成熟,设备的自动化技术已经相当可靠。其次,港口行业环保要求越来越高。环保理念在港航领域不断深入人心并付诸于实施,随着信息技术的不断发展,自动化集装箱码头在应用方面有所突破已是大势所趋。在机器换人、节能环保的时代大背景下,集装箱自动化码头发展还受到船舶大型化、航运联盟常态化两个关键外部因素的影响。
摄像头在日常生活中非常常见,一般用来完成拍照、摄像这些基本的功能。但随着人工智能的到来,使得人们有了从摄像头中,获取更为智慧的结果的需求,即通过摄像头的视野,分析感知环境的变化,做出判断,将结果反馈到终端或者云端的处理器当中,服务于更丰富的应用。
港口货运的自动化作为最先进的应用领域之一,摄像头很早就进入了科研专家的考察范围。该领域产品需要实现偏离警告、基于视觉融合的车辆探测、前部碰撞警告、距离监测、周围物体探测、智能前灯控制、交通标志识别、仅视觉自适应巡航控制等功能。而实现以上功能,就需要给控制系统安装上“眼睛” -摄像设备。
但是,目前该领域多使用单目摄像头方案为主。但单目摄像头有一个问题是,在测距的范围和距离方面,有一个不可调和的矛盾,即摄像头的视角越宽,所能探测到精准距离的长度越短,视角越窄,探测到的距离越长。这类似于人眼看世界,看的越远的时候,所能覆盖的范围就窄,看的近的时候,则覆盖的范围就广一些。人眼是双目的,在性能上要远优于人造产品,但在观察周遭环境的时候,也依然会遇到覆盖不全的问题。
而本公开可以很好地提高识别精度、抗击外部干扰、为控制决策提供最接近真实场景的原始数据。
发明内容
1.该图像识别系统,其特征在于,具有三个独立的图像传感器,可独立工作。其中两个为短焦相机,一个为长焦相机。
2.该图像识别系统,其特征在于,三目相机具有内同步和外同步功能,通过一个外触发信号能同时对三个图像采集单元进行帧同步,无外触发信号时,摄像机可自己产生帧同步信号。
3.该图像识别系统,其特征在于,三目相机其中2个镜头为短焦,拍摄范围为0.5~8米(约垂直视角21~27度,水平视角37~48度),第三个镜头拍摄范围为0.5~30米(约垂直视角9度,水平视角16度)。
4.该图像识别系统,其特征在于,相机同时具有MJPEG和H.264编码功能,每个图像传感器可产生独立的视频流,三目摄像机通过一个千兆网络接口与外部连接,允许具有3个独立IP地址。
5.该图像识别系统,其特征在于,图像具有自动曝光、自动白平衡功能。
6.该图像识别系统,其特征在于,软件远程升级功能:可远程为摄像机升级程序。
7.该图像识别系统,其特征在于,三目摄像机中有一路可作为视频监控使用,应支持ONVIF和RTSP 协议,并具有屏幕信息叠加功能,可在H.264编码的视频流上叠加年月日、时分秒、文字描述等信息。
8.该图像识别系统,其特征在于,具有可替换的三个独立的图像传感器,可独立工作。其中两个为红外相机,一个为RGB相机。
为了解决现有技术摄像产生如上问题,本发明旨在提供一种三目摄像设备,该设备是由多个不同设备的摄像头的组合而成,如图3所示。
为了达到龙门吊在运动过程中动态监测行驶路径上障碍物的目的,本发明采用如下技术方案:一种可以三维采集被摄对象的空间三维点云信息并可以实时优化吊车运动的摄像设备,其特征是:动态监测,抗干扰能力强。所述安装定位架设置在定位顶盘顶部中心并设有以太网接线端口。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种龙门吊示意图。
图2是根据一示例性实施例示出的一种该设备对被摄对象进行三维空间信息点云重构的效果图。
图3是根据一示例性实施例示出的一种该设备内部机构图。
图4是根据一示例性实施例示出的一种该设备内部各部件的说明。
图5是根据一示例性实施例示出的一种该设备的执行部件结构图。

Claims (13)

1.一种具有集装箱位置识别能力的摄像装置,包括用于固定摄像头的伸缩杆,多组摄像头的组合,摄像设备采集图像数据,提取特征点;通过对特征点的空间位置信息进行重构,优化出安全高效的货物运输路线;其特征在于,实时处理抓取对象和干扰物的位置关系,具有很好的抗干扰性;运动路径的优化,以达到高效的需求。
2.根据权利要求1所述的一种集装箱位置识别能力的摄像装置,该装置的保护对象为摄像设备,其特征在于,该设备可以是三目的,即三个摄像镜头的组合,其特征在于,由三个相同的长焦镜头组成。
3.根据权利要求1所述的一种集装箱位置识别能力的摄像装置,该装置的保护对象为摄像设备,其特征在于,该设备可以是三目的,即三个摄像镜头的组合,其特征在于,由两个长焦镜头和一个短焦镜头组成。
4.根据权利要求1所述的一种集装箱位置识别能力的摄像装置,该装置的保护对象为摄像设备,其特征在于,该设备可以是三目的,即三个摄像镜头的组合,其特征在于,由一个长焦镜头和两个短焦镜头组成。
5.根据权利要求1所述的一种集装箱位置识别能力的摄像装置,该装置的保护对象为摄像设备,其特征在于,该设备可以是三目的,即三个摄像镜头的组合,其特征在于,由三个相同的短焦镜头组成。
6.根据权利要求1所述的一种集装箱位置识别能力的摄像装置,该装置的保护对象为摄像设备,其特征在于,该设备可以是三目的,即三个摄像镜头的组合,其特征在于,由两个相同的红外镜头及一个RGB镜头组成。
7.根据权利要求1所述的一种集装箱位置识别能力的摄像装置,该装置的保护对象为摄像设备,其特征在于,该设备可以是三目的,即三个摄像镜头的组合,其特征在于,由两个相同的红外镜头及一个RGB镜头组成,并配有红外投影。
8.根据权利要求1所述的集装箱位置识别能力的摄像装置,其特征在于,所述根据所述长焦画面和所述广角画面生成目标图像,包括:对所述广角画面预处理并根据所述长焦镜头的光学倍数进行等值放大;根据放大后的广角画面和所述长焦画面生成目标图像。
9.根据权利要求1所述的集装箱位置识别能力的摄像装置,其特征在于,所述根据所述红外画面和所述RGB画面生成目标3D图像,包括:对所述红外画面预处理并根据所述RGB画面进行3D图像及2D图像匹配。
10.根据权利要求1所述的集装箱位置识别能力的摄像装置,其特征在于对于集装箱的一次抓取,会配备四根伸缩杆。
11.根据权利要求1所述的集装箱位置识别能力的摄像装置,其特征在于对于集装箱的一次抓取,会配备六根伸缩杆。
12.根据权利要求1所述的集装箱位置识别能力的摄像装置,其特征在于对于集装箱的一次抓取的每一根伸缩杆上会配备一个摄像装置。
13.根据权利要求1所述的集装箱位置识别能力的摄像装置,其特征在于对于集装箱的一次抓取的每一根伸缩杆上会配备两个摄像装置组合。
CN201910084778.8A 2019-01-29 2019-01-29 一款具有图像识别功能的新型三目相机的设计 Pending CN110113511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910084778.8A CN110113511A (zh) 2019-01-29 2019-01-29 一款具有图像识别功能的新型三目相机的设计

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910084778.8A CN110113511A (zh) 2019-01-29 2019-01-29 一款具有图像识别功能的新型三目相机的设计

Publications (1)

Publication Number Publication Date
CN110113511A true CN110113511A (zh) 2019-08-09

Family

ID=67483969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910084778.8A Pending CN110113511A (zh) 2019-01-29 2019-01-29 一款具有图像识别功能的新型三目相机的设计

Country Status (1)

Country Link
CN (1) CN110113511A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1422923A2 (en) * 2002-11-25 2004-05-26 Eastman Kodak Company Method for determining an area of importance in an image using eye monitoring information
CN101365116A (zh) * 2008-09-28 2009-02-11 上海外轮理货有限公司 集装箱装卸理货实时监控系统
CN102431895A (zh) * 2011-09-07 2012-05-02 中南大学 一种集装箱对准系统及对准方法
CN105438993A (zh) * 2014-09-24 2016-03-30 西门子公司 自动地光学确定集装箱吊具的目标位置的方法和系统
CN106454138A (zh) * 2016-12-07 2017-02-22 信利光电股份有限公司 一种变焦全景摄像头
CN106809730A (zh) * 2017-01-18 2017-06-09 北京理工大学 一种基于视觉的集装箱自动对接起吊系统及起吊方法
CN107449499A (zh) * 2017-09-30 2017-12-08 南京中高知识产权股份有限公司 集装箱偏载值检测系统及其工作方法
CN108263950A (zh) * 2018-02-05 2018-07-10 上海振华重工(集团)股份有限公司 基于机器视觉的码头岸桥吊具自动着箱系统及方法
CN207802177U (zh) * 2017-11-28 2018-08-31 江苏唐恩科技有限公司 监控装置及系统
CN109231009A (zh) * 2018-07-18 2019-01-18 上海电机学院 一种具有360°环视影像的龙门吊结构

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1422923A2 (en) * 2002-11-25 2004-05-26 Eastman Kodak Company Method for determining an area of importance in an image using eye monitoring information
CN101365116A (zh) * 2008-09-28 2009-02-11 上海外轮理货有限公司 集装箱装卸理货实时监控系统
CN102431895A (zh) * 2011-09-07 2012-05-02 中南大学 一种集装箱对准系统及对准方法
CN105438993A (zh) * 2014-09-24 2016-03-30 西门子公司 自动地光学确定集装箱吊具的目标位置的方法和系统
CN106454138A (zh) * 2016-12-07 2017-02-22 信利光电股份有限公司 一种变焦全景摄像头
CN106809730A (zh) * 2017-01-18 2017-06-09 北京理工大学 一种基于视觉的集装箱自动对接起吊系统及起吊方法
CN107449499A (zh) * 2017-09-30 2017-12-08 南京中高知识产权股份有限公司 集装箱偏载值检测系统及其工作方法
CN207802177U (zh) * 2017-11-28 2018-08-31 江苏唐恩科技有限公司 监控装置及系统
CN108263950A (zh) * 2018-02-05 2018-07-10 上海振华重工(集团)股份有限公司 基于机器视觉的码头岸桥吊具自动着箱系统及方法
CN109231009A (zh) * 2018-07-18 2019-01-18 上海电机学院 一种具有360°环视影像的龙门吊结构

Similar Documents

Publication Publication Date Title
CN103941746B (zh) 无人机巡检图像处理系统及方法
CN110674746B (zh) 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CA3100569A1 (en) Ship identity recognition method base on fusion of ais data and video data
CN103886107B (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN108053449A (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
CN110097787A (zh) 一种基于监控航标灯的船只碰撞预警监测系统及方法
CN108897342B (zh) 针对快速移动的民用多旋翼无人机的定位跟踪方法及系统
CN102917171B (zh) 基于像素的小目标定位方法
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
CN103024350A (zh) 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统
CN110580044A (zh) 基于智能感知的无人船全自动航行异构系统
CN111242025B (zh) 一种基于yolo的动作实时监测方法
CN107491071A (zh) 一种智能多机器人协同测图系统及其方法
CN109445453A (zh) 一种基于OpenCV的无人机实时压缩跟踪方法
CN206611521U (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
CN103929592A (zh) 全方位智能监控设备及方法
CN108789500A (zh) 人机安全防护系统及安全防护方法
CN102291568A (zh) 一种大视场智能化视频监控系统的加速处理方法
CN114554093A (zh) 图像采集系统及目标跟踪方法
CN103707300A (zh) 机械手装置
CN104580895A (zh) 一种具有摄照同步工作能力的机载成像系统
CN101751783A (zh) 闯红灯车辆自动记录系统
CN113194249A (zh) 一种基于摄像头的运动物体实时追踪系统及方法
CN110113511A (zh) 一款具有图像识别功能的新型三目相机的设计
CN104714068B (zh) 对室外电能表读表的机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809