CN107040764A - 一种基于视频流的对象识别装置 - Google Patents

一种基于视频流的对象识别装置 Download PDF

Info

Publication number
CN107040764A
CN107040764A CN201710324655.8A CN201710324655A CN107040764A CN 107040764 A CN107040764 A CN 107040764A CN 201710324655 A CN201710324655 A CN 201710324655A CN 107040764 A CN107040764 A CN 107040764A
Authority
CN
China
Prior art keywords
end system
equipment
connecting elements
transceiver
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710324655.8A
Other languages
English (en)
Other versions
CN107040764B (zh
Inventor
许荣福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Excellent Information Technology Co Ltd
Original Assignee
Chengdu Excellent Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Excellent Information Technology Co Ltd filed Critical Chengdu Excellent Information Technology Co Ltd
Priority to CN201710324655.8A priority Critical patent/CN107040764B/zh
Publication of CN107040764A publication Critical patent/CN107040764A/zh
Application granted granted Critical
Publication of CN107040764B publication Critical patent/CN107040764B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback

Abstract

本发明提供一种基于视频流的对象识别装置,包括前端系统、后端系统、数据库;前端系统包括调节设备、图像捕获设备、第一处理设备和第一收发设备,后端系统包括第二收发设备,识别设备,存储设备,第三收发设备;前端系统中的第一收发设备通过链路与后端系统中的第二收发设备进行信息的收发,而后端系统中的第三收发设备通过链路与数据库进行信息收发。通过该装置,可以保证进行三维空间的全覆盖式捕获,保证了传输质量,保持数据获取的连续性,节约时间,提供识别速度快、准确率高的结果,降低功率消耗,有效延长了图像捕获设备以及调节设备等部件的寿命。

Description

一种基于视频流的对象识别装置
技术领域
本发明通常涉及计算机图像信号处理领域,更具体而言,涉及一种基于视频流的对象识别装置。
背景技术
人脸识别是计算机视觉信息处理的重要分支,是指基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术。人脸识别技术在国家安全、军事安全和公共安全等领域都有着广泛的应用,例如海关出入境管理,持卡人身份验证,机器人研究,真实感虚拟游戏等场景中。另外,随着信息技术的快速发展,对图像数据的传输和及时回放有了更高要求,在此基础上,流媒体技术应用而生。流媒体技术是一种新型的网络多媒体技术,它把多媒体数据压缩技术,数据流调度策略以及网络数据传输控制技术有机地结合起来,使用户可以在下载数据的同时就可以进行观看,大大地缩短了用户的等待延迟,而且节约了网络资源。流媒体图像业务是指终端一边下载一边播放图像数据。其特点是用户无需等待图像内容全部下载完就可以观看,只需要待下载的数据缓存到一定量后就可以播放,然后在播放过程中,新的数据依次缓存到终端,以保持播放的连续性。
由于应用领域的需求,将上述技术进行结合继而能够解决对象识别领域中的诸多问题。诸如,身份识别需要快速、准确、灵活。而现有技术中,由于数据获取、处理和传输的原因,在数据的获取、处理、结果确定中都存在相当多的不足。往往待处理的源数据的获取速度不尽如人意,而且由于图像数据在转换、传输过程中的各种原因,会导致数据不够干净,导致后续识别过程耗时、准确度降低,并且由于更多的计算而导致更多的功率消耗。另外,现有技术中的图像捕获设备,往往固定在墙壁或者天花板上,捕获镜头与固定设备之间往往采用固定连接,导致由于固定的单一拍摄角度,如果对象移动出固定拍摄角度覆盖的区域,则无法继续跟踪,如果想继续跟踪,必须增加图像捕获设备的数量,并且此时需要进行图像的分割、拼接和衔接,这既带来设备增加和相应的功耗增加,也导致成本的增加。即使图像捕获设备可以相对于固定设备移动,但最多也是其旋转轴在一个平面的旋转,无法保证进行三维空间的全覆盖式捕获。此外,由于图像捕获设备位于人流量大的场所或者内外环境随时间变化的场所,随着时间的推移,图像捕获质量会受到影响,而且内外环境对图像捕获设备的寿命也有减少的影响。现有技术中缺乏这方面的成果。
发明内容
本发明的目的之一是提供一种基于视频流的对象识别装置。通过该装置,可以在不增加设备的前提下,保证了功耗和成本不增加,保证进行三维空间的全覆盖式捕获,增强了数据的多样性和灵活性,保证了传输质量,可以保持数据获取的连续性,并且节约了时间,为后续人脸识别的效率提高做出了贡献,可以提供识别速度快、准确率高的结果,并且由于较少的计算而导致降低的功率消耗,有效地保护图像捕获设备,放置内部和外部环境随时间的改变而影响其图像捕获质量,从而有效延长了图像捕获设备以及调节设备等部件的寿命。
本发明为解决上述技术问题而采取的技术方案为:一种基于视频流的对象识别装置,其特征在于:所述基于视频流的对象识别装置包括前端系统1、后端系统2、数据库3;其中前端系统1与后端系统2之间,以及后端系统2与数据库3之间通过链路连接;前端系统1包括调节设备B、图像捕获设备C、第一处理设备D和第一收发设备E,其中调节设备B与图像捕获设备C以及第一处理设备D分别耦合,并且第一处理设备D和第一收发设备E耦合;其中后端系统2包括第二收发设备F,识别设备G,存储设备H,第三收发设备I;其中前端系统1中的第一收发设备E通过链路与后端系统2中的第二收发设备F进行信息的收发,而后端系统2中的第三收发设备I通过链路与数据库3进行信息收发。
根据本发明的另一个方面,所述链路可以是有线链路或者无线链路中的任一个或两者,无线链路包括Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)以及包括LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM的蜂窝通信中的至少一个形成的链路;有线链路包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、RS-232和POTS中的至少一个形成的链路。
根据本发明的另一个方面,前端系统1进一步包括固定设备A,其中固定设备A与调节设备B耦合;以及调节设备B包括顺序连接的连接构件和可旋转电动构件,其中连接构件和可旋转电动构件的数量为M和M-1,其中M是不小于4的正整数;以及可旋转电动构件各自包括N个可以相互运动的机械式连接的子构件,其中N是不小于2的正整数。
根据本发明的另一个方面,调节设备B包括顺序连接的连接构件B0,可旋转电动构件B1,连接构件B2,可旋转电动构件B3,连接构件B4,可旋转电动构件B5,连接构件B6;其中连接构件起连接支撑作用,可旋转电动构件起根据电信号而旋转的作用;并且当可旋转电动构件均通过有线链路接收电信号时,连接构件为中空结构,其内部设置有电气配线,而当可旋转电动构件均通过无线链路接收电信号时,连接构件可以为中空结构或者实心结构,此时可旋转电动构件内部设置有近距离通信模块和信号处理模块,其与同样设置有近距离通信模块的第一处理设备通信;其中连接构件B0的连接设置为:如果前端系统1不包括固定设备A时,连接构件B0直接或间接地连接到第一处理设备;如果前端系统1包括固定设备A时,连接构件B0可以直接或间接地连接到固定设备A和第一处理设备中的任一个或两者;调节设备B中的连接构件B0,可旋转电动构件B1,连接构件B2,可旋转电动构件B3,连接构件B4,可旋转电动构件B5,连接构件B6具体设置为:三个可旋转电动构件为棱柱或者圆柱结构或球形结构或哑铃型结构,其各自包括两个可以相互运动的子构件BB1和BB2,BB2可以相对于BB1旋转运动;其中可旋转电动构件B1、B3、B5的柱状底面的中轴线之间相互呈90°,即,这些中轴线中的每一个被彼此垂直地放置,使得三个可旋转电动构件的旋转轴覆盖所有的三维方向,即X、Y和Z方向,继而使得调节设备可以在空间中以任何角度旋转,进而使得B6连接的图像捕获设备C能够不留死角地捕获整个空间中的图像数据,从而提高捕获数据的多样性、灵活性,提高后续人脸识别的针对性,并且能够减少图像捕获设备的使用数量,降低总功耗和成本。具体地;连接构件可以采用L、S、U、V、乁、螺旋形中的至少一个。
根据本发明的另一个方面,前端系统将角度设置信息和在预设时间段内捕获的信息进行处理,并将处理的信息发送给后端系统;后端系统根据接收的处理的信息,确定是否需要再次调整角度,如果确定图像捕获设备C的捕获角度设置得适当,则在后续过程中直接进行图像的捕获;如果确定图像捕获设备C的捕获角度设置得不适当,即需要再次调整捕获角度,则返回调整信息,并在后续过程中调整后进行图像的捕获;前端系统中的第一处理设备接收图像捕获设备以某一速度捕获的图像信息,并将该数据进行编码压缩;数据的编码压缩包括:先将图像数据分割成片段,之后再分割为子片段,继而对子片段进行预测,其采用以下方式:由邻近的已完成编码的重新建立的帧为参考帧,执行移动补偿,在完成后用其数值减目前子片段的实际数值,生成差分数据,经过变换后进行数值化,经由熵编码,将熵编码的数据与预测的方向和移动向量合并成压缩的数据流;前端系统中的第一处理设备将该数据流进行后续打包处理,并将打包处理的数据输入到缓冲器中;第一收发设备根据传输速度,将缓冲器中的数据通过有线或无线链路传输。
根据本发明的另一个方面,后端系统中的第二收发设备接收由第一收发设备发送的图像,并且将其输入到识别设备中;识别设备根据预设的协议,将输入的数据进行解码,获得图像序列;识别设备对图像序列进行预处理,包括灰度处理、补光、去噪、锐化等处理以降低干扰信号;识别设备还提取图像序列中的帧的尺寸,建灰度图,色彩空间变换,创建存储分区并初始化操作,对灰度图的条形图进行处理和绘制呈现;对图像中的变化进行判断,当确定前景区域超过第一临界值,则确定有变化,进而进入后续过程,而当确定前景区域未超过第一临界值,则确定无变化,终止该段序列的操作,转而进行下一序列的操作;根据人脸部位的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征分量,包括特征点间的欧氏距离、曲率和角度;提取面部数据的特征值形成面部特征矩阵,使用神经网络分类方法进行人脸矩形的确定,确定人脸矩形中的眼、眉、鼻、嘴角、下巴,对矩形的灰度图进行旋转和缩放,并提取上述部位的特征。
根据本发明的另一个方面,后端系统中的识别设备对图像中的变化进行判断包括:获取邻近的三组图像,对前两个和后两个分别进行差值运算,进而对结果中的序列值取绝对值,判断其数值是否小于第三临界值,如果小于则其值为零,否则为一;执行去噪操作,确定前景的棱角点的坐标,并计算其围成的图形的面积,并用该面积除以获取的图像的整个面积,得到前景区域的比率,当确定前景区域比率未超过第一临界值,则确定无变化,终止该段序列的操作,转而进行下一序列的操作。
根据本发明的另一个方面,后端系统将识别出的人脸与数据库中的对象进行比较,并确定结果进一步包括:通过后端系统的第三收发设备I,经由链路向数据库3发送请求,并将人脸数据与已存储的人脸数据进行比较,并得到数值,如果该数值超过第二临界值,则确定识别对象的身份信息,否则返回感喟结果通知前端。
根据本发明的另一个方面,后端系统根据接收的图像数据,确定是否需要又一次调整角度,以便跟踪识别的人脸对应的对象,经确定需要调整后,后端系统通过第二收发模块,向前端系统发送又一次调整角度的反馈信息,前端系统基于此重复开始执行。
附图说明
在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例,其中相同的附图标记表示相同的元件,其中:
根据本发明的示范性实施例,图1图示基于视频流的对象识别装置的示意性框图。
根据本发明的示范性实施例,图2图示基于视频流的对象识别装置执行的流程图。
根据本发明的示范性实施例,图3A和3B图示调节设备的结构功能图。
具体实施方式
在下面的描述中,参考附图并以图示的方式示出几个具体的实施例。将理解的是:可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此,以下详细描述不应被认为具有限制意义。
根据本发明的示范性实施例,图1图示基于视频流的对象识别装置的示意性框图。其中包括前端系统1、后端系统2、数据库3;前端系统1与后端系统2之间,以及后端系统2与数据库3之间通过链路连接;前端系统1包括调节设备B、图像捕获设备C、第一处理设备D和第一收发设备E,其中调节设备B与图像捕获设备C以及第一处理设备D分别耦合,并且第一处理设备D和第一收发设备耦合;其中后端系统2包括第二收发设备F,识别设备G,存储设备H,第三收发设备I。其中前端系统1中的第一收发设备E通过链路与后端系统2中的第二收发设备F进行信息的收发,而后端系统2中的第三收发设备I通过链路与数据库3进行信息收发。
优选地,所述链路可以是有线链路或者无线链路中的任一个或两者,无线链路例如包括Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)和蜂窝通信(例如LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM等)中的至少一个形成的链路。有线链路例如包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、RS-232和POTS中的至少一个形成的链路。
优选地,前端系统1进一步包括固定设备A,其中固定设备A与调节设备B耦合。
根据本发明的示范性实施例,图2图示基于视频流的对象识别装置执行的流程图。
在步骤S1中,调整图像捕获设备的角度,并将角度调整和设置信息发送给前端系统;
在步骤S2中,前端系统将该信息处理后发送给后端系统;
在步骤S3中,后端系统确定是否需要再次调整角度;
在步骤S4中,经确定是否需要调整后,由图像捕获设备捕获图像数据;
在步骤S5中,前端系统将图像数据进行流媒体处理,并且发送给后端系统;
在步骤S6中,后端系统接收图像数据并处理,识别其中的人脸;
在步骤S7中,后端系统将识别出的人脸与数据库中的对象进行比较,并确定结果。
具体地,调节设备B的功能结构图如图3A中所示,其中调节设备B包括顺序连接的连接构件B0,可旋转电动构件B1,连接构件B2,可旋转电动构件B3,连接构件B4,可旋转电动构件B5,连接构件B6。优选地,为了增强灵活性,可以使用更多的连接构件和可旋转电动构件。其中连接构件起连接支撑作用,可旋转电动构件起根据电信号而旋转的作用;并且当可旋转电动构件均通过有线链路接收电信号时,连接构件为中空结构,其内部设置有电气配线,而当可旋转电动构件均通过无线链路接收电信号时,连接构件可以为中空结构或者实心结构,此时可旋转电动构件内部设置有近距离通信模块和信号处理模块,其与同样设置有近距离通信模块的第一处理设备通信。其中连接构件B0的连接设置为:如果前端系统1不包括固定设备A时,连接构件B0直接或间接地连接到第一处理设备;如果前端系统1包括固定设备A时,连接构件B0可以直接或间接地连接到固定设备A和第一处理设备中的任一个或两者。调节设备B中的连接构件B0,可旋转电动构件B1,连接构件B2,可旋转电动构件B3,连接构件B4,可旋转电动构件B5,连接构件B6具体设置为:三个可旋转电动构件为棱柱或者圆柱结构或球形结构或哑铃型结构,如图3B中所示,其各自包括多个可以相互运动的子构件BB1、BB2……,为了简单起见,图3B仅仅示出两个子构件,并且BB1固定不动而BB2相对于其旋转运动,然而本领域普通技术人员可以理解:可以使用更多个子构件,并且多个子构件都可以部分或全部地相对于其他设备运动。其中可旋转电动构件B1、B3、B5的柱状底面的中轴线之间相互呈90度,即,这些中轴线中的每一个被彼此垂直地放置,使得三个可旋转电动构件的旋转轴覆盖所有的三维方向,即X、Y和Z方向,继而使得调节设备可以在空间中以任何角度旋转,进而使得B6连接的图像捕获设备C能够不留死角地捕获整个空间中的图像数据,从而提高捕获数据的多样性、灵活性,提高后续人脸识别的针对性,并且能够减少图像捕获设备的使用数量,降低总功耗和成本。具体地,结构可整体上是直的,或者其在整个某些部分中可以是弯曲的或成角度的,这取决于设备的应用区域的要求;进一步地,连接构件可以采用任何形状,诸如而不限于U、V、L、S、乁、螺旋形等中的至少一个。优选地,为了保护调节设备B免受破坏,延长使用寿命,该调节设备B外侧安装有柔性橡胶软管或者柔性橡胶壳或金属壳。
进一步地,前述图像捕获设备包括捕获壳体、透镜和内部模块,捕获壳体与透镜内部模块物理连接,捕获壳体为金属或者聚合物或者树脂等材料制成,其外侧靠近透镜部分附连有防尘构件、防水构件,该构件上分别提供有防尘膜和防水膜,内部模块的板面上提供有散热孔洞,板面上提供有风扇,其扇出气流方向朝向在捕获壳体远离透镜部分的结构中设置的散热孔,该散热孔为锥形结构,平台截面小的一端位于壳体外侧,平台截面大的一端位于壳体内侧,这样既能够方便热气流排出,也能够减少外部尘粒或水汽的进入。通过以上设置可以有效地保护图像捕获设备,放置内部和外部环境随时间的改变而影响其图像捕获质量,从而有效延长了图像捕获设备的寿命。
通过以上流媒体的操作,在不增加设备的前提下,保证了功耗和成本不增加,保证进行三维空间的全覆盖式捕获,增强了数据的多样性和灵活性。
进一步地,前端系统将角度设置信息和在预设时间段内捕获的信息进行处理,并将处理的信息发送给后端系统。
进一步地,后端系统根据接收的处理的信息,确定是否需要再次调整角度,如果确定图像捕获设备C的捕获角度设置得适当,则在后续过程中直接进行图像的捕获;如果确定图像捕获设备C的捕获角度设置得不适当,即需要再次调整捕获角度,则返回调整信息,并在后续过程中调整后进行图像的捕获。
进一步地,前端系统中的第一处理设备接收图像捕获设备以某一速度捕获的图像信息,并将该数据进行编码压缩;数据的编码压缩包括:先将图像数据分割成片段,之后再分割为子片段,继而对子片段进行预测,其采用以下方式:由邻近的已完成编码的重新建立的帧为参考帧,执行移动补偿,在完成后用其数值减目前子片段的实际数值,生成差分数据,经过变换后进行数值化,经由熵编码,将熵编码的数据与预测的方向和移动向量合并成压缩的数据流;前端系统中的第一处理设备将该数据流进行后续打包处理,并将打包处理的数据输入到缓冲器中;第一收发设备根据传输速度,将缓冲器中的数据通过有线或无线链路传输。
优选地,第一收发设备根据传输速度,将缓冲器中的数据通过有线或无线链路传输,其中无线通信例如包括Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)和蜂窝通信(例如LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM等)中的至少一个。有线通信例如包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、RS-232和POTS中的至少一个。
进一步地,前端系统在压缩编码之后且在打包处理之前执行以下操作:检测和配置未使用的存储器空间,获取压缩编码的数据流,更新时间和序列信息,并将获得的时间标记和序列数据、数据流一起执行打包处理操作,并将结果传入先前配置的存储器中的缓冲器中。该操作可以有效地减少处理等待时间,减少延迟,为图像数据的快速处理、传输和识别提供保障。
通过以上流媒体的操作,保证了传输质量,可以保持数据获取的连续性,并且节约了时间,为后续人脸识别的效率提高做出了贡献。
进一步地,后端系统中的第二收发设备接收由第一收发设备发送的图像,并且将其输入到识别设备中;识别设备根据预设的协议,将输入的数据进行解码,获得图像序列;识别设备对图像序列进行预处理,包括灰度处理、补光、去噪、锐化等处理以降低干扰信号;识别设备还提取图像序列中的帧的尺寸,建灰度图,色彩空间变换,创建存储分区并初始化操作,对灰度图的条形图进行处理和绘制呈现;对图像中的变化进行判断,当确定前景区域超过第一临界值,则确定有变化,进而进入后续过程,而当确定前景区域未超过第一临界值,则确定无变化,终止该段序列的操作,转而进行下一序列的操作;根据人脸部位的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征分量,包括特征点间的欧氏距离、曲率和角度;使用PCA算法提取面部数据的特征值形成面部特征矩阵,使用神经网络分类方法进行人脸矩形的确定,确定人脸矩形中的左右眼、左右眉、鼻尖、左右嘴角、下巴,对矩形的灰度图进行旋转和缩放,并提取上述部位的特征。优选地,人脸矩形的操作包括:确定人脸并标记,设定人脸的L*L像素,其中L是大于等于32的正整数;突出图像中的人脸并设置矩形,确定矩形大小并显示;确定人脸信息,并将人脸的图像矩阵和信息储存到存储设备H内。
进一步地,对图像中的变化进行判断进一步包括:获取邻近的三组图像,对前两个和后两个分别进行差值运算,进而对结果中的序列值取绝对值,判断其数值是否小于第三临界值,如果小于则其值为零,否则为一;执行去噪操作,确定前景的棱角点的坐标,并计算其围成的图形的面积,并用该面积除以获取的图像的整个面积,得到前景区域的比率,当确定前景区域比率未超过第一临界值,则确定无变化,终止该段序列的操作,转而进行下一序列的操作。
在步骤S7中,后端系统将识别出的人脸与数据库中的对象进行比较,并确定结果进一步包括:通过后端系统的第三收发设备I,经由链路向数据库3发送请求,并将人脸数据与已存储的人脸数据进行比较,并得到数值,如果该数值超过第二临界值,则确定识别对象的身份信息,否则返回反馈结果通知前端。
通过以上操作,可以提供识别速度快、准确率高的结果,并且由于较少的计算而导致降低的功率消耗。
此外,进一步地,后端系统根据接收的图像数据,确定是否需要又一次调整角度,以便跟踪识别的人脸对应的对象,经确定需要调整后,后端系统通过第二收发模块,向前端系统发送又一次调整角度的反馈信息,前端系统基于此重复开始执行。
综上,在本发明的技术方案中,通过采用了一种基于视频流的对象识别装置。通过该装置,可以在不增加设备的前提下,保证了功耗和成本不增加,保证进行三维空间的全覆盖式捕获,增强了数据的多样性和灵活性,保证了传输质量,可以保持数据获取的连续性,并且节约了时间,为后续人脸识别的效率提高做出了贡献,可以提供识别速度快、准确率高的结果,并且由于较少的计算而导致降低的功率消耗,有效地保护图像捕获设备,放置内部和外部环境随时间的改变而影响其图像捕获质量,从而有效延长了图像捕获设备的寿命。
将理解的是:可以硬件、软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述,可存储任何执行这种操作的主体,以挥发性或非挥发性存储的形式,例如存储设备,像ROM,无论可抹除或可重写与否,或者以存储器的形式,诸如例如RAM、存储器芯片、设备或集成电路或在光或磁可读的介质上,诸如例如CD、DVD、磁盘或磁带。将理解的是:存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例,当被执行时,所述一个或多个程序实现本发明的示例。经由任何介质,诸如通过有线或无线耦合载有的通信信号,可以电子地传递本发明的示例,并且示例适当地包含相同内容。
应当注意的是:因为本发明解决了三维空间的全覆盖式捕获,提供识别速度快、准确率高的识别结果并节约了时间,降低功率消耗的技术问题,采用了计算机技术领域中技术人员在阅读本说明书之后根据其教导所能理解的技术手段,并获得了可以在不增加设备的前提下,保证了功耗和成本不增加,保证进行三维空间的全覆盖式捕获,增强了数据的多样性和灵活性,保证了传输质量,可以保持数据获取的连续性,并且节约了时间,为后续人脸识别的效率提高做出了贡献,可以提供识别速度快、准确率高的结果,并且由于较少的计算而导致降低的功率消耗,有效地保护图像捕获设备,放置内部和外部环境随时间的改变而影响其图像捕获质量,从而有效延长了图像捕获设备的寿命的有益技术效果,所以在所附权利要求中要求保护的方案属于专利法意义上的技术方案。另外,因为所附权利要求要求保护的技术方案可以在工业中制造或使用,因此该方案具备实用性。
以上所述,仅为本发明的较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应包涵在本发明的保护范围之内。除非以其他方式明确陈述,否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于视频流的对象识别装置,其特征在于:
所述基于视频流的对象识别装置包括前端系统1、后端系统2、数据库3;其中前端系统1与后端系统2之间,以及后端系统2与数据库3之间通过链路连接;前端系统1包括调节设备B、图像捕获设备C、第一处理设备D和第一收发设备E,其中调节设备B与图像捕获设备C以及第一处理设备D分别耦合,并且第一处理设备D和第一收发设备E耦合;其中后端系统2包括第二收发设备F,识别设备G,存储设备H,第三收发设备I;其中前端系统1中的第一收发设备E通过链路与后端系统2中的第二收发设备F进行信息的收发,而后端系统2中的第三收发设备I通过链路与数据库3进行信息收发。
2.如权利要求1所述的基于视频流的对象识别装置,其中:
所述链路可以是有线链路或者无线链路中的任一个或两者,无线链路包括Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)以及包括LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM的蜂窝通信中的至少一个形成的链路;有线链路包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、RS-232和POTS中的至少一个形成的链路。
3.如权利要求2所述的基于视频流的对象识别装置,其中:
前端系统1进一步包括固定设备A,其中固定设备A与调节设备B耦合;以及
调节设备B包括顺序连接的连接构件和可旋转电动构件,其中连接构件和可旋转电动构件的数量为M和M-1,其中M是不小于4的正整数;以及
可旋转电动构件各自包括N个可以相互运动的机械式连接的子构件,其包括机械部分和电动控制部分,其中N是不小于2的正整数。
4.如权利要求3所述的基于视频流的对象识别装置,其中:
前述图像捕获设备包括捕获壳体、透镜和内部模块,捕获壳体与透镜内部模块物理连接,捕获壳体为金属或者聚合物或者树脂等材料制成,其外侧靠近透镜部分附连有防尘构件、防水构件,该构件上分别提供有防尘膜和防水膜,内部模块的板面上提供有散热孔洞,板面上提供有风扇,其扇出气流方向朝向在捕获壳体远离透镜部分的结构中设置的散热孔,该散热孔为锥形结构,平台截面小的一端位于壳体外侧,平台截面大的一端位于壳体内侧。
5.如权利要求4所述的基于视频流的对象识别装置,其中:
该调节设备B外侧安装有柔性橡胶软管或者柔性橡胶壳或金属壳;调节设备B包括顺序连接的连接构件B0,可旋转电动构件B1,连接构件B2,可旋转电动构件B3,连接构件B4,可旋转电动构件B5,连接构件B6;其中连接构件起连接支撑作用,可旋转电动构件起根据电信号而旋转的作用;并且当可旋转电动构件均通过有线链路接收电信号时,连接构件为中空结构,其内部设置有电气配线,而当可旋转电动构件均通过无线链路接收电信号时,连接构件可以为中空结构或者实心结构,此时可旋转电动构件内部设置有近距离通信模块和信号处理模块,其与同样设置有近距离通信模块的第一处理设备通信;其中连接构件B0的连接设置为:如果前端系统1不包括固定设备A,连接构件B0直接或间接地连接到第一处理设备;如果前端系统1包括固定设备A时,连接构件B0可以直接或间接地连接到固定设备A和第一处理设备中的任一个或两者;调节设备B中的连接构件B0,可旋转电动构件B1,连接构件B2,可旋转电动构件B3,连接构件B4,可旋转电动构件B5,连接构件B6具体设置为:三个可旋转电动构件为棱柱或者圆柱结构或球形结构或哑铃型结构,其各自包括两个可以相互运动的子构件BB1和BB2,BB2可以相对于BB1旋转运动;其中可旋转电动构件B1、B3、B5的柱状底面的中轴线之间相互呈90°,即,这些中轴线中的每一个被彼此垂直地放置,使得三个可旋转电动构件的旋转轴覆盖所有的三维方向,即X、Y和Z方向,继而使得调节设备可以在空间中以任何角度旋转;前述连接构件可以采用U、V、L、S、乁、螺旋形中的至少一个。
6.如权利要求5所述的基于视频流的对象识别装置,其中:
前端系统将角度设置信息和在预设时间段内捕获的信息进行处理,并将处理的信息发送给后端系统;
后端系统根据接收的处理的信息,确定是否需要再次调整角度,如果确定图像捕获设备C的捕获角度设置得适当,则在后续过程中直接进行图像的捕获;如果确定图像捕获设备C的捕获角度设置得不适当,即需要再次调整捕获角度,则返回调整信息,并在后续过程中调整后进行图像的捕获;
前端系统中的第一处理设备接收图像捕获设备以某一速度捕获的图像信息,并将该数据进行编码压缩;数据的编码压缩包括:先将图像数据分割成片段,之后再分割为子片段,继而对子片段进行预测,其采用以下方式:由邻近的已完成编码的重新建立的帧为参考帧,执行移动补偿,在完成后用其数值减目前子片段的实际数值,生成差分数据,经过变换后进行数值化,经由熵编码,将熵编码的数据与预测的方向和移动向量合并成压缩的数据流;前端系统中的第一处理设备将该数据流进行后续打包处理,并将打包处理的数据输入到缓冲器中;第一收发设备根据传输速度,将缓冲器中的数据通过有线或无线链路传输;
前端系统在压缩编码之后且在打包处理之前执行以下操作:检测和配置未使用的存储器空间,获取压缩编码的数据流,更新时间和序列信息,并将获得的时间标记和序列数据、数据流一起执行打包处理操作,并将结果传入先前配置的存储器中的缓冲器中。
7.如权利要求6所述的基于视频流的对象识别装置,其中
后端系统中的第二收发设备接收由第一收发设备发送的图像,并且将其输入到识别设备中;识别设备根据预设的协议,将输入的数据进行解码,获得图像序列;识别设备对图像序列进行预处理,包括灰度处理、补光、去噪、锐化等处理以降低干扰信号;识别设备还提取图像序列中的帧的尺寸,建灰度图,色彩空间变换,创建存储分区并初始化操作,对灰度图的条形图进行处理和绘制呈现;对图像中的变化进行判断,当确定前景区域超过第一临界值,则确定有变化,进而进入后续过程,而当确定前景区域未超过第一临界值,则确定无变化,终止该段序列的操作,转而进行下一序列的操作;根据人脸部位的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征分量,包括特征点间的欧氏距离、曲率和角度;提取面部数据的特征值形成面部特征矩阵,使用神经网络分类方法进行人脸矩形的确定,确定人脸矩形中的眼、眉、鼻、嘴角、下巴,对矩形的灰度图进行旋转和缩放,并提取上述部位的特征。
8.如权利要求7所述的基于视频流的对象识别装置,其中:
后端系统中的识别设备对图像中的变化进行判断包括:获取邻近的三组图像,对前两个和后两个分别进行差值运算,进而对结果中的序列值取绝对值,判断其数值是否小于第三临界值,如果小于则其值为零,否则为一;执行去噪操作,确定前景的棱角点的坐标,并计算其围成的图形的面积,并用该面积除以获取的图像的整个面积,得到前景区域的比率,当确定前景区域比率未超过第一临界值,则确定无变化,终止该段序列的操作,转而进行下一序列的操作。
9.如权利要求8所述的基于视频流的对象识别装置,其中:
后端系统将识别出的人脸与数据库中的对象进行比较,并确定结果进一步包括:通过后端系统的第三收发设备I,经由链路向数据库3发送请求,并将人脸数据与已存储的人脸数据进行比较,并得到数值,如果该数值超过第二临界值,则确定识别对象的身份信息,否则返回反馈结果通知前端。
10.如权利要求9所述的基于视频流的对象识别装置,其中:
后端系统根据接收的图像数据,确定是否需要又一次调整角度,以便跟踪识别的人脸对应的对象,经确定需要调整后,后端系统通过第二收发模块,向前端系统发送又一次调整角度的反馈信息,前端系统基于此重复开始执行。
CN201710324655.8A 2017-05-10 2017-05-10 一种基于视频流的对象识别装置 Expired - Fee Related CN107040764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710324655.8A CN107040764B (zh) 2017-05-10 2017-05-10 一种基于视频流的对象识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710324655.8A CN107040764B (zh) 2017-05-10 2017-05-10 一种基于视频流的对象识别装置

Publications (2)

Publication Number Publication Date
CN107040764A true CN107040764A (zh) 2017-08-11
CN107040764B CN107040764B (zh) 2020-04-14

Family

ID=59538454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710324655.8A Expired - Fee Related CN107040764B (zh) 2017-05-10 2017-05-10 一种基于视频流的对象识别装置

Country Status (1)

Country Link
CN (1) CN107040764B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135645A (zh) * 2014-07-31 2014-11-05 天津市亚安科技股份有限公司 人脸跟踪抓拍视频监控系统及方法
CN104883497A (zh) * 2015-04-30 2015-09-02 广东欧珀移动通信有限公司 一种定位拍摄方法及移动终端
CN105763850A (zh) * 2016-03-30 2016-07-13 冯华飞 一种基于人脸识别的监控器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135645A (zh) * 2014-07-31 2014-11-05 天津市亚安科技股份有限公司 人脸跟踪抓拍视频监控系统及方法
CN104883497A (zh) * 2015-04-30 2015-09-02 广东欧珀移动通信有限公司 一种定位拍摄方法及移动终端
CN105763850A (zh) * 2016-03-30 2016-07-13 冯华飞 一种基于人脸识别的监控器

Also Published As

Publication number Publication date
CN107040764B (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
US11671712B2 (en) Apparatus and methods for image encoding using spatially weighted encoding quality parameters
EP3471395B1 (en) Method and electronic device for processing raw image acquired through camera by using external electronic device
US20180025478A1 (en) Electronic device for processing image
TW201918997A (zh) 用於使用卷積神經網路的視頻超解析度的方法和設備
US20160021355A1 (en) Preprocessor for Full Parallax Light Field Compression
CN114093142B (zh) 通过组合视觉传感和热传感的对象感知的温度异常监控和预警
WO2016200541A1 (en) Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
US11373685B2 (en) Event/object-of-interest centric timelapse video generation on camera device with the assistance of neural network input
CN107864337A (zh) 素描图像处理方法、装置及设备
KR101176743B1 (ko) 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
CN108063946A (zh) 图像编码方法和装置、存储介质及电子装置
KR20190096748A (ko) 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치
US11393078B2 (en) Electronic device and method for correcting image on basis of image transmission state
KR20190067438A (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
Liu et al. MBA-VO: Motion blur aware visual odometry
CN107040764A (zh) 一种基于视频流的对象识别装置
CN109121194B (zh) 用于电子设备的状态转换的方法和装置
US11880992B2 (en) Adaptive face depth image generation
WO2019236347A1 (en) Prediction for light-field coding and decoding
CN107169433A (zh) 一种基于流媒体的人脸识别方法
CN107872666A (zh) 图像流传输方法和支持该方法的电子设备
KR102499286B1 (ko) 이미지가 분할된 복수의 블록들의 압축과 관련된 압축 손실 데이터에 기반하여 이미지를 압축하는 전자 장치 및 그 동작 방법
US11743450B1 (en) Quick RGB-IR calibration verification for a mass production process
US11812007B2 (en) Disparity map building using guide node

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200414

Termination date: 20210510

CF01 Termination of patent right due to non-payment of annual fee