CN107018386A - 一种视频流多分辨率观测系统 - Google Patents

Abstract

一种视频流多分辨率观测系统，包括图像传感器、多分辨率处理装置和视频观测装置，所述图像传感器包括图像获取单元，多分辨率处理装置包括图像接收单元、图像处理单元和焦点数据接收单元，视频观测装置包括显示模块、显示设备和行为监测模块，所述图像处理单元包括图像缩略处理模块，图像数据传输模块和图像焦点截取模块。本发明将原始图像压缩至缩略图供用户观测并选择焦点，再分屏输出高分辨率图像供用户实时观看，既大幅度降低了传输成本、节省传输带宽，有效降低对传输设备及显示设备的硬件配置要求，又能随时改变焦点、实时调整局部画面、查看高清图像、跟踪不同目标，满足模拟人眼观看、随时对焦的需求，以最大程度来满足用户需求。

Description

一种视频流多分辨率观测系统

技术领域

本发明涉及视频传输及观测技术领域，特别涉及一种视频流多分辨率观测系统。

背景技术

目前一些智能设备，如机器人、无人机、视频监控设备等，在使用过程中，需要对现实场景或物体进行实时识别，因此需要摄像头去获取最直接的场景视频数据，然而对使用视频数据的终端（如机器人、无人机、智能软件、人等）而言，有时关注点并非为所拍摄到的视频中的所有对象，在现有技术中，一般会将摄像头所拍摄的所有对象的数据以高清的形式传输至观测系统，这种形式的传输存在以下不足之处：

1．视频图像传输硬件要求高、带宽成本大、数据量大、易延迟；

2．将拍摄到的所有视频对象数据均做高清传输至观测终端，而终端却并未全部使用，对于视频资源而言，造成了一定程度的浪费，也会对后期数据使用者造成一定负担；

3．现有摄像头的清晰度会越来越高，拍摄出的视频图像所占内存也会越来越大，于是造成传输成本和后期处理成本越来越高。

发明内容

本发明要解决的技术问题是：提供一种既节省传输和处理成本，又能随时观测高新图像的视频流多分辨率观测系统，以克服已有技术所存在的上述不足。

本发明采取的技术方案是：一种视频流多分辨率观测系统，包括图像传感器，多分辨率处理装置和视频观测装置，所述图像传感器通过有线或无线信号与多分辨率处理装置连接，多分辨率处理装置通过有线或无线信号与视频观测装置连接；

所述图像传感器用于获取实际场景的视频图像信息，并将其传输至多分辨率处理装置；

所述多分辨率处理装置用于接收图像传感器传来的视频图像信息及视频观测装置传来的焦点数据信息，并对视频图像信息进行多分辨率处理，将处理前后的图像信息传输至视频观测装置；

所述视频观测装置用于显示处理前后的视频信息，供观测者实时观测视频图像全局信息及焦点信息，同时接收观测者以交互方式传递的焦点数据信息并将其传输至多分辨率处理装置；

所述图像传感器包括图像获取单元；

所述多分辨率处理装置包括图像接收单元，图像处理单元和焦点数据接收单元，所述图像接收单元的输入端与图像传感器之图像获取单元的输出端通过有线或无线信号连接，其输出端与图像处理单元的输入端电路连接，图像处理单元的输入端还与焦点数据接收单元的输出端电路连接，图像处理单元的输出端与视频观测装置的输入端通过有线或无线信号连接，焦点数据接收单元的输入端与视频观测装置的输出端通过有线或无线信号连接；

所述图像接收单元用于接收图像获取单元传来的图像数据，后将图像数据按顺序单帧传输至图像处理单元；

所述图像处理单元用于：

一、接收图像接收单元传来的图像数据，并对图像数据进行压缩处理，将压缩后的图像数据传输至视频观测装置；

二、接收焦点数据接收单元传来的焦点数据，根据焦点数据对原始图像进行截取并转换分辨率，将处理后的图像传输至视频观测装置；

所述焦点数据接收单元用于接收视频观测装置传来的焦点数据，后将焦点数据传输至图像处理单元；

所述视频观测装置包括显示模块，显示设备和行为监测模块，所述显示模块的输入端与多分辨率处理装置之图像处理单元的输出端通过有线或无线信号连接，显示模块的输出端与显示设备的输入端电路连接，显示设备的输出端与行为监测模块的输入端电路连接，行为监测模块的输出端与多分辨率处理装置之焦点数据接收单元的输入端通过有线或无线信号连接；

所述显示模块用于接收图像处理单元传来的图像数据，检测显示设备的显示尺寸数据、显示方式，根据检测到的显示尺寸、显示方式按顺序单帧分配给显示设备；

所述显示设备用于：

一、接收显示模块传来的图像数据并显示，供给用户观测；

二、与用户交互；

所述行为监测模块用于监测并记录用户行为，将其转化成数据和指令形式传输至焦点数据接收单元。

其进一步的技术方案是：所述图像处理单元包括图像缩略处理模块，图像数据传输模块和图像焦点截取模块，所述图像缩略处理模块的输入端与图像接收单元的输出端电路连接，其输出端与图像数据传输模块的输入端电路连接，图像数据传输模块的输入端还与图像焦点截取模块的输出端电路连接，图像数据传输模块的输出端与视频观测装置之显示模块的输入端通过有线或无线信号连接，图像焦点截取模块的输入端与图像接收单元和焦点数据接收单元的输出端电路连接；

所述图像缩略处理模块用于接收图像接收单元传来的图像数据，并将原始图像缩略至低分辨率图像，后将低分辨率图像（即缩略图）数据传输至图像数据传输模块；

所述图像数据传输模块用于：

一、接收图像缩略处理模块传来的缩略图数据，并传输至显示模块；

二、接收图像焦点截取模块传来的区域图像数据（即焦点数据），并传输至显示模块；

所述图像焦点截取模块用于接收图像接收单元传来的原始图像数据以及焦点数据接收单元传来的焦点数据，根据接收到的焦点数据信息，更新原有焦点数据为现焦点数据，并根据现焦点数据对原始图像进行像素组截取，按用户所选择的图像分辨率数据对所截取的原始图像进行图像分辨率转换（若用户所选择的图像分辨率与原始图像分辨率一致，则不转换），最后将区域图像数据传输至图像数据传输模块。

其更进一步的技术方案是：所述显示设备包括n个显示设备，所述n≥1。

更进一步：所述图像传感器为电荷耦合元件或金属氧化物半导体元件，所述多分辨率处理装置为中央处理器CPU或具有数据处理能力、指令执行能力的处理部件与随机存储器RAM或高速缓冲存储器或硬盘、闪存等存储器的结合，所述显示设备为触摸显示器、手机、平板电脑等设备。

由于采用上述技术方案，本发明之一种视频流多分辨率观测系统具有如下有益效果：

1．由于本发明之一种视频流多分辨率观测系统设置图像缩略处理模块，采用图像压缩技术将原始图像压缩为缩略图的形式进行传输，既大幅度降低了视频图像数据传输成本、节省传输带宽，又能合理利用视频资源，减轻后期数据使用者的负担，有效降低对传输设备及显示设备的硬件配置要求，节省硬件成本；

2．由于本发明之一种视频流多分辨率观测系统设置焦点数据接收单元和图像焦点截取模块，根据用户所选择的焦点和分辨率实时对原始图像进行截取及转换成相应分辨率显示，因此用户可随时改变焦点，实时调整局部画面，跟踪不同目标，实时查看新焦点的高清图像，满足模拟人眼观看、随时对焦的需求，以最大程度来满足用户需求；

3．由于本发明之一种视频流多分辨率观测系统设置图像数据传输模块和视频观测装置，图像数据传输模块将全局缩略图与高清焦点图一起传输至视频观测装置进行显示，缩略图与焦点图可同时展示或者分屏展示，用户不仅能掌控全局，还能清晰跟踪目标。

下面结合附图和实施例对本发明之一种视频流多分辨率观测系统的技术特征作进一步的说明。

附图说明

图1：本发明之一种视频流多分辨率观测系统的结构框图；

图中：

Ⅰ—图像传感器，Ⅱ—多分辨率处理装置，Ⅲ—视频观测装置，

1—图像获取单元，2—图像接收单元，3—图像处理单元，31—图像缩略处理模块，32—图像数据传输模块，33—图像焦点截取模块，4—焦点数据接收单元，5—显示模块，6—显示设备，7—行为监测模块。

具体实施方式

实施例一

一种视频流多分辨率观测系统，如图1所示，该系统包括图像传感器Ⅰ，多分辨率处理装置Ⅱ和视频观测装置Ⅲ，所述图像传感器Ⅰ通过有线或无线信号与多分辨率处理装置Ⅱ连接，多分辨率处理装置Ⅱ通过有线或无线信号与视频观测装置Ⅲ连接；

所述图像传感器Ⅰ用于获取实际场景的视频图像信息，并将其传输至多分辨率处理装置Ⅱ；

所述多分辨率处理装置Ⅱ用于接收图像传感器Ⅰ传来的视频图像信息及视频观测装置Ⅲ传来的焦点数据信息，并对视频图像信息进行多分辨率处理，将处理前后的图像信息传输至视频观测装置Ⅲ；

所述视频观测装置Ⅲ用于显示处理前后的视频信息，供观测者实时观测视频图像全局信息及焦点信息，同时接收观测者以交互方式传递的焦点数据信息并将其传输至多分辨率处理装置Ⅱ；

所述图像传感器Ⅰ包括图像获取单元1；

所述多分辨率处理装置Ⅱ包括图像接收单元2，图像处理单元3和焦点数据接收单元4，所述图像接收单元2的输入端与图像传感器Ⅰ之图像获取单元1的输出端通过有线或无线信号连接，其输出端与图像处理单元3的输入端电路连接，图像处理单元3的输入端还与焦点数据接收单元4的输出端电路连接，图像处理单元3的输出端与视频观测装置Ⅲ的输入端通过有线或无线信号连接，焦点数据接收单元4的输入端与视频观测装置Ⅲ的输出端通过有线或无线信号连接；

所述图像接收单元2用于接收图像获取单元1传来的图像数据，后将图像数据按顺序单帧传输至图像处理单元3；

所述图像处理单元3用于：

一、接收图像接收单元2传来的图像数据，并对图像数据进行压缩处理，将压缩后的图像数据传输至视频观测装置Ⅲ；

二、接收焦点数据接收单元4传来的焦点数据，根据焦点数据对原始图像进行截取并转换分辨率，将处理后的图像传输至视频观测装置Ⅲ；

所述焦点数据接收单元4用于接收视频观测装置Ⅲ传来的焦点数据，后将焦点数据传输至图像处理单元3；

所述视频观测装置Ⅲ包括显示模块5，显示设备6和行为监测模块7，所述显示模块5的输入端与多分辨率处理装置Ⅱ之图像处理单元3的输出端通过有线或无线信号连接，显示模块5的输出端与显示设备6的输入端电路连接，显示设备6的输出端与行为监测模块7的输入端电路连接，行为监测模块7的输出端与多分辨率处理装置Ⅱ之焦点数据接收单元4的输入端通过有线或无线信号连接；

所述显示模块5用于接收图像处理单元3传来的图像数据，检测显示设备6的显示尺寸数据、显示方式，根据检测到的显示尺寸、显示方式按顺序单帧分配给显示设备6；

所述显示设备6用于：

一、接收显示模块5传来的图像数据并显示，供给用户观测；

二、与用户交互；

所述行为监测模块7用于监测并记录用户行为，当用户在显示设备6上进行交互，通过可见的触控行为、鼠标等选择工具行为、手势感应等方式选择想要观测的焦点后，行为监测模块7将其转化成数据和指令形式传输至焦点数据接收单元4，所传输的焦点数据包含焦点表示形式（即焦点的位置、大小、实体对象数据、框图数据等）及用户所要求的图像分辨率数据，焦点表示形式可以但不限于位置及大小数据、框图数据等，焦点数据中的焦点表示形式的选择方式可以为在屏幕上通过点击进行选择，区域大小由视频观测装置Ⅲ默认，也可以通过框图方式，选择框不做限定，可以为任何规则或不规则的封闭图形，封闭区域即为想要显示的焦点表示区域，焦点数据中的图像分辨率可以为视频观测装置Ⅲ默认的当前分辨率，也可通过手动方式指定分辨率数据。

所述图像处理单元3包括图像缩略处理模块31，图像数据传输模块32和图像焦点截取模块33，所述图像缩略处理模块31的输入端与图像接收单元2的输出端电路连接，其输出端与图像数据传输模块32的输入端电路连接，图像数据传输模块32的输入端还与图像焦点截取模块33的输出端电路连接，图像数据传输模块32的输出端与视频观测装置Ⅲ之显示模块5的输入端通过有线或无线信号连接，图像焦点截取模块33的输入端与图像接收单元2和焦点数据接收单元4的输出端电路连接；

所述图像缩略处理模块31用于接收图像接收单元2传来的图像数据，并将原始图像缩略至低分辨率图像，后将低分辨率图像（即缩略图）数据传输至图像数据传输模块32，压缩传输既大幅度降低了视频图像数据传输成本、节省传输带宽，又能合理利用视频资源，减轻后期数据使用者的负担，有效降低对传输设备及显示设备的硬件配置要求，节省硬件成本；

所述图像数据传输模块32用于：

一、接收图像缩略处理模块31传来的缩略图数据，并传输至显示模块5；

二、接收图像焦点截取模块33传来的区域图像数据（即焦点数据），并传输至显示模块5；

所述图像焦点截取模块33用于接收图像接收单元2传来的原始图像数据以及焦点数据接收单元4传来的焦点数据，根据接收到的焦点数据信息，更新原有焦点数据为现焦点数据，并根据现焦点数据对原始图像进行像素组截取，按用户所选择的图像分辨率数据对所截取的原始图像进行图像分辨率转换（若用户所选择的图像分辨率与原始图像分辨率一致，则不转换），最后将区域图像数据传输至图像数据传输模块32，用户可随时改变焦点，实时调整局部画面，跟踪不同目标，实时查看新焦点的高清图像，满足模拟人眼观看、随时对焦的需求，以最大程度来满足用户需求。

所述显示设备6包括n个显示设备，所述n≥1，当n＝1时，即只有一个显示设备，焦点图图像数据、缩略图图像数据在该设备上进行分块显示，用户可在同一屏幕上同时观测焦点图图像及缩略图图像，单屏显示可以为上下布局形式或左右布局形式或其它指定布局形式，当n≥2时，即有多个显示设备，系统根据各显示设备需求，显示模块5对焦点图图像数据和缩略图图像数据进行分发，将其分屏显示，用户可在不同屏幕上观测焦点图图像及缩略图图像，不仅能掌控全局，还能清晰跟踪目标。

所述图像传感器Ⅰ为电荷耦合元件或金属氧化物半导体元件，所述多分辨率处理装置Ⅱ为中央处理器CPU或具有数据处理能力、指令执行能力的处理部件与随机存储器RAM或高速缓冲存储器或硬盘、闪存等存储器的结合，所述显示设备6为由具有显示视频图像数据能力与接受交互指令的设备组成，如触摸显示器、手机、平板电脑等设备。

工作过程

（1）系统通电，图像传感器Ⅰ之图像获取单元1获取视频图像数据，将视频图像数据通过有线或无线信号传输至多分辨率处理装置Ⅱ之图像接收单元2；

（2）图像接收单元2接收图像数据，将图像帧按顺序单帧传输至图像处理单元3之图像缩略处理模块31和图像焦点截取模块33；

（3）图像缩略处理模块31将图像缩略至默认分辨率，将缩略图传输至图像数据传输模块32；

（4）图像数据传输模块32将缩略图传输至视频观测装置Ⅲ之显示模块5；

（5）显示模块5接收图像数据传输模块32传来的缩略图数据，分别检测第1个至第n个显示设备的显示尺寸数据、显示方式，并依据检测到的显示尺寸和显示方式按顺序单帧分配给显示设备进行显示；

（6）各显示设备显示相应的图像数据，与用户进行交互，用户通过可见的触控行为、鼠标等选择工具行为、手势感应等方式选择想要观测的焦点，行为监测模块7记录并将其转化成数据和指令形式传输至焦点数据接收单元4；

（7）焦点数据接收单元4将接收到的数据传输至图像焦点截取模块33；

（8）图像焦点截取模块33共同接收图像接收单元2传来的原始图像数据和焦点数据接收单元4传来的焦点数据，并根据接收到的焦点数据信息，从原始图像中按焦点表示形式数据对原始图像进行像素组截取，按用户所要求的图像分辨率数据对原始图像进行图像分辨率转换（若所要求的图像分辨率与原始图像分辨率一致，则不转换），最后将匹配的区域图像数据（即焦点图图像数据）传输至图像数据传输模块32；

（9）图像数据传输模块32将焦点图图像数据和缩略图图像数据一起传输至显示模块5，显示模块5根据显示设备的数量及显示方式，分别将图像分配到各显示设备上进行显示，既有实时的缩略图图像，又有焦点图图像；

（10）以此形式循环往复显示缩略图及指定新焦点；

（11）当用户未在视频观测装置Ⅲ做出选择新焦点数据的操作时，多分辨率处理装置Ⅱ根据先前接收并保存的焦点数据截取焦点图，按顺序处理每帧图像数据，传输缩略图图像及焦点图图像至视频观测装置Ⅲ；

（12）当用户重新选择焦点数据时，重复上述步骤（6）-（9），将原有焦点数据更新为现焦点数据，显示设备上显示出新焦点图图像。

以上实施例仅为本发明的较佳实施例，本发明的结构并不限于上述实施例列举的形式，凡在本发明的精神和原则之内所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种视频流多分辨率观测系统，其特征在于：该系统包括图像传感器（Ⅰ），多分辨率处理装置（Ⅱ）和视频观测装置（Ⅲ），所述图像传感器（Ⅰ）通过有线或无线信号与多分辨率处理装置（Ⅱ）连接，多分辨率处理装置（Ⅱ）通过有线或无线信号与视频观测装置（Ⅲ）连接；

所述图像传感器（Ⅰ）用于获取实际场景的视频图像信息，并将其传输至多分辨率处理装置（Ⅱ）；

所述多分辨率处理装置（Ⅱ）用于接收图像传感器（Ⅰ）传来的视频图像信息及视频观测装置（Ⅲ）传来的焦点数据信息，并对视频图像信息进行多分辨率处理，将处理后的图像信息传输至视频观测装置（Ⅲ）；

所述视频观测装置（Ⅲ）用于显示处理后的视频信息，供观测者实时观测视频图像全局信息及焦点信息，同时接收观测者以交互方式传递的焦点数据信息并将其传输至多分辨率处理装置（Ⅱ）；

所述图像传感器（Ⅰ）包括图像获取单元（1）；

所述多分辨率处理装置（Ⅱ）包括图像接收单元（2），图像处理单元（3）和焦点数据接收单元（4），所述图像接收单元（2）的输入端与图像传感器（Ⅰ）之图像获取单元（1）的输出端通过有线或无线信号连接，其输出端与图像处理单元（3）的输入端电路连接，图像处理单元（3）的输入端还与焦点数据接收单元（4）的输出端电路连接，图像处理单元（3）的输出端与视频观测装置（Ⅲ）的输入端通过有线或无线信号连接，焦点数据接收单元（4）的输入端与视频观测装置（Ⅲ）的输出端通过有线或无线信号连接；

所述图像接收单元（2）用于接收图像获取单元（1）传来的图像数据，后将图像数据按顺序单帧传输至图像处理单元（3）；

所述图像处理单元（3）用于：

一、接收图像接收单元（2）传来的图像数据，并对图像数据进行压缩处理，将压缩后的图像数据传输至视频观测装置（Ⅲ）；

二、接收焦点数据接收单元（4）传来的焦点数据，根据焦点数据对原始图像进行截取并转换分辨率，将处理后的图像传输至视频观测装置（Ⅲ）；

所述焦点数据接收单元（4）用于接收视频观测装置（Ⅲ）传来的焦点数据，后将焦点数据传输至图像处理单元（3）；

所述视频观测装置（Ⅲ）包括显示模块（5），显示设备（6）和行为监测模块（7），所述显示模块（5）的输入端与多分辨率处理装置（Ⅱ）之图像处理单元（3）的输出端通过有线或无线信号连接，显示模块（5）的输出端与显示设备（6）的输入端电路连接，显示设备（6）的输出端与行为监测模块（7）的输入端电路连接，行为监测模块（7）的输出端与多分辨率处理装置（Ⅱ）之焦点数据接收单元（4）的输入端通过有线或无线信号连接；

所述显示模块（5）用于接收图像处理单元（3）传来的图像数据，检测显示设备（6）的显示尺寸数据、显示方式，根据检测到的显示尺寸、显示方式按顺序单帧分配给显示设备（6）；

所述显示设备（6）用于：

一、接收显示模块（5）传来的图像数据并显示，供给用户观测；

二、与用户交互；

所述行为监测模块（7）用于监测并记录用户行为，将其转化成数据和指令形式传输至焦点数据接收单元（4）。

2.根据权利要求1所述的一种视频流多分辨率观测系统，其特征在于：

所述图像处理单元（3）包括图像缩略处理模块（31），图像数据传输模块（32）和图像焦点截取模块（33），所述图像缩略处理模块（31）的输入端与图像接收单元（2）的输出端电路连接，其输出端与图像数据传输模块（32）的输入端电路连接，图像数据传输模块（32）的输入端还与图像焦点截取模块（33）的输出端电路连接，图像数据传输模块（32）的输出端与视频观测装置（Ⅲ）之显示模块（5）的输入端通过有线或无线信号连接，图像焦点截取模块（33）的输入端与图像接收单元（2）和焦点数据接收单元（4）的输出端电路连接；

所述图像缩略处理模块（31）用于接收图像接收单元（2）传来的图像数据，并将原始图像缩略至低分辨率图像，后将低分辨率图像（即缩略图）数据传输至图像数据传输模块（32）；

所述图像数据传输模块（32）用于：

一、接收图像缩略处理模块（31）传来的缩略图数据，并传输至显示模块（5）；

二、接收图像焦点截取模块（33）传来的区域图像数据（即焦点数据），并传输至显示模块（5）；

所述图像焦点截取模块（33）用于接收图像接收单元（2）传来的原始图像数据以及焦点数据接收单元（4）传来的焦点数据，根据接收到的焦点数据信息，更新原有焦点数据为现焦点数据，并根据现焦点数据对原始图像进行像素组截取，按用户所选择的图像分辨率数据对所截取的原始图像进行图像分辨率转换（若用户所选择的图像分辨率与原始图像分辨率一致，则不转换），最后将区域图像数据传输至图像数据传输模块（32）。

3.根据权利要求1或2所述的一种视频流多分辨率观测系统，其特征在于：所述显示设备（6）包括n个显示设备，所述n≥1。

4.根据权利要求3所述的一种视频流多分辨率观测系统，其特征在于：所述图像传感器（Ⅰ）为电荷耦合元件或金属氧化物半导体元件，所述多分辨率处理装置（Ⅱ）为中央处理器CPU或具有数据处理能力、指令执行能力的处理部件与随机存储器RAM或高速缓冲存储器或硬盘、闪存等存储器的结合，所述显示设备（6）为触摸显示器、手机、平板电脑等设备。