CN105472358A

CN105472358A - 一种关于视频图像处理的智能终端

Info

Publication number: CN105472358A
Application number: CN201410518721.1A
Authority: CN
Inventors: 万明; 彭明
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-10-05
Filing date: 2014-10-05
Publication date: 2016-04-06

Abstract

本发明涉及一种关于视频图像处理的智能终端，包括一个RGB-D摄像子系统(100),一个微型投影子系统（200），一个控制和处理单元（300），一个无线传输子系统（400），一个电池与电源子系统（500）和一个有磁性的外壳（600）。具备三维空间图像检测功能；三维信息可以存储和打印；可以完成多屏体验；可以将图像投影在任何物体上，解决图像显示在任何场合任意移动需求，大面积显示并进一步消除现实和虚拟边界；本发明可穿戴；还可以做为虚拟键鼠使用，解决用户想随喜好任意改变图形，大小，颜色，背景，功能和不想带实际键鼠的需求；还可以将现实的姿势，手势和动作识别出来变成虚拟信息，改善人机交互。这些虚拟信息可以反过来再控制现实动作，进一步解放双手。

Description

一种关于视频图像处理的智能终端

技术领域

本发明涉及一种关于视频图像处理的智能终端，更具体的说是包括一个RGB-D摄像子系统(100),一个微型投影子系统（200），一个控制和处理单元（300），一个无线传输子系统（400），一个电池与电源子系统（500）和一个有磁性的外壳（600）这6个子系统共18个模块的对视频，图像，文本，实物，姿势，动作，音频信息处理的产品。

背景技术

智能终端和计算机视觉技术近10年发展迅速,软硬结合，开源的RISC架构，产品功能越来越强，体积越来越小。目前智能硬件应用最广泛的是智能手机，其中手机摄像头是智能手机的信息输入子系统，目前这个摄像子系统是一个二维的RGB系统，不具备深度检测信息。手机屏幕是手机的信息输出子系统。可以输出图像和视频信息。但是不能将图像和视频直接投射到实物表面和实物合二为一。

目前智能手机的发展，越来越象一个Allinone的智能终端，有海量的应用。但是目前的架构也有一些限制：手机智能显示在手机屏幕上，手机屏的大小受限，从而影响到增强现实的体验和阅读体验；人们通过手机做应用时必须要拿出手机。不能进一步解放手的动作。

在投影方面，DLP,LCOS,LCD,OLED这几种技术都已经产业化成熟，大批量应用于微型投影。激光投影技术则在大屏幕高清晰投影上占据优势。目前微型投影仪设备已经上市，形成了在手机屏，电视屏，电脑屏，tablet屏之外的又一个屏幕。多屏体验的外延得到扩展。但是目前所有的微型投影都是一个输出设备，只提供USB,HDMI接口和外部输入设备相连。且没有集成RGB-D摄像子系统，不构成信息在一个产品内完成输入输出的闭环。目前的微型投影仪可以做得体积较小，可以便携，但是这些设备还是需要电源线，HDMI线，没有完全摆脱线缆的束缚。不可穿戴。

目前基于红光激光或者绿光激光投射的虚拟键盘产品已经上市，摄像头通过感知人手的多点触控（multi-touch），和虚拟按键一一对应，完成键鼠输入功能。但这些虚拟键盘图形形状，颜色，背景固定，不可改变。

DLNA和airplay技术，以及网络技术multi-BNG的发展,PPPoE向IPoE转变，让多屏体验越来越好，目前主要是电视，电脑，手机，tablet4屏互动，还需要智能投影屏幕，智能手表屏幕，智能眼镜屏幕，这些屏幕都应该可以多屏无缝互动。

人们主要还是靠操作鼠标，键盘，触摸屏等工具做人机交互。人机交互方法有限。

发明内容

本发明是为了增强图像视频的应用，作为人工智能的工具的延伸。物理上模块化，分布式，可穿戴，而在逻辑上独立的同时保持一个整体的智能终端，可以更好的完成多屏体验。

本发明具备三维空间图像检测功能。这些三维空间图像信息可以存储起来和后续打印出来。

本产品可以将图像投影在任何物体上，从而增强显示大小，解决图像显示在任何地方任意移动时显示屏幕小，体验不佳的需求。

本产品可以对现实三维空间中的任何物体投入有用的虚拟信息，这些信息显示在现实物体上，进一步消除现实和虚拟边界。

本产品可穿戴，摆脱线缆束缚，解决图像显示在任何场合任意移动的需求。

本产品可以投射任意虚拟键鼠图像，解决用户想随喜好任意改变图形，大小，颜色，背景，功能和不想带实际键盘鼠标以及不受场地和移动限制的需求。

本产品可以将现实的姿势，手势和动作识别出来变成有用的虚拟信息，改善人机交互。并且这些虚拟信息还可以反过来再控制现实动作，进一步解放双手。

本发明产品包括一个RGB-D摄像子系统(100),一个微型投影子系统（200），一个控制和处理单元（300），一个无线传输子系统（400），一个电池与电源子系统（500）和一个有磁性的外壳（600）。输入单元RGB-D摄像子系统(100)和输出单元微型投影子系统（200）通过控制和处理单元（300）连接，6个子系统集成在一起，构成数据输入输出的闭环系统。这6个子系统物理上是在一起，逻辑上保持独立功能，可以通过无线传输子系统（400）和外部设备连接。

控制和处理单元（300）可以和外部的处理控制单元比如手机处理单元，电脑处理单元协同处理，完成一个个任务。

RGB-D摄像子系统100的输出信息，经过控制和处理单元300的处理和无线传输子系统400的传送，做为输入信息给到外部输出单元比如机器人，3D打印机上。

从云端过来的信息，可以通过无线传输子系统（400）传送进来，经过控制和处理单元（300）处理后，做为微型投影子系统（200）的输入信息，最后从微型投影子系统（200）输出。

文本信息，图像信息，实物信息，姿势信息和动作信息，经过RGB-D摄像子系统(100)的感应，送入到控制和处理单元（300）处理，处理后的输出信息变成增强的文本，图像和视频信息，通过一个微型投影子系统（200）输出，从而实现在任意场合和原有的输入信息聚合。

音频信息可以从麦克通过无线传输子系统（400）进入控制和处理单元（300），该控制和处理单元（300）还可以再通过无线传输子系统（400）和其他处理单元包括云端服务器，存储器，智能手机，电脑，平板，智能电视，智能家庭终端，可穿戴设备，机器人等协同处理，实现音频信息，文本信息，图像信息，实物信息，姿势信息和动作信息任意聚合，可以输出到微型投影子系统（200），也可以输出到智能手机，电脑，平板，智能电视，智能家庭终端，可穿戴设备，机器人，3D打印机，音频设备，云端上，实现相应的应用。

控制和处理单元（300）可以通过无线传输子系统（400）和其他处理单元协同处理信息，并将处理后信息通过网络存储在云里。控制和处理单元（300）通过无线传输子系统（400）和外部设备的控制和处理单元协同，并行和分布式计算，可以将不同的程序任务分配在不同的系统和设备里面处理和传输。

产品设计无线缆，该产品的电池与电源子系统（500）采用无线充电方式，充电依靠无线，不需要线缆，信息传输也依靠无线。实现在任意场合随意移动，方便便携，方便穿戴。

产品组合可以多虚一。当产品组合在一起时，控制和处理单元（300）收集到每个产品里面的RGB-D摄像子系统(100),微型投影子系统（200），控制和处理单元（300），无线传输子系统（400）以及外设协处理单元的资源信息，控制和处理单元（300）控制，调度这些资源并完成资源间的配合，实现产品组合多虚一。

当产品组合多虚1时，利用磁力吸引让产品物理上连接在一起，当产品物理上连接在一起后，无线传输子系统（400）内的NFC子模块开始工作，启动产品对等模式，完成产品逻辑上成为一个系统的功能。

RGB-D摄像子系统（100）内包含深度检测子模块，检测到现场实物的距离信息，该距离信息通过控制和处理单元（300）处理后，得到微型投影子系统（200）内部的透镜组位置合适值，这个值作为输入信息传递给马达控制芯片，马达控制芯片驱动透镜组上的马达位移，调整透镜组到合适位置，投影图像或者视频通过透镜组投射到实物表面，整个过程完成投影的自动调焦。当投射的图像或者视频不清晰或者现场实物距离变化时，深度检测子模块感知到不清晰或者距离变化的信息，并经过控制和处理单元300负反馈给马达控制芯片，马达控制芯片迅速调整马达位移到新的合适值。这样构成一个自动调焦的闭环系统。

系统本身具备wifi,蓝牙，NFC多种无线传输方式，这三种无线方式内部可以绑定，还可以通过外部设备（比如手机，wifi/3G/LTE/Eth转换器）的2.5G/3G/4G无线传输方式绑定（bonding），并通过和外部设备的协同，将不同的程序任务分配在不同的系统里面处理和传输。形成信息的分流（offload）。提高带宽传输速率。

RGB-D摄像子系统(100),包括6个模块，分别是101RGBsensor图像感应芯片，102lens/filter/vcm/hold（透镜组，滤波片，音圈电机和基座结构）,103invisiblelightcontroller(非可见光控制芯片)，104invisiblelight非可见光激光器，105depthsensor(深度检测感应芯片)，106lens/vcm/hold（透镜组,微型马达和基座结构）。现实中的文本，图像，实物，姿势和动作信息，通过102模块传递到101模块，101模块输出图像二维处理结果。103模块产生调制信号，驱动104模块发出结构光。104模块发出的结构光经过实物反射后进入106模块，并通过106模块传递到105模块，105模块根据内部算法，比较反射后的结构光信息和103模块产生的结构光信息，再和101模块得到的图像信息比较，得到现实中的实物，姿势和动作信息的深度信息。101模块得到的二维图像信息加上深度信息，构成实物，姿势和动作的三维信息。实物，姿势和动作的三维信息和文本，图像的信息都将传递给控制和处理单元（300），作为其输入信息。

微型投影子系统（200），包括5个模块，分别是207motorcontroller马达控制芯片，208lcoscontroller即lcos控制芯片，209lcos，210led，211opticalengine光机模组。从控制和处理单元（300）输出的文本，图像，视频信息作为208Lcos控制芯片的输入信息，经过208lcos控制芯片处理后输出信号给209lcos，同时210led发出的光经过211光机模组光路转换，投射到209lcos芯片上，209lcos将该光信号处理后经过211光机模组反射出去，投射到实物表面，形成文本，图像，视频信息。控制和处理单元（300）得到被投射实物的深度d值，作为相应信号输出给207motorcontroller马达控制芯片，207motorcontroller马达控制芯片处理后输出相应信号调整211光机模组中的透镜组上的马达，使得211光机模组中的透镜组位移到合适位置。完成微型投影的自动调焦功能。

本发明产品的控制和处理单元（300）包括2个模块，312处理器模块和313存储模块。RGB-D摄像子系统(100)和控制和处理单元（300）双向交互，该单元300对100子系统信号完成控制，存储，处理和转发。微型投影子系统（200）和控制和处理单元（300）双向交互，该单元300对200子系统信号完成控制，存储，处理；将图像，文本，视频信息输出给微型投影子系统（200）。控制和处理单元（300）通过无线传输子系统（400）和其他外设双向交互，这些外设包括云端服务器，存储器，智能手机，电脑，平板，智能电视，智能家庭终端，可穿戴设备，机器人，3D打印机，音频设备。多个该产品组合在一起时，通过每个产品内的无线传输子系统（400）将每个控制和处理单元（300）连接起来双向交互，控制和处理单元（300）集合获得产品组合内部资源的信息，控制和处理单元（300）集合合理分配这些资源，完成该发明产品的多产品组合的多虚一。控制和处理单元（300）通过无线传输子系统（400）和外部设备的控制和处理单元协同，并行和分布式计算，可以将不同的程序任务分配在不同的系统和设备里面处理和传输。

本发明产品的无线传输子系统（400）是414模块，包括wifi,nfc,蓝牙三种无线方式。这三种无线传输方式内部之间可以绑定，还可以同外部设备（比如手机，wifi/3G/LTE/Eth转换器）的2.5G/3G/4G无线传输方式绑定（bonding），通过和外部设备的协同，将不同的程序任务分配在不同的系统里面处理和传输。形成信息的分流（offload）。

本发明产品的电池与电源子系统（500）包括3个模块，515无线充电模块，516电池模块，517有机太阳能充电模块。电池与电源子系统完成整个产品电池管理和电源管理和整个产品的供电。

本发明产品的磁性外壳（600）帮助产品通过磁力吸引物理上能够容易摆放在一起。

实施本发明的关于视频图像处理的智能终端，具有以下有益效果：显示不局限在一个物理显示屏，而是可以投放在任何物体上；显示屏幕可以更大，避免眼睛看久了小屏幕劳累的压力，显示体验增强；显示可以投放在实物表面，使得虚拟信息和实物合二为一，消除了虚拟和现实的边界；显示的位置可以让人眼仰视，平视和俯视。减轻人们久坐的姿势，减缓颈椎病的压力；文本的信息经过该产品输入处理后，可以作为视频图像增强信息输出，改善显示体验，增强人们对信息的理解；产品可以识别姿势，动作，图像，实物，增强人机交互的体验；产品可以将现实的姿势和动作变成有用的虚拟信息，虚拟信息还可以反过来再控制现实动作，进一步解放双手；产品实现了虚拟键盘鼠标，可以在不方便携带实体键盘鼠标的场景使用虚拟键盘鼠标；产品的虚拟键盘界面可任意改变图形，大小，颜色，背景，功能；产品能够对三维空间中的任何物体做检测，能够感知深度信息，可以基于此做很多应用；产品可以对现实三维空间中的任何物体加入有用的虚拟信息，这些信息可以存储起来，供以后阅读或者打印出来。进一步消除现实和虚拟边界；产品体积可以实现虚拟化和分布式计算，可以减轻其他智能终端的计算存储压力，方便资源的合理利用；产品可以做得很小，没有线缆的限制，方便移动，携带和穿戴；在一些场景下做图像应用时不需要拿出手机，可以进一步解放手的动作，增强现实的体验。

附图说明

下面将结合附图以及实施例对本发明作进一步说明，附图中。

图1是该发明产品和其他产品组合能够实现信息交互的架构图。实线框表示为该产品的子系统。虚线框表示为其他产品组合，作为该产品的外设。

图2是该发明产品的硬件架构图。

图3是该发明作为虚拟键盘鼠标功能应用的示例图。

图4是该发明作为第5屏功能应用示例图。（桌面）。

图5是该发明作为第5屏功能应用示例图。（墙面）。

图6是该发明作为第6感功能在实物（报纸）上应用示例图。

图7是该发明作为第6感功能在实物（酒瓶）上应用示例图。

图8是该发明作为项链穿戴在胸前应用示例图。

图9是该发明作为手表穿戴在手上应用示例图。

具体实施方式

如同图2本发明产品的硬件架构图说示，本发明产品包括RGB-D摄像子系统(100),一个微型投影子系统（200），一个控制和处理单元（300），一个无线传输子系统（400），一个电池与电源子系统（500）和一个有磁性的外壳（600）。

在RGB-D摄像子系统(100)方面，本发明的第一优先实例是采用多个106模块和102模块集成在一起的摄像头模组，在摄像头模组旁边是多个由103模块和104模块集成在一起的非可见光激光器模组。非可见光模组发射非可见光到实物，实物的可见光图像和非可见光图像都被多个摄像头模组接收，多个摄像头模组将接收到的图像信号处理后都输入给105模块，105模块处理后得到深度信息。RGB-D信息产生。

在RGB-D摄像子系统(100)方面，本发明的第二优先实例是采用多个101模块和102模块集成在一起的摄像头模组，实物的图像被多个摄像头模组接收，多个摄像头模组将接收到的图像信号处理后都输入给105模块，105模块处理后得到深度信息。RGB-D信息产生。

在RGB-D摄像子系统(100)方面，本发明的第三优先实施例是101模块和102模块集成在一起构成摄像头模组,该模组接收实物图像并输出RGB信息。103模块和104模块集成在一起构成非可见光激光器模组，该模组发射非可见光。105模块和106模块集成在一起构成深度检测模组。该模组接收被实物反射回来的非可见光，通过深度检测算法处理后输出实物深度D信息。

本发明采用的非可见光(Invisiblelightorimperceptiblelight)可以是IR红外光，紫外光，微波或者超声波。

在本发明的微型投影子系统200方面，第一优先实例是采用211OpticalEngine模块和106Lens/Motor/Hold模块是独立的。105模块和106模块集成在一起的深度检测模组得到深度检测值，该值经过300子系统反馈给207MotorController，然后通过207模块控制211OpticalEngine中的马达，使211OpticalEngine中的透镜组位移到合适位置。

在本发明的微型投影子系统200方面，第二优先实例是采用106Lens/Motor/Hold模块作为211OpticalEngine模块的一部分，在这种方案下，105DepthSensor深度检测模块和209LCoS模块共用相同的透镜组，控制透镜组位移的马达和机械结构，209LCoS和105DepthSensor深度检测通过透镜组的光路相同。这时207MotorController模块只需控制相同的马达就完成透镜组位移到合适位置。

本发明深度检测优先通过stereoscopicvision(立体视觉)方法和structuredlight（结构光）方法的综合完成,但还可以通过timeofflight（时间飞行）方法，或者structuredlight（结构光）方法，或者三角测量法，或者超声波方法，或者干涉方法或者是以上几种方法的集成得到。

本发明的微型投影子系统200采用LCoS技术，微型投影子系统也还可以采用DLP,LCD,OLED或者激光投影技术而其他五个子系统功能不变，完成本发明方案实现的功能。

本发明方案采用的微型马达可以是音圈马达VCM.也可以采用其他微型马达：微型步进电机或者液压马达liquidmotor。

本发明优先通过马达控制完成自动调焦，也可以将马达控制功能删除，改为固定焦距或者手动调焦。

本发明可以放立在桌面上，完成文本，图像和视频投放，照相和动作，姿势检测。本发明还可以装一个头套戴在头上，或者作为项链带在脖子上，或者作为手表带在手腕上。

本发明方案优先采用有机太阳能充电和带磁性的外壳，如果删除517有机太阳能充电模块以及采用不带磁性的外壳设计，也可以替代完成本发明产品的功能。

以上实例只为说明本发明的技术构思及其特征，其目的在于让人能了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化和修饰，均属于本发明权利要求的覆盖范围。

Claims

1.一种关于视频图像处理的智能终端，包括一个RGB-D摄像子系统(100),一个微型投影子系统（200），一个控制和处理单元（300），一个无线传输子系统（400），一个电池与电源子系统（500）和一个有磁性的外壳（600）；

所描述RGB-D摄像子系统(100),包括6个模块：101RGBsensor图像感应芯片，102lens/filter/vcm/hold（透镜组，滤波片，音圈电机和基座结构）,103invisiblelightcontroller(非可见光控制芯片)，104invisiblelight非可见光激光器，105depthsensor(深度检测感应芯片)，106lens/vcm/hold（透镜组,微型马达和基座结构）；

所描述微型投影子系统（200），包括5个模块：207motorcontroller马达控制芯片，208lcoscontroller即lcos控制芯片，209lcos，210led，211opticalengine光机模组；

所描述控制和处理单元（300）包括2个模块：312处理器模块和313存储模块；

所描述无线传输子系统（400）是414模块，包括wifi,nfc,蓝牙三种无线方式；

所描述电池与电源子系统（500）包括3个模块：515无线充电模块，516电池模块，517有机太阳能充电模块；

所描述磁性的外壳（600）是带有磁性的外壳618，容易将产品之间通过磁力吸引在一起；

输入单元RGB-D摄像子系统(100)和输出单元微型投影子系统（200）通过控制和处理单元（300）连接，并可以通过无线传输子系统（400）和外部设备交互，这6个子系统共18个模块集成在一起，构成数据输入输出的闭环系统。

2.根据权利要求1所描述的该关于视频图像处理的智能终端，其特征在于：该产品的6个子系统物理上集成在一起，逻辑上保持独立功能，RGB-D摄像子系统(100),微型投影子系统（200），控制和处理单元（300），可以通过无线传输子系统（400）和外部设备连接，作为其他设备的扩展设备，完成增强功能。

3.根据权利要求1所描述的该关于视频图像处理的智能终端，其特征在于：全部连接都是无线方式，无线缆束缚，可移动可便携可穿戴。

4.根据权利要求1和权利要求2所描述的该关于视频图像处理的智能终端，其特征在于：该产品可以产品组合实现多虚一：当产品组合在一起时，控制和处理单元（300）收集到每个产品里面的RGB-D摄像子系统(100),微型投影子系统（200），控制和处理单元（300），无线传输子系统（400）以及外设协处理单元的资源信息，控制和处理单元（300）控制，调度这些资源并完成资源间的配合，实现产品组合多虚一。

5.根据权利要求1，权利要求2，权利要求3和权利要求4所描述的该关于视频图像处理的智能终端，其特征在于：该产品组合实现多虚1时，利用产品外壳磁力吸引让产品物理上连接在一起，当产品物理上连接在一起后，无线传输子系统（400）内的NFC子模块开始工作，启动产品对等模式，完成产品逻辑上成为一个系统的功能。

6.根据权利要求1，权利要求2，权利要求3，权利要求4和权利要求5所描述的该关于视频图像处理的智能终端，其特征在于：该产品的控制和处理单元（300）通过无线传输子系统（400）和外部设备的控制和处理单元协同，并行和分布式计算，可以将不同的程序任务分配在不同的系统和设备里面处理和传输。

7.根据权利要求1所描述的该关于视频图像处理的智能终端，其特征在于：该产品能够完成微型投影子系统（200）的自动调焦功能：RGB-D摄像子系统（100）内包含深度检测子模块，检测到现场实物的距离信息，该距离信息通过控制和处理单元（300）处理后，得到微型投影子系统（200）内部的透镜组位置合适值，这个值作为输入信息传递给207马达控制芯片，马达控制芯片驱动透镜组上的马达位移，调整透镜组到合适位置，投影图像或者视频通过透镜组投射到实物表面，整个过程完成投影的自动调焦；当投射的图像或者视频不清晰或者现场实物距离变化时，深度检测子模块感知到不清晰或者距离变化的信息，并经过控制和处理单元300负反馈给马达控制芯片，马达控制芯片迅速调整马达位移到新的合适值，这样构成一个自动调焦的闭环系统。

8.根据权利要求1，权利要求3，权利要求4和权利要求6所描述的该关于视频图像处理的智能终端，其特征在于：该产品能够将wifi,蓝牙，NFC这三种无线方式内部绑定（bonding），还可以通过外部设备比如手机，wifi/3G/LTE/Eth转换器和2.5G/3G/4G无线传输方式绑定，并通过和外部设备的协同，将不同的程序任务分配在不同的系统和设备里面处理和传输，形成信息的分流（offload），提高带宽传输速率和利用率。