CN109782850B - 支持多种网络接入的全交互智能教育机 - Google Patents

Abstract

本发明提供一种支持多种网络接入的全交互智能教育机，教育机主体的底部设置前脚架，教育机主体的背面设置可旋转支撑脚架，通过可旋转支撑脚架，调节教育机主体的设置角度；教育机主体的正面设置触控屏；教育机主体的顶部安装双摄像头机构；双摄像头机构包括：用于视频通讯的主摄像头和用于AI实物识别的从摄像头；教育机主体还设置有光敏传感器、距离传感器、麦克风、扬声器和按键；教育机主体背面设置端子盖；端子盖打开后，呈现多种网络接入接口。优点为：(1)可调整显示角度支架设计，适用于不同身高儿童；(2)环境光感应自动背光调整，用户使用距离监测；(3)双摄像头设计，同时支持视频和实物多维教育场景，提升学生的使用体验。

Description

支持多种网络接入的全交互智能教育机

技术领域

本发明属于在线视频教育技术领域，具体涉及一种支持多种网络接入的全交互智能教育机。

背景技术

随着互联网应用越来越广泛，在线视频教育的应用也越来越多。现有技术中，学生在进行在线视频学习时，普遍采用IPAD等平板电脑设备进行在线学习。然而，此种在线教育方式具有以下不足：(1)IPAD等平板电脑设备的使用角度不易调整；(2)学生在使用IPAD等平板电脑设备时，常常距离屏幕过近，从而影响学生的视力；(3)单一摄像头兼顾视频通讯和AI实物识别，即：在正常角度进行视频通讯，旋转摄像头到桌面进行AI识别。这种方案缺点很明显，无法同时进行视频通讯和AI实物识别，而且需要用户频繁切换。

由此可见，使用IPAD等平板电脑设备进行在线教育时，学生的使用体验较差。

发明内容

针对现有技术存在的缺陷，本发明提供一种支持多种网络接入的全交互智能教育机，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种支持多种网络接入的全交互智能教育机，包括教育机主体(10)，所述教育机主体(10)的底部设置前脚架(11)，所述教育机主体(10)的背面设置可旋转支撑脚架(12)，通过所述可旋转支撑脚架(12)，调节所述教育机主体(10)的设置角度；所述教育机主体(10)的正面设置触控屏(13)；所述教育机主体(10)的顶部安装双摄像头机构(20)；所述双摄像头机构(20)包括：用于视频通讯的主摄像头和用于AI实物识别的从摄像头；所述教育机主体(10)还设置有光敏传感器(14)、距离传感器(15)、麦克风(16)、扬声器(17)和按键(18)；所述教育机主体(10)背面设置端子盖(19)；所述端子盖(19)打开后，呈现多种网络接入接口；

在所述教育机主体(10)的内部设置SOC芯片、MCU芯片、DSP芯片、功率放大器AMP、电源管理单元PMU和电源板；

外部交流电连接到所述电源板的输入端，经所述电源板整流为两路直流，一路直流连接到所述触控屏(13)，为所述触控屏(13)背光供电；另一路直流连接到所述电源管理单元PMU，所述电源管理单元PMU进行多路调压，形成电源网络，进而向各用电单元提供所需电压；

所述电源板的控制端还与所述SOC芯片连接，接受所述SOC芯片发送的背光控制信号，包括ON/OFF开关信号和PWM亮度调整信号，以实现所述触控屏(13)的开关和亮度调节；

所述光敏传感器(14)用于感应环境光亮度信号，所述光敏传感器(14)的输出端连接到所述MCU芯片的输入端，所述环境光亮度信号反馈给所述MCU芯片处理后，发送到所述SOC芯片；所述SOC芯片根据所述环境光亮度信号计算到最佳的亮度值并产生对应的PWM信号，所述SOC芯片将产生的所述PWM信号反馈至所述电源板，进而将所述触控屏(13)的亮度调节到最佳亮度；

所述距离传感器(15)用于实时检测用户距离所述全交互智能教育机的使用距离值，并将所述使用距离值发送给所述SOC芯片；所述SOC芯片将所述使用距离值与安全距离进行比较，当所述使用距离值小于所述安全距离并持续到设定时间值，所述SOC芯片发出距离过近的提醒信息；

所述主摄像头自带ISP和DSP，所述SOC芯片调用所述主摄像头后，通过UVC协议开启所述主摄像头，所述主摄像头将获取的CMOS原生信号编码MJPG后经过USB传给所述SOC芯片；所述SOC芯片内置的硬件解码器解码，一路本地显示，另一路通过内置硬编码器再次编码成H.264或H.265格式视频流进行网络传输；

所述从摄像头通过MIPI直接介入所述SOC芯片，所述SOC芯片根据所述从摄像头拍摄到的视频信息进行AI实物识别；

所述麦克风(16)用于采集音频信号，并将采集到的音频信号传输给所述DSP芯片；所述DSP芯片内建自动增益补偿功能模块、背景噪音抑制功能模块和回声消除功能模块，实现远场拾音，背景噪音消除和回声消除；其中，对于回声消除功能模块，从所述功率放大器AMP反馈参考信号到所述DSP芯片，所述DSP芯片内部处理合并后提供两路信号经由USB HUB传输给所述SOC芯片调用，包括一路用于智能语音识别应用场景的音频，以及一路用于网络视频通讯场景的音频；

所述SOC芯片通过网络获取音频流后，所述SOC芯片解码后传给所述功率放大器AMP，所述功率放大器AMP将音频进行放大驱动所述扬声器(17)，同时一路传至所述DSP芯片进行回声处理，保证回声参考信号和放大信号一致性，从而实现干净的回声处理；

所述按键(18)通过所述MCU芯片将触控感应反馈给所述SOC芯片，实现触控功能。

优选的，所述距离传感器(15)为红外距离传感器，可实现10-80cm范围内的距离监测。

优选的，所述多种网络接入接口包括LAN口、Wi-Fi模组和4G模块；

其中，所述LAN口通过变压器直接与所述SOC芯片连接，支持10/100/1000M自适应；

所述Wi-Fi模组通过SDIO接口直接与所述SOC芯片连接，支持2T2R 2.4/5G双频双天线；同时，所述Wi-Fi模组自带BT4.2模块，可外接蓝牙设备；

所述4G模块支持全模式；

网络传输支持SDN技术，在监控到网络速度缓慢时候，反馈信息到所述SOC芯片，所述SOC芯片动态调配，切换到其他网络模式。

4、根据权利要求1所述的支持多种网络接入的全交互智能教育机，其特征在于，还包括HDMIIN输入接口和HDMI OUT输出接口；

所述HDMIIN输入接口通过桥接芯片与所述SOC芯片连接，所述桥接芯片将输入的HDMIIN信号转化为MIPI接口信号，并传输给所述SOC芯片；

所述HDMI OUT输出接口直接连接到所述SOC芯片。

本发明提供的支持多种网络接入的全交互智能教育机具有以下优点：

(1)采用高灵敏度电容触控屏，操控简单，稳定可靠；可调整显示角度支架设计，适用于不同身高儿童；(2)环境光感应自动背光调整，用户使用距离监测，以及电脑蓝光保护功能，智能视力保护；(3)双摄像头设计，同时支持视频和实物多维教育场景，从摄像头支持AI实物识别辅助教学；从而提升学生的使用体验。

附图说明

图1为本发明提供的支持多种网络接入的全交互智能教育机的主视图；

图2为本发明提供的支持多种网络接入的全交互智能教育机的侧视图；

图3为本发明提供的支持多种网络接入的全交互智能教育机的后视图；

图4为本发明提供的支持多种网络接入的全交互智能教育机的电路架构图；

图5为本发明提供的融合AV视频通讯与AI实物识别的在线视频系统的标准光路示意图；

图6为本发明提供的双摄像头机构的结构示意图；

图7为本发明提供的融合AV视频通讯与AI实物识别的在线视频系统的原理图；

图8为本发明的从摄像头的透视畸变示意图；

图9为本发明提供的融合AV视频通讯与AI实物识别的在线视频系统的上仰5°光路示意图；

图10为本发明提供的融合AV视频通讯与AI实物识别的在线视频系统的下俯20°光路示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

现有在线视频教育产品一般采用PAD平板电脑等非专用设备，使用复杂，性能指标弱，体验差，教育质量低是其主要缺点。具体缺点如下：

(1)平板电脑需要外接保护套才可以调整角度，而且调整角度不方便；学生常常距离屏幕过近，不利于学生视力；

(2)非专用在线视频设计硬件还具有视频图像模糊，卡顿，声音失真，回声啸叫等问题。

本发明是专为在线视频教育设计的一体机，多网络接入实现高质量音视频，以及具备触控交互，实时专注度分析，儿童视力保护等功能，采用了显示，摄像，拾音，编码，解码，触控，Wi-Fi，蓝牙，4G等多种技术，是多模块多功能高度集成的一体机。因此，是一款简单易用且高性能的在线视频教育一体机，降低使用难度，提升教学效率。本发明主要改进包括以下几点：

(1)是为在线视频教育量身打造的高度集成桌面一体机，针对儿童使用习惯设计交互页面，简单直接，适用于不同学龄儿童；

(2)采用高灵敏度电容触控屏，操控简单，稳定可靠；可调整显示角度支架设计，适用于不同身高儿童；

(3)环境光感应自动背光调整，用户使用距离监测，以及电脑蓝光保护功能，智能视力保护；

(4)大光圈高清自动对焦摄像头和硬编解码技术，有效提高视频通话图像清晰度；

(5)双摄像头设计，同时支持视频和实物多维教育场景，从摄像头支持AI实物识别辅助教学；

(6)数字麦克风和专业音频方案，硬件远场拾音，回声消除，降噪技术的采用，保证音频清晰，同时支持语音识别功能；

(7)有线，Wi-Fi和4G LTE等多种网络连接方式，支持SDN技术，动态调配，解决网络不好卡顿问题，提升网络QOS。

本发明提供一种支持多种网络接入的全交互智能教育机，参考图1-图4，包括教育机主体10，教育机主体10的底部设置前脚架11，教育机主体10的背面设置可旋转支撑脚架12，通过可旋转支撑脚架12，调节教育机主体10的设置角度；教育机主体10的正面设置触控屏13；教育机主体10的顶部安装双摄像头机构20；双摄像头机构20包括：用于视频通讯的主摄像头和用于AI实物识别的从摄像头；教育机主体10还设置有光敏传感器14、距离传感器15、麦克风16、扬声器17和按键18；教育机主体10背面设置端子盖19；端子盖19打开后，呈现多种网络接入接口；

在教育机主体10的内部设置SOC芯片、MCU芯片、DSP芯片、功率放大器AMP、电源管理单元PMU和电源板；

支持多种网络接入的全交互智能教育机，在结构上具有以下设计特点：

(1)一体化外置摄像头，专为隐私保护设计了镜头窗，可左右旋转圆环关闭或打开镜头窗。另外在镜头上设有LED状态显示，系统调用摄像头时候指示灯亮提醒用户，未启动摄像头时候灯灭；外摄像头连接处采用了轴承，可手动上下旋转调节摄像头角度；另外，设计有从摄像头，可进行桌面实体教材摄像；

(2)内藏式数字麦克风，进行声音的拾取；

(3)贴有电容触控板的保护玻璃，可用手指或触控笔进行操控，同时高硬度的保护玻璃可防止面板损伤；防蓝光电脑玻璃蓝光过滤抗眼疲劳防近视；

(4)侧面保留音量调节，麦克风静音以及开机几个常用按键；

(5)内置光敏传感器，可检测环境光的亮度智能调节显示屏亮度；内置距离传感器，可以检测使用距离，当小于最短使用距离时提醒用户；

(6)喇叭网下装有高灵敏度扬声器；

(7)金属前脚架，特地中空设计，便于用户放置书本等物品。

(8)从图2侧面看到，整体采用了超薄设计：

(9)非对称式金属后脚架，采用可旋转金属轴承设计，以调整显示屏的角度；

(10)端子盖的设计简洁大方，可向上旋转打开端子盖，连接外输入信号等。

参考图4，下面对支持多种网络接入的全交互智能教育机的主要功能单元进行详细介绍：

(1)电源

电源采用内置电源板，外部交流电连接到电源板的输入端，经电源板整流为两路直流，一路直流连接到触控屏13，为触控屏13背光供电；另一路直流连接到电源管理单元PMU，电源管理单元PMU进行多路调压，形成电源网络，进而向各用电单元提供所需电压；

另外，电源板的控制端还与SOC芯片连接，接受SOC芯片发送的背光控制信号，包括ON/OFF开关信号和PWM亮度调整信号，以实现触控屏13的开关和亮度调节。

(2)环境光检测

光敏传感器14用于感应环境光亮度信号，光敏传感器14的输出端连接到MCU芯片的输入端，环境光亮度信号反馈给MCU芯片处理后，发送到SOC芯片；SOC芯片根据环境光亮度信号计算到最佳的亮度值并产生对应的PWM信号，SOC芯片将产生的PWM信号反馈至电源板，进而将触控屏13的亮度调节到最佳亮度。

(3)距离监测

距离传感器15采用的是一颗红外距离传感器，可以实现10-80cm范围内的距离监测。

距离传感器15用于实时检测用户距离全交互智能教育机的使用距离值，并将使用距离值发送给SOC芯片；SOC芯片设定一个安全距离值，因此，SOC芯片将使用距离值与安全距离进行比较，当使用距离值小于安全距离并持续到设定时间值，SOC芯片发出距离过近的提醒信息。

(4)双摄像头机构

主摄像头自带ISP和DSP，SOC芯片调用主摄像头后，通过UVC协议开启主摄像头，主摄像头将获取的CMOS原生信号编码MJPG后经过USB传给SOC芯片；SOC芯片内置的硬件解码器解码，一路本地显示，另一路通过内置硬编码器再次编码成H.264或H.265格式视频流进行网络传输；通过UVC协议，SOC芯片可与主摄像头通讯进行码率，帧率，分辨率等参数的设置与调用，以满足不同场景需求。

从摄像头通过MIPI直接介入SOC芯片，SOC芯片根据从摄像头拍摄到的视频信息进行AI实物识别。

参考图5-图10，双摄像头设计，主摄像头为AV视频摄像头，专门用于高清视频通讯；从摄像头专门用于AI实物识别。因此，本发明非常适合应用于在线视频教育同时需要视频通讯和实物教材演习场景，也可应用其他类似场景。本发明采用了摄像，编码，解码，AI识别等多种技术。

参考图5，包括终端主体10、可旋转脚架12和双摄像头机构20；终端主体10的背面安装可旋转脚架12，通过可旋转脚架12，调节终端主体10的使用角度，满足不同身高用户的使用需求；终端主体10的顶部安装双摄像头机构20；

参考图6，双摄像头机构20包括支撑架20.1、双摄像头收容腔20.2、主摄像头20.3、从摄像头20.4、陀螺仪20.5和主控电路板20.6；

支撑架20.1可转动安装于终端主体10的顶部；转动支撑架，可调节主摄像头20.3和从摄像头20.4的设置角度。支撑架20.1的顶部一体成形双摄像头收容腔20.2；主摄像头20.3、从摄像头20.4、陀螺仪20.5和主控电路板20.6均设置于双摄像头收容腔20.2的内部；由于主摄像头20.3、从摄像头20.4、陀螺仪20.5和主控电路板20.6均设置于双摄像头收容腔20.2的内部，尤其对于从摄像头20.4，并非外挂式摄像头，因此，为一体式设计，简洁美观，可靠性高。

其中，主摄像头20.3前向设置，从摄像头20.4前向且斜向下设置，主摄像头20.3的主光轴与从摄像头20.4的从光轴具有一定的夹角，例如，夹角为60度。需要强调的是，主摄像头20.3的主光轴与从摄像头20.4的从光轴之间的夹角为一个固定不变值；陀螺仪20.5用于采集主摄像头20.3的主光轴的设置角度；主摄像头20.3、从摄像头20.4和陀螺仪20.5均连接到主控电路板20.6。

下面对双摄像头机构20进行详细介绍：

(1)主摄像头前向设置，为视频通话使用；在标准光路上，如图5所示状态中，主摄像头的主光轴与水平面平行；但是，当转动支撑架20.1时，主摄像头的主光轴也可以发生倾斜，从而方便不同身高用户使用，例如，如图5，为主光轴上仰5°光路示意图；如图6，为主光轴下俯20°光路示意图。

(2)从摄像头与主摄像头的光轴具有一定夹角，例如，夹角为60°，从摄像头朝向桌面，专门用于AI实物识别使用；

(3)陀螺仪用于采集主摄像头的主光轴与水平面的夹角信息，并实时反馈给主控电路板。

(4)设置可旋转摄像头支架，即支撑架20.1，可灵活调节主摄像头的光轴角度；当主摄像头的光轴角度调节时，同时调节了从摄像头的光轴角度，扩大系统的适用范围。

作为一种具体实现方式，转动支撑架20.1，调节主摄像头20.3的主光轴的角度，当主摄像头20.3的主光轴为水平方向时，主摄像头20.3采集终端主体10正前方的视频信息，进而实现视频通讯；此时，从摄像头20.4的从光轴与主摄像头20.3的主光轴的夹角为60度，从摄像头20.4采集终端主体10前方底面的视频信息，进而实现对终端主体10前方底面放置物的AI实物识别。

主摄像头20.3设置于双摄像头收容腔20.2的中心位置，主摄像头20.3的主光轴与双摄像头收容腔20.2的轴心平行；从摄像头20.4倾斜设置于双摄像头收容腔20.2的底面凹槽中。

(5)主控电路板20.6采用SOC芯片；参考图7，陀螺仪20.5通过I2C总线连接到SOC芯片；主摄像头20.3的输出端连接到第一数字信号处理器DSP1的输入端；第一数字信号处理器DSP1的输出端连接到USB-HUB集线器的输入端；从摄像头20.4的输出端连接到第二数字信号处理器DSP2的输入端；第二数字信号处理器DSP2的输出端连接到USB-HUB集线器的输入端；USB-HUB集线器的输出端通过USB总线连接到SOC芯片。

具体的，陀螺仪直接将角度信息通过I2C传给后级SOC调用；主摄像头在DSP1进行DSP处理和编码后，通过USB HUB传给后级SOC，进行视频通话二次编码和网络发送；从摄像头连接DSP2，进行DSP处理和编码，编码后再发送给USB HUB，然后发送给后级SOC进行AI调用。

本发明中，AI实物识别技术为基于DeepLearning框架实现并进行多轮工程优化的算法集：具有以下特点：

(1)CLSR：Colored Light Spectrum Recovery

有色光纠正算法：自动修正环境光色温偏差，提高AI识别精度

(2)RIR：Robust Image Recognition(Ⅰ&Ⅱ)

鲁棒图像识别：通过正样本和负样本的采样比较进行图像识别

(3)OSRA：Objects Spatial Relationship Abstraction(Ⅰ&Ⅱ)

物体位置区块算法：图像智能定位，剔除画面中其他干扰元素

(4)WSEA：Writing Stroke Extraction&Analysis(Ⅰ&Ⅱ)

笔迹描红对比分析：笔迹对比分析进行文字识别

(5)AHEA:Academic Handwriting&Emotion Analysis

手写笔迹与情感分析：通过更多风格的笔迹采样，分析，进行深层次的手写文字对比识别。

为提高AI实物识别精度，本发明在进行AI实物识别时，还采用了畸变图像的校正功能。

具体的，在标准状态下，即图5所示状态时，主摄像头的光轴水平，从摄像头光轴与水平面成60°拍摄，此时，对于从摄像头，由于拍摄时从摄像头视角的原因，导致透视畸变，参考图8，原始的正方形图像，经从摄像头拍摄后，成像为梯形。

可以看到。距离摄像头越近的边，成像后的对应边越长，距离摄像头越远的边，成像后的对应边越短，由于这种畸变现象，导致AI识别图像的准确度较低。如果需要恢复被拍摄物的形状或者从原来图像中提取标志点的真实位置信息，就应该消除图像的透视效应。对这幅图像透视校正的目的就是纠正这种形变，得到正方形的正视角图像，校正效果相当于是从正方形的正上方视角拍摄的图像。

透视变换，即对畸变图像的校正需要取得畸变图像的一组4个顶点的坐标，和目标图像(校正后图像)的一组4个顶点的坐标，通过两组坐标点可以计算出透视变换的透视畸变矩阵，之后对整个原始图像执行透视畸变矩阵的变换，就可以实现图像校正。

具体思路如下：

(一)标准状态下的校正

(1)标准状态下，主摄像头水平，从摄像头与被拍摄面成60°夹角；

(2)将棋盘格标图或正方形标图放到桌面进行拍摄，如图8示意，保证标图完整落到从摄像头成像区域；

(3)对成像到的图形的4个角点进行校正，校正为正方形，得到校正后图像的4个角点坐标。根据校正前4个角点坐标与校正后4个角度坐标的对应关系，即可获取到透视变换矩阵。

因此，在标准状态下，即主摄像头水平，从摄像头与被拍摄面成60°夹角的状态下时，整个图像进行T_60透视畸变矩阵变换，得到校正后的图像。

(二)实际用户身高，距离，使用习惯的差异，主摄像头并非始终水平，从摄像头与水平面的拍摄角度也会不同，透视变换矩阵并不固定，这样给AI算法带来干扰。因此，增加了陀螺仪测量主摄像头光轴角度数据，同步给系统。系统根据陀螺仪测量到的主摄像头光轴角度数据、以及主摄像头和从摄像头光轴夹角数据，可得到从摄像头光轴与水平面夹角值。从图9仰视和图10俯视角度示意图也可以看出，更大角度范围超出从摄像头的像场，并无实际使用价值。根据电脑模型模拟不同场景和用户身高数据，可以确定支持AI实物识别的主摄像头光轴旋转范围设计为-5°至20°，在其他角度只能进行主摄像头的视频通话。按照这个范围以5°步进从摄像头与水平面的夹角为55°，60°，65°，70°，75°，80°，其中60°角度即为标准角度。

因此，在55°～80°范围内，按5°步进分别进行采样计算透视变换矩阵预存，系统根据陀螺仪的角度信息调用不同参数进行图形校正，即可实现不同角度下的AI识别。

当然，实际应用中，为提高精度，也可以按1°步进进行采样。考虑到陀螺仪误差，镜头装配误差以及AI识别的宽容性，3°至5°步进是比较合理的设计。本发明对步进的角度并不限制，具体根据使用需求设定。

同正方形标图方法拍摄取四角点计算出透视变换矩阵的思路相同，将步进到的55°，65°，70°，75°，80°分别命名为T_55,T65,T_70....T_80，并同标准角度的透视畸变矩阵T_60一并存入系统。

因此，在系统调用从摄像头时候，同时读取陀螺仪角度信息，然后调用对应角度的透视变换矩阵对整个图像进行变换，这样就实现了不同角度的透视变换校正。

具体的，一种基于融合AV视频通讯与AI实物识别的在线视频系统的方法，包括以下步骤：

步骤1，设从摄像头20.4的光轴与水平面夹角的有效范围为β1～β2；在β1～β2之间选取若干个角度值；对于每个角度值βi，βi∈[β1，β2]，均预存储对应的透视畸变矩阵；例如，β1为55度；β2为80度；在55度～80度之间，每隔5度选取一个角度值βi。

步骤1中，通过以下方法，获得与每个角度值βi对应的透视畸变矩阵：

步骤1.1，终端主体10通过可旋转脚架12支撑于桌面；在终端主体10前方的桌面上放置正方形标图，正方形标图位于从摄像头20.4的采集范围；

步骤1.2，调节双摄像头机构20的角度，使从摄像头20.4与水平面的夹角为角度值βi；然后，从摄像头20.4采集正方形标图的成像图；成像图为梯形形状图；记录梯形形状图的四个顶点的坐标，分别为：P1、P2、P3和P4；对梯形形状图的四个顶点进行校正，校正为正方形形状图，记录正方形形状图的四个顶点的坐标，分别为P1’、P2’、P3’和P4’；

步骤1.3，根据P1、P2、P3和P4四个顶点，与对应的P1’、P2’、P3’和P4’四个顶点的转换关系，得到与角度值βi对应的透视畸变矩阵。

步骤2，主摄像头20.3的主光轴与从摄像头20.4的从光轴之间的夹角为固定值，设该夹角为夹角γ；

步骤3，调节可旋转脚架12的角度，进而调节终端主体10的安装角度；调节支撑架20.1的角度，进而调节主摄像头20.3和从摄像头20.4的安装角度；

步骤4，陀螺仪20.5实时采集主摄像头20.3的主光轴与水平面的夹角α，并实时将夹角α发送给主控电路板20.6；

步骤5，一方面，主摄像头20.3实时采集终端主体10前方的视频图像，经数字信号处理以及编码后，得到编码后的视频图像；然后，将编码后的视频图像发送给主控电路板20.6，主控电路板20.6再将编码后的视频图像通过网络发送给另一端，由此实现视频沟通的功能；

另一方面，主控电路板20.6根据陀螺仪20.5采集到的夹角α、以及主摄像头20.3的主光轴与从摄像头20.4的从光轴之间的夹角γ，换算得到从摄像头20.4的从光轴与水平面的夹角θ；然后，主控电路板20.6判断夹角θ是否位于β1～β2之间，如果不位于，则不再进行AI实物识别的过程；如果位于，则执行步骤6；

步骤6，主控电路板20.6根据步骤1预存储的角度值βi和透视畸变矩阵的映射关系，得到与夹角θ最接近的角度值βi；进而得到与角度值βi对应的透视畸变矩阵；该透视畸变矩阵即为与夹角θ对应的透视畸变矩阵；

然后，从摄像头20.4实时采集到其采集视野的视频图像信息，并实时发送给主控电路板20.6；

主控电路板20.6根据与夹角θ对应的透视畸变矩阵，对实时采集到的视频图像信息进行图形畸变校正，得到校正后的视频图像信息；然后，主控电路板20.6基于校正后的视频图像信息进行AI实物识别。

本发明提供的融合AV视频通讯与AI实物识别的在线视频系统及方法，具备以下优点：

(1)采用双摄像头设计，支持同时AV视频通话和AI实物识别，方便使用；

(2)支持角度调整以适应不同身高用户和不同适用场景；

(3)一体式设计，简洁美观，可靠性高。

(4)AI实物识别时，采用透视变换校正图像的方法，提高AI实物识别的精度。

(5)麦克风音频的处理

拾音部分采用数字麦克风MEMS，将模数转换功能从编解码器转移进了麦克风，从而实现了从麦克风到SOC芯片的全数字音频捕获通道，消除模拟噪声，提高了麦克风的抗干扰能力和一致性，提升拾取信号的清晰度。

音频处理部分采用专业通话处理的DSP芯片，麦克风16用于采集音频信号，并将采集到的音频信号传输给DSP芯片；DSP芯片内建自动增益补偿功能模块AGC、背景噪音抑制功能模块ANS和回声消除功能模块AEC，实现远场拾音，背景噪音消除和回声消除；其中，对于回声消除功能模块，从功率放大器AMP直接反馈参考信号到DSP芯片，DSP芯片内部处理合并后提供两路信号经由USB HUB传输给SOC芯片调用，包括一路用于智能语音识别应用场景的音频，以及一路用于网络视频通讯场景的音频；

SOC芯片获取数字信号直接传输或调用音频流，系统不再进行二次编码，避免二次编码音频质量下降的问题。

(6)声音的还原

SOC芯片通过网络获取音频流后，SOC芯片解码后传给功率放大器AMP，功率放大器AMP将音频进行放大驱动扬声器17，同时一路传至DSP芯片进行回声处理，保证回声参考信号和放大信号一致性，从而实现干净的回声处理；

功率放大部分采用高效率D类数字功放，THD小于1％，放大曲线平滑，不做任何音染，声音均衡真实。喇叭驱动采用差分电路，抑制电路噪声，保证了放大声音的纯净。

(7)屏幕驱动

屏幕驱动包含两种模式，一种是SOC芯片原生EDP接口驱动EDP接口屏幕，另一种通过EDP信号发送给桥接芯片，转化为标准LVDS信号驱动LVDS接口屏幕。

(8)触控

触控屏IC识别到触控感应信号，内部计算定位位置信息，通过USB HUB接口与SOC芯片通讯，上层应用调用这些位置信息并实现对应的触控功能。

(9)按键功能

按键18通过MCU芯片将触控感应反馈给SOC芯片，实现触控功能。

(10)多网络传输

多种网络接入接口包括LAN口、Wi-Fi模组和4G模块；

其中，LAN口通过变压器直接与SOC芯片连接，支持10/100/1000M自适应；

Wi-Fi模组通过SDIO接口直接与SOC芯片连接，支持2T2R 2.4/5G双频双天线；同时，Wi-Fi模组自带BT4.2模块，可外接蓝牙设备；

4G模块采用USB接口，通过USB直接与SOC芯片连接。4G模块支持全模式。

网络传输支持SDN技术，在监控到网络速度缓慢时候，反馈信息到SOC芯片，SOC芯片动态调配，切换到其他网络模式，解决网络不好卡顿问题，提升网络QOS。

(11)HDMIIN输入接口和HDMI OUT输出接口

SOC芯片并无原生HDMIIN接口，HDMIIN输入接口通过桥接芯片与SOC芯片连接，桥接芯片将输入的HDMIIN信号转化为MIPI接口信号，并传输给SOC芯片；

主芯片原生支持HDMI OUT，直接将信号传输。

HDMI OUT接口为标准19针，电路设计上复用SDC/SCL引脚，在调试模式时候可用外置转接板连接串口调试，这个时候SDC/SCL对应串口TXD/RXD。这种设计极大方便了售后调试，不用拆机，减小维护成本。

(12)SOC芯片和外围存储

SOC芯片采用一颗高规多核CPU和GPU，外挂高速DDR和eMMC。

系统设计：

(1)专为儿童在线视频教育深度定制操作系统，针对儿童使用习惯设计交互页面，简单易用；

(2)内置优秀在线视频教育课程，基于视频通话技术支持一对一在线教育。并且双摄像头设计支持屏幕，实物多维教育场景；

(3)从摄像头支持AI实物识别技术，可进行实物辅助教学；

(4)支持HDMIIN或桌面多路分享，随时在线教学演示和学习反馈，实时发现并纠正儿童错误；

(5)人脸智能识别登陆，无需儿童输入账户或密码，直接关联儿童账户以及课程等信息，课程提醒，以往课程回顾等；

(6)儿童情绪识别进行专注度分析，统计，走神提醒，另可进行课程质量统计，教学方式，技巧改善提高；

(7)根据孩子年龄和学习进度，自动筛选适龄教材，进行课程介绍，推荐；父母权限设置，防止孩子误操作；

(8)可机客户端远程操控，进行后台管理或远程音频，视频连接，进行儿童看护，监督以及课程旁听；

(9)父母后台设置使用时长，自动监控使用时长，到时自动关屏休息，保护儿童视力；

(10)暖光护眼功能，可设置启动时间，减缓对儿童眼镜的刺激，保护视力。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种支持多种网络接入的全交互智能教育机，其特征在于，包括教育机主体(10)，所述教育机主体(10)的底部设置前脚架(11)，所述教育机主体(10)的背面设置可旋转支撑脚架(12)，通过所述可旋转支撑脚架(12)，调节所述教育机主体(10)的设置角度；所述教育机主体(10)的正面设置触控屏(13)；所述教育机主体(10)的顶部安装双摄像头机构(20)；所述双摄像头机构(20)包括：用于视频通讯的主摄像头和用于AI实物识别的从摄像头；所述教育机主体(10)还设置有光敏传感器(14)、距离传感器(15)、麦克风(16)、扬声器(17)和按键(18)；所述教育机主体(10)背面设置端子盖(19)；所述端子盖(19)打开后，呈现多种网络接入接口；

在所述教育机主体(10)的内部设置SOC芯片、MCU芯片、DSP芯片、功率放大器AMP、电源管理单元PMU和电源板；

外部交流电连接到所述电源板的输入端，经所述电源板整流为两路直流，一路直流连接到所述触控屏(13)，为所述触控屏(13)背光供电；另一路直流连接到所述电源管理单元PMU，所述电源管理单元PMU进行多路调压，形成电源网络，进而向各用电单元提供所需电压；

所述电源板的控制端还与所述SOC芯片连接，接受所述SOC芯片发送的背光控制信号，包括ON/OFF开关信号和PWM亮度调整信号，以实现所述触控屏(13)的开关和亮度调节；

所述光敏传感器(14)用于感应环境光亮度信号，所述光敏传感器(14)的输出端连接到所述MCU芯片的输入端，所述环境光亮度信号反馈给所述MCU芯片处理后，发送到所述SOC芯片；所述SOC芯片根据所述环境光亮度信号计算到最佳的亮度值并产生对应的PWM信号，所述SOC芯片将产生的所述PWM信号反馈至所述电源板，进而将所述触控屏(13)的亮度调节到最佳亮度；

所述距离传感器(15)用于实时检测用户距离所述全交互智能教育机的使用距离值，并将所述使用距离值发送给所述SOC芯片；所述SOC芯片将所述使用距离值与安全距离进行比较，当所述使用距离值小于所述安全距离并持续到设定时间值，所述SOC芯片发出距离过近的提醒信息；

所述主摄像头自带ISP和DSP，所述SOC芯片调用所述主摄像头后，通过UVC协议开启所述主摄像头，所述主摄像头将获取的CMOS原生信号编码MJPG后经过USB传给所述SOC芯片；所述SOC芯片内置的硬件解码器解码，一路本地显示，另一路通过内置硬件编码器再次编码成H.264或H.265格式视频流进行网络传输；

所述从摄像头通过MIPI直接介入所述SOC芯片，所述SOC芯片根据所述从摄像头拍摄到的视频信息进行AI实物识别；

所述麦克风(16)用于采集音频信号，并将采集到的音频信号传输给所述DSP芯片；所述DSP芯片内建自动增益补偿功能模块、背景噪音抑制功能模块和回声消除功能模块，实现远场拾音，背景噪音消除和回声消除；其中，对于回声消除功能模块，从所述功率放大器AMP反馈参考信号到所述DSP芯片，所述DSP芯片内部处理合并后提供两路信号经由USB HUB传输给所述SOC芯片调用，包括一路用于智能语音识别应用场景的音频，以及一路用于网络视频通讯场景的音频；

所述SOC芯片通过网络获取音频流后，所述SOC芯片解码后传给所述功率放大器AMP，所述功率放大器AMP将音频进行放大驱动所述扬声器(17)，同时一路传至所述DSP芯片进行回声处理，保证回声参考信号和放大信号一致性，从而实现干净的回声处理；

所述按键(18)通过所述MCU芯片将触控感应反馈给所述SOC芯片，实现触控功能。

2.根据权利要求1所述的支持多种网络接入的全交互智能教育机，其特征在于，所述距离传感器(15)为红外距离传感器，可实现10-80cm范围内的距离监测。

3.根据权利要求1所述的支持多种网络接入的全交互智能教育机，其特征在于，所述多种网络接入接口包括LAN口、Wi-Fi模组和4G模块；

其中，所述LAN口通过变压器直接与所述SOC芯片连接，支持10/100/1000M自适应；

所述Wi-Fi模组通过SDIO接口直接与所述SOC芯片连接，支持2T2R 2.4/5G双频双天线；同时，所述Wi-Fi模组自带BT4.2模块，可外接蓝牙设备；

所述4G模块支持全模式；

网络传输支持SDN技术，在监控到网络速度缓慢时候，反馈信息到所述SOC芯片，所述SOC芯片动态调配，切换到其他网络模式。

4.根据权利要求1所述的支持多种网络接入的全交互智能教育机，其特征在于，还包括HDMIIN输入接口和HDMI OUT输出接口；

所述HDMIIN输入接口通过桥接芯片与所述SOC芯片连接，所述桥接芯片将输入的HDMIIN信号转化为MIPI接口信号，并传输给所述SOC芯片；

所述HDMI OUT输出接口直接连接到所述SOC芯片。

Images