CN211180764U - 头戴式风格迁移设备 - Google Patents
头戴式风格迁移设备 Download PDFInfo
- Publication number
- CN211180764U CN211180764U CN201921189501.3U CN201921189501U CN211180764U CN 211180764 U CN211180764 U CN 211180764U CN 201921189501 U CN201921189501 U CN 201921189501U CN 211180764 U CN211180764 U CN 211180764U
- Authority
- CN
- China
- Prior art keywords
- interface
- glasses
- image processing
- helmet
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本实用新型公开了一种头戴式风格迁移设备，包括头盔，头盔前部安装有用于获取图像信息的视觉传感器，头盔内部设置有用于处理图像信息的图像处理模块以及用于供电的电源模块，头盔外部两侧通过连接固紧件连接一用于输出图像的VR眼镜；所述电源模块与图像处理模块电连接，所述图像处理模块分别与视觉传感器、VR眼镜电连接，所述视觉传感器的信号输出端口连接所述图像处理模块的信号输入端口。本实用新型可以实现实时输出视频流、风格迁移效果优秀，用户界面可视化调节参数的功能。综合比较运用各种风格迁移方法后，克服了传统的效果受限、无法实时输出的缺陷。眼镜实体性能稳定，处理速度及使用质量得到保证。
Description
技术领域
本实用新型涉及风格迁移设备，尤其涉及一种基于眼镜平台实现的头戴式风格迁移设备。
背景技术
就硬件方面考虑，运行速度至关重要。目前用的很多的硬件开发设备Raspberrypi，运行神经网络的效果并不理想，在网络很大或者很深的情况下，很有可能直接死机。而在深度学习中，神经网络的计算比较适合用GPU而不是CPU，这是由二者的先天架构决定的。在CPU中控制器和寄存器占据了结构中很大一部分，而在GPU中逻辑单元的规模则是远远超过其他二者之和。这使得CPU在指令的处理/执行，函数的调用上有着很好的发挥，但由于逻辑单元所占比重较小，相对于GPU而言，在数据的处理方面(算术运算或者逻辑运算)的能力就弱了很多。而2018年英伟达又发布了全球最大GPU——DGX-2，此外还更新了CUDA、TensorRT、NCCL、cuDNN等深度学习和HPC软件堆栈。硬件上运行深度学习的方法至今还有诸多可改进之处。
有关具体的硬件连接，目前基于眼镜的头戴式设备市面上成品不多，参考价值有限。
就风格迁移方法的软件层面来说，现阶段不同研究者提出各类方法，但在实时性和风格迁移效果间各有取舍，缺乏系统化认知。现阶段也缺乏风格迁移在可穿戴设备领域方向的应用。
实用新型内容
实用新型目的：为了解决现有技术存在的问题，本实用新型的目的是提供一种穿戴舒适、操作便捷、运行稳定的可穿戴式风格迁移设备，可以实时运行、并将眼前的景象在几毫秒内转化风格，为穿戴者提供有趣浪漫的视觉体验。
技术方案：一种头戴式风格迁移设备，包括头盔，内部安装有用于获取图像信息的视觉传感器、用于处理图像信息的图像处理模块以及用于供电的电源模块，所述头盔外部两侧通过连接固紧件连接一用于输出图像的VR眼镜；所述电源模块与图像处理模块电连接，所述图像处理模块分别与视觉传感器、VR眼镜电连接，所述视觉传感器的信号输出端口连接所述图像处理模块的信号输入端口。
进一步的，还包括信息交互设备，用于人机交互，包括用户外部指令输入、显示图像/设备信息，所述信息交互设备与图像处理模块电连接。
进一步的，所述信息交互设备与电源模块电连接。
进一步的，所述视觉传感器为摄像头，所述图像处理模块为Jetson nano，所述信息交互设备为触摸屏；所述电源模块的USB接口与Jetson nano的micro USB电源接口连接；所述摄像头的USB插头与Jetson nano的USB接口连接；所述Jetson nano的HDMI接口与触摸屏的HDMI接口连接，所述Jetson nano的I/O接口与触摸屏的串口接头连接。
进一步的，所述VR眼镜为自充电式眼镜，包括指示灯和开关按键，优选为ENMESIHDMI视频VR眼镜，所述Jetson nano的HDMI接口与VR眼镜的micro HDMI接口连接。
进一步优选的，所述视觉传感器上设有指示灯。
优选的，所述连接固紧件为松紧带。
和现有技术相比，本实用新型具有如下进步：可以实现实时输出视频流、风格迁移效果优秀，用户界面可视化调节参数的功能。综合比较运用各种风格迁移方法后，克服了传统的效果受限、无法实时输出的缺陷。眼镜实体性能稳定，处理速度及使用质量得到保证。
附图说明
图1为本实用新型的产品机械结构图；
图2为运算设备Jetson nano接口示意图；
图3为输出设备ENMESI HDMI视频VR眼镜正视接口说明图；
图4为输出设备ENMESI HDMI视频VR眼镜俯视接口说明图；
图5为触摸屏背面接口说明图；
图6为罗技C270摄像头接口说明图；
图7为电源模块接口说明图；
图8为触摸屏正面接口说明图；
图9为主要部件接线连接示意图。
具体实施方式
下面结合附图和具体实施例对本实用新型的技术方案做进一步详细说明。
本实用新型的风格迁移眼镜，包括摄像头(用于图像的获取)、Jetson nano(图像处理平台)、触摸屏(交互平台)、VR眼镜(输出平台)和电源模块。
在硬件方面，选用罗技C270独立摄像头，风格迁移的运算平台为开发板Jetsonnano，输出设备为ENMESI HDMI视频VR眼镜，以触摸屏为交互平台，整体由电源模块供电。
设备组成部件及各部件的连接关系如下：
图1中：1为头盔内部引线所用的口，2为电源模块所处的位置，3为头盔内外部连接所用的穿线孔，4为头盔内部引线所用的口，5为jetson nano所处的位置，6为罗技C270独立摄像头的安装位置，7为摄像头读取图像所用的口，8为VR眼镜。图2中：J1为串口接头，J2为按钮接头，J3为相机连接器，J4为电源接口，J5为HDMI接口(2个)，J6为以太网供电接口，J7为M.2键E插槽，J8为扩展头，J9为SODIMM连接器，J10为风扇接口，J11为电源LED指示灯，J12为micro USB电源接口，J13为以太网接口，J14为USB接口(4个)。图3中：G1为指示灯，G2为开关键，G3为返回键，G4为确定键，G5为向下按键，G6为向上按键，G7为返回键，G8为复位键。图4中：G9.为耳机接口，G10为micro HDMI接口，G11为microUSB接口。图5中：C1为HDMI接口，C2为micro USB接口，C3为micro USB接口，C4为开关。图6中：L1为USB插头。图7中，B1为microUSB电源接口(两个)，B2为开关。图8中，Z1为串口接头。图9中，Z1为电源模块，Z2为Jetsonnano开发板，Z3为摄像头。Z4为眼镜。Z5为触摸屏。
Jetson nano、触摸屏由电源模块供电，电源模块有两个USB接口B1，其中一个USB接口与Jetson nano的micro USB电源接口J12连接，另一个USB接口与触摸屏的micro USB电源接口C2/C3相连。Jetson nano有两个HDMI接口J5，其中一个HDMI接口连接触摸屏的HDMI接口C1，另一个HDMI接口连接VR眼镜micro HDMI接口G10。罗技C720摄像头通过USB插头L1与Jetson nano的USB接口J14相连接，获取供电。Jetson nano的拓展接口J8与触摸屏串口接头Z1相连。
按下VR眼镜上的开关按键G2，眼镜上的指示灯G1亮起，Jetson nano开发板启动，指示灯J11亮起，摄像头的指示灯亮起，设备正常启动。罗技C720摄像头作为输入模块，进行外界图像的实时获取，采集图像后由USB接口L1将图像信息传往处理平台Jetson nano。Jetson nano作为运算设备，对读取进来的图像进行处理，整个处理过程将在底层GPU上通过高效率的并行计算完成。Jetson nano将处理完之后的图像通过HDMI接口传输至VR眼镜，这是一个完整的图像处理流。
需要说明的是，本实施例采用的ENMESI HDMI视频VR眼镜为自充电式眼镜，不需要额外提供电源。也可采用目前市场上其他型号的VR眼镜，当采用自带处理器的VR眼镜时，其具有联网功能，不需要图像传输的接口，与图像处理模块通讯连接即可工作。
设备启动后，由Jetson nano渲染完成的GUI用户交互界面通过HDMI线传输至触摸屏上。用户可以通过触摸屏改变Jetson nano算法的设置，从而改变图片迁移的风格。同时，设备的默认运转模式是不存储，用户也可以通过触摸屏来进行拍照存储等操作。用户可以通过触摸屏来控制Jetson nano、摄像头和眼镜，这是一个人机交互的过程。
本设备对硬件进行了合理配置，能够在保证输出精度的情况下，加快网络的运算速度。软件上使用现有的PyTorch搭建转换神经网络和CycleGAN的风格迁移方法，完成和优化了风格迁移，实现实时的风格迁移输出。
Claims (2)
1.一种头戴式风格迁移设备，其特征在于：包括头盔，头盔前部安装有用于获取图像信息的视觉传感器，头盔内部设置有用于处理图像信息的图像处理模块以及用于供电的电源模块，头盔外部两侧通过连接固紧件连接一用于输出图像的VR眼镜；
所述电源模块与图像处理模块电连接，所述图像处理模块分别与视觉传感器、VR眼镜电连接，所述视觉传感器的信号输出端口连接所述图像处理模块的信号输入端口；还包括信息交互设备，用于人机交互，包括用户外部指令输入、显示图像/设备信息，所述信息交互设备与图像处理模块电连接和电源模块电连接；
所述视觉传感器为罗技C270摄像头，所述图像处理模块为Jetson nano，所述信息交互设备为触摸屏；
所述电源模块包括第一USB接口和第二USB接口，其中，第一USB接口与Jetson nano的micro USB电源接口连接，第二USB接口与触摸屏的micro USB电源接口连接；所述罗技C270摄像头的USB插头与Jetson nano的USB接口连接；所述Jetson nano的第一HDMI接口与触摸屏的HDMI接口连接，所述Jetson nano的I/O接口与触摸屏的串口接头连接；所述VR眼镜为ENMESI HDMI视频VR眼镜，所述Jetson nano的第二HDMI接口与VR眼镜的micro HDMI接口连接。
2.根据权利要求1所述的头戴式风格迁移设备，其特征在于：所述连接固紧件为松紧带。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921189501.3U CN211180764U (zh) | 2019-07-26 | 2019-07-26 | 头戴式风格迁移设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201921189501.3U CN211180764U (zh) | 2019-07-26 | 2019-07-26 | 头戴式风格迁移设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN211180764U true CN211180764U (zh) | 2020-08-04 |
Family
ID=71807235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201921189501.3U Active CN211180764U (zh) | 2019-07-26 | 2019-07-26 | 头戴式风格迁移设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN211180764U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241729A (zh) * | 2020-11-04 | 2021-01-19 | 深兰科技（上海）有限公司 | 智能眼镜和基于智能眼镜的场景风格迁移方法 |
-
2019
- 2019-07-26 CN CN201921189501.3U patent/CN211180764U/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241729A (zh) * | 2020-11-04 | 2021-01-19 | 深兰科技（上海）有限公司 | 智能眼镜和基于智能眼镜的场景风格迁移方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541963B (zh) | 三维虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN205563457U (zh) | 一种虚拟现实的便携主机、虚拟现实头盔及系统 | |
| US20130335405A1 (en) | Virtual object generation within a virtual environment | |
| CN104618712A (zh) | 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统 | |
| WO2022005860A1 (en) | Integration of artificial reality interaction modes | |
| CN103616935B (zh) | 一种嵌入式计算机主板 | |
| CN104615243A (zh) | 一种头戴式多通道交互系统及多通道交互方法 | |
| CN107463245A (zh) | 虚拟现实仿真实验系统 | |
| CN102484730A (zh) | 集成头戴显示器的3-d视频处理器 | |
| CN204442580U (zh) | 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统 | |
| WO2022068193A1 (zh) | 可穿戴设备、智能引导方法及装置、引导系统、存储介质 | |
| CN211180764U (zh) | 头戴式风格迁移设备 | |
| CN113220118B (zh) | 虚拟界面展示方法、头戴式显示设备和计算机可读介质 | |
| CN111479148B (zh) | 可穿戴设备、眼镜终端、处理终端、数据交互方法与介质 | |
| CN205005198U (zh) | 头戴式显示器 | |
| CN207096576U (zh) | 一种智能眼镜系统 | |
| CN205982826U (zh) | 基于虚拟现实的显示装置 | |
| CN104510568A (zh) | 利用虚拟现实技术实现盲人可视化的方法 | |
| CN212623993U (zh) | 一种智能交互笔及虚拟现实系统 | |
| CN104035798A (zh) | 一种能够有序开机的多功能电子设备及其开机方法 | |
| CN106408506A (zh) | 一种图像采集平台、fmc子卡及图像处理系统 | |
| US11386604B2 (en) | Moving an avatar based on real-world data | |
| CN207249607U (zh) | 一种三维虚拟现实系统 | |
| TWM539192U (zh) | 模擬顯示畫面暨支援虛擬顯示裝置之控制設備及系統 | |
| CN202058337U (zh) | 立体显示交互式头盔 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |