CN109246402A - 一种多终端输入绘画投影系统 - Google Patents
一种多终端输入绘画投影系统 Download PDFInfo
- Publication number
- CN109246402A CN109246402A CN201810945682.1A CN201810945682A CN109246402A CN 109246402 A CN109246402 A CN 109246402A CN 201810945682 A CN201810945682 A CN 201810945682A CN 109246402 A CN109246402 A CN 109246402A
- Authority
- CN
- China
- Prior art keywords
- input
- module
- image
- multiple terminals
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000010422 painting Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 239000003973 paint Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Telephone Function (AREA)
Abstract
本发明适用于剧院或舞台。一种多终端输入绘画投影系统，其特征在于：所述多终端输入绘画系统包括多终端图像输入模块，多终端图像输入模块包括多部手机或平板电脑；图像特征融合模块，包括通过深度神经网络方式将风格图像和内容图像进行融合，形成融合后的图像；输入模型参数选择模块，通过对输入模型参数选择模块能调整模型风格显示状态；传输模块，通过无线传输将作为多终端图像输入模块的手机或平板电脑与显示处理投影模块数据相连；显示处理投影模块，将多幅融合后图像综合编排投影输出。多终端图像输入模块系统包括多个输入终端，可以使多个参与者进行参与到系统中，使参与者有参与感。
Description
技术领域
一种多终端输入绘画投影系统，应用于影院，剧院等多人参与的视频投影播放场景。
背景技术
目前，有很多剧场使用投影设备，播放儿童剧等，背景使用投影生成。
发明内容
本发明适用于剧院或舞台，将绘画与现在的高科技人工智能技术结合，通过自有的手机平板电脑设备生成具有作者绘画风格的作品，进行投影展示，穿插于剧情中，增加剧院观众的参与感和绘画与科技兴趣，更适于儿童剧播放现场。
一种多终端输入绘画投影系统，其特征在于：
所述多终端输入绘画系统包括多终端图像输入模块，多终端图像输入模块包括多部手机或平板电脑；
图像特征融合模块，包括通过深度神经网络方式将风格图像和内容图像进行融合，形成融合后的图像；
输入模型参数选择模块，通过对输入模型参数选择模块能调整模型风格显示状态；
传输模块，通过无线传输将作为多终端图像输入模块的手机或平板电脑与显示处理投影模块数据相连；
显示处理投影模块，将多幅融合后图像综合编排投影输出。
多终端图像输入模块系统包括多个输入终端，可以使多个参与者进行参与到系统中，使参与者有参与感。
通过深度神经网络方式将风格图像和内容图像进行融合，形成融合后的图像。借助于深度卷积神经网络其强大的特征及语义表征能力，并利用基本的统计学知识，融合后的图像可以分别结合输入图像的内容和风格，也就是我们希望结果图像可以在内容上与内容图像相似，在风格上与风格图像相似。同时输入图像A和图像B，想取得图像A的风格和图像B的内容，生成图像C，我们先随机生成C图像，然后将在深度网络架构下将图像A的特征提取出来和B的内容特征提取出来融合生成C图像。C图像最终获得图像A的风格和图像B的内容。
一种多终端输入绘画投影系统，其特征在于：所述多终端输入绘画系统包括反馈输出显示屏，使用者通过反馈输出屏观看反馈效果，同时调整输入模型参数选择模块参数使生成目标模型达到满意效果。
一种多终端输入绘画投影系统，其特征在于：所述多图像输入模块包括手机摄像头，传输模块包括手机无线传输模块，反馈输出屏包括手机触摸显示屏，输入模型参数选择模块包括手机触摸显示屏。
手机适于作为多终端输入的终端，手机上各部件可以分别作为多图像输入模块，传输模块，反馈输出屏和输入模型参数选择模块的一部分。
图像特征融合模块可将多个输入图像进行风格提取与内容图像进行融合，输入模型参数选择模块可选择多个输入的综合计算过的参数作为最终输入参数。即将多个使用者图像风格融入到一个模型中，将多个使用者的选择参数共同决定最后的选择参数。
一种多终端输入绘画投影系统，其特征在于：多图像输入模块有两种方式：
1）画板绘画，补光器进行补光，手机或平板摄像头拍摄画板输入；
这种方式是通过画笔画画，然后通过摄像头拍摄输入。
2）手机触摸显示屏输入。
手机触摸显示屏输入方式是通过触摸屏上进行输入作画。这两种方式可以同时使用。
一种多终端输入绘画投影系统，其特征在于：所述融合后的图像穿插于投影播放的剧情中。
根据影院剧情播放内容，将融合后的图像穿插于投影播放的剧情中。
一种多终端输入绘画投影系统，其特征在于：将同一作者的多幅绘画图像作为输入，或同一作者选择的多幅图像作为输入，绘画图像可以是作者先期绘画好，存储于手机中的，对选定的多幅图像提取图像绘画风格，迁移至选定模型中。
一种多终端输入绘画投影系统，其特征在于：门票有二维码，扫取二维码调取相关图像输入app或微信公众号、小程序等可操作界面，进行图像输入，模型选择，参数调整等设置。
一种多终端输入绘画投影系统，其特征在于：画风提取与典型画风对比，对作者的绘画风格给予风格包含的评价。
一种多终端输入绘画投影系统，其特征在于：模型生成，投影显示模块可以采用两种工作形式
形式一：图像输入，模型生成和投影显示是在影院内完成；
形式二：图像输入，模型生成先期完成，在影院内完成投影显示。生成图像可以有剪辑时间。
附图说明
图1是本实施例1系统结构示意图。
具体实施方式
实施例1
多终端输入绘画投影系统包括多终端图像输入模块，传输模块，输入模型参数选择模块，图像特征融合模块，显示处理投影模块。其中多终端图像输入模块，传输模块，输入模型参数选择模块集成在手机上，有手机APP软件与手机硬件共同完成。多终端图像输入模块采集输入图像信息；传输模块，通过无线传输将作为多终端图像输入模块的手机与显示处理与投影模块数据相连；图像特征融合模块，包括通过深度神经网络方式将风格图像和内容图像进行融合，形成融合后的图像，图像特征融合模块位于计算功能强大的计算机台式机中；输入模型参数选择模块，通过对输入模型参数选择模块能调整模型风格显示状态；显示处理投影模块，将多幅融合后图像综合编排投影输出。
使用者通过多终端图像输入模块手机拍摄绘画好的图片，通过输入模型参数选择模块选择参数，生成融合后的图像，融合后的图像通过显示处理投影模块，将多幅融合后图像即模型显示综合编排投影输出。通过手机触摸屏可以控制模型显示在屏幕投影中的位置，姿态或通过手机重力传感器，陀螺仪协同控制模型显示在屏幕中的位置姿态。
内容图像即模型为飞机，使用者输入风格图像为任意其绘画图像或挑选的图像，使用者通过手机APP调取摄像头拍摄来输入风格图像，手机APP设有输入模型参数选择模块的选择键，输入模型参数选择模块能调整模型风格显示状态，手机APP通过无线传输将作为多终端图像输入模块的手机与显示处理投影模块数据相连，将风格图像和模型参数选择模块的参数传送给图像特征融合模块的主机，图像特征融合模块的主机为计算功能强大的计算机，图像特征融合模块的主机将图像进行融合，生成融合后的飞机图像模型，显示处理投影模块的投影机将多个使用者的飞机图像模型同时投射到主屏幕上，主屏的背景为天空图案，使用者通过手机APP和手机姿态（重力传感器，陀螺仪）来控制飞机图像模型在主屏上的位置姿态，增加使用者的参与感。
本专利所叙述的实施例和内容为优选实施例和内容，，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (10)
1.一种多终端输入绘画投影系统，其特征在于：所述多终端输入绘画系统包括多终端图像输入模块，多终端图像输入模块包括多部手机或平板电脑；传输模块，通过无线传输将多终端图像输入模块的手机或平板电脑与显示处理投影模块数据相连；图像特征融合模块，包括通过深度神经网络方式将风格图像和内容图像进行融合，形成融合后的图像；输入模型参数选择模块，通过输入模型参数选择模块能调整模型风格显示状态；显示处理投影模块，将多幅融合后图像综合编排投影输出。
2.权利要求1所述一种多终端输入绘画投影系统，其特征在于：所述多终端输入绘画系统包括反馈输出显示屏，使用者通过反馈输出屏观看反馈效果，同时调整输入模型参数选择模块参数使生成目标模型达到满意效果。
3.权利要求1所述一种多终端输入绘画投影系统，其特征在于：所述多图像输入模块包括手机摄像头，传输模块包括手机无线传输模块，反馈输出屏包括手机触摸显示屏，输入模型参数选择模块包括手机触摸显示屏。
4.权利要求1所述一种多终端输入绘画投影系统，其特征在于：多图像输入模块有两种方式：画板绘画，补光器进行补光，手机或平板摄像头拍摄画板输入；手机触摸显示屏输入。
5.权利要求1所述一种多终端输入绘画投影系统，其特征在于：所述融合后的图像穿插于投影播放的剧情中。
6.权利要求1所述一种多终端输入绘画投影系统，其特征在于：将同一作者的多幅绘画图像作为输入，或同一作者选择的多幅图像作为输入，绘画图像可以是作者先期绘画好，存储于手机中的，对选定的多幅图像提取图像绘画风格，迁移至选定模型中。
7.权利要求1所述一种多终端输入绘画投影系统，其特征在于：门票有二维码，扫取二维码调取相关图像输入app或微信公众号、小程序等可操作界面，进行图像输入，模型选择，参数调整等设置，画风提取与典型画风对比，对作者的绘画风格给予风格包含的评价。
8.权利要求1所述一种多终端输入绘画投影系统，其特征在于： 图像特征融合模块可将多个输入图像进行风格提取与内容图像进行融合，输入模型参数选择模块可选择多个输入的综合计算过的参数作为最终输入参数。
9.权利要求1所述一种多终端输入绘画投影系统，其特征在于：模型生成，投影显示模块可以采用两种工作形式，形式一：图像输入，模型生成和投影显示是在影院内完成；形式二：图像输入，模型生成先期完成，在影院内完成投影显示，生成图像可以有剪辑时间。
10.权利要求1所述一种多终端输入绘画投影系统，其特征在于：通过手机触摸屏可以控制模型显示在屏幕投影中的位置，姿态或通过手机重力传感器，陀螺仪协同控制模型显示在屏幕中的位置姿态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810945682.1A CN109246402A (zh) | 2018-08-20 | 2018-08-20 | 一种多终端输入绘画投影系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810945682.1A CN109246402A (zh) | 2018-08-20 | 2018-08-20 | 一种多终端输入绘画投影系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109246402A true CN109246402A (zh) | 2019-01-18 |
Family
ID=65071640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810945682.1A Pending CN109246402A (zh) | 2018-08-20 | 2018-08-20 | 一种多终端输入绘画投影系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109246402A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145088A (zh) * | 2020-01-07 | 2020-05-12 | 中国传媒大学 | 适用于观演空间的投影风格渲染方法及渲染系统 |
| CN111866409A (zh) * | 2020-06-22 | 2020-10-30 | 北京都是科技有限公司 | 图像选择处理设备以及图像选择处理系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102413128A (zh) * | 2011-11-10 | 2012-04-11 | 青岛海信移动通信技术股份有限公司 | 一种共享电子白板的方法及网络会议系统 |
| CN104106037A (zh) * | 2012-02-13 | 2014-10-15 | 日立麦克赛尔株式会社 | 投影仪，图形输入·显示装置，便携终端和程序 |
| CN106020681A (zh) * | 2016-05-05 | 2016-10-12 | 乐视控股（北京）有限公司 | 一种通过触摸屏采集并投影绘画的方法和系统 |
-
2018
- 2018-08-20 CN CN201810945682.1A patent/CN109246402A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102413128A (zh) * | 2011-11-10 | 2012-04-11 | 青岛海信移动通信技术股份有限公司 | 一种共享电子白板的方法及网络会议系统 |
| CN104106037A (zh) * | 2012-02-13 | 2014-10-15 | 日立麦克赛尔株式会社 | 投影仪，图形输入·显示装置，便携终端和程序 |
| CN106020681A (zh) * | 2016-05-05 | 2016-10-12 | 乐视控股（北京）有限公司 | 一种通过触摸屏采集并投影绘画的方法和系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145088A (zh) * | 2020-01-07 | 2020-05-12 | 中国传媒大学 | 适用于观演空间的投影风格渲染方法及渲染系统 |
| CN111145088B (zh) * | 2020-01-07 | 2023-11-24 | 中国传媒大学 | 适用于观演空间的投影风格渲染方法及渲染系统 |
| CN111866409A (zh) * | 2020-06-22 | 2020-10-30 | 北京都是科技有限公司 | 图像选择处理设备以及图像选择处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| CN112243583B (zh) | 多端点混合现实会议 | |
| CN105306868B (zh) | 视频会议系统及方法 | |
| CN111527525A (zh) | 混合现实服务提供方法及系统 | |
| US11595448B1 (en) | Method and apparatus for automatically creating mirrored views of the video feed of meeting participants in breakout rooms or conversation groups during a videoconferencing session | |
| WO2017000457A1 (zh) | 一种手持交互设备装置及其投影交互方法 | |
| CN108881784A (zh) | 虚拟场景实现方法、装置、终端及服务器 | |
| CN106210861A (zh) | 显示弹幕的方法及系统 | |
| CN105608715A (zh) | 一种在线合影方法及系统 | |
| CN106548517A (zh) | 基于增强现实技术进行视频会议的方法及装置 | |
| CN105959675A (zh) | 一种视频数据的处理方法和装置 | |
| CN110427227B (zh) | 虚拟场景的生成方法、装置、电子设备及存储介质 | |
| CN105938541A (zh) | 利用数字内容增强现场表演的系统和方法 | |
| JP2019179382A (ja) | 情報処理プログラム、情報処理方法及び情報処理システム | |
| US11546385B1 (en) | Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform | |
| US11621979B1 (en) | Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants | |
| CN109246402A (zh) | 一种多终端输入绘画投影系统 | |
| CN111586304B (zh) | 一种基于5g及vr技术的全景摄像系统及方法 | |
| CN105306872B (zh) | 控制多点视频会议的方法、装置和系统 | |
| CN112333458A (zh) | 直播房间显示方法、装置、设备及存储介质 | |
| CN113014960B (zh) | 一种在线制作视频的方法、装置及存储介质 | |
| CN114615455A (zh) | 远程会议的处理方法、装置、会议系统和存储介质 | |
| CN114327055A (zh) | 一种基于元宇宙vr/ar和ai技术的3d真人实时场景交互系统 | |
| US20230341993A1 (en) | Moving a digital representation of a video conference participant to a new location in a virtual environment | |
| CN107666572A (zh) | 拍摄方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190118 |
|
| WD01 | Invention patent application deemed withdrawn after publication |