CN112241729A - 智能眼镜和基于智能眼镜的场景风格迁移方法 - Google Patents

智能眼镜和基于智能眼镜的场景风格迁移方法 Download PDF

Info

Publication number
CN112241729A
CN112241729A CN202011218227.5A CN202011218227A CN112241729A CN 112241729 A CN112241729 A CN 112241729A CN 202011218227 A CN202011218227 A CN 202011218227A CN 112241729 A CN112241729 A CN 112241729A
Authority
CN
China
Prior art keywords
image
style migration
scene image
processing unit
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011218227.5A
Other languages
English (en)
Inventor
陈海波
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Blue Technology Shanghai Co Ltd
Original Assignee
Deep Blue Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Blue Technology Shanghai Co Ltd filed Critical Deep Blue Technology Shanghai Co Ltd
Priority to CN202011218227.5A priority Critical patent/CN112241729A/zh
Publication of CN112241729A publication Critical patent/CN112241729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种智能眼镜和基于智能眼镜的场景风格迁移方法,智能眼镜包括镜框、佩戴部、图像采集单元、显示单元和处理单元,所述显示单元设置于所述镜框,所述处理单元内置有风格迁移模型,其中,所述图像采集单元用于采集真实场景图像并传输至所述处理单元,所述处理单元用于通过所述风格迁移模型将所述真实场景图像转换为目标场景图像并传输至所述显示单元,所述显示单元用于显示所述目标场景图像。本发明能够将智能眼镜佩戴者面前的真实场景转换为诸如动漫场景的目标场景,并使佩戴者直接看到转换后的目标场景,满足佩戴者对于目标场景的体验需求。

Description

智能眼镜和基于智能眼镜的场景风格迁移方法
技术领域
本发明涉及人工智能技术领域,具体涉及一种智能眼镜和一种基于智能眼镜的场景风格迁移方法。
背景技术
目前,动漫爱好者为满足观看动漫画面的需求,一般是通过影音播放设备来播放预先制作的动漫画面。
发明内容
本发明为解决目前动漫画面获取途径单一的技术问题,提供了一种智能眼镜和基于智能眼镜的场景风格迁移方法,能够将智能眼镜佩戴者面前的真实场景转换为诸如动漫场景的目标场景,并使佩戴者直接看到转换后的目标场景,满足佩戴者对于目标场景的体验需求。
本发明采用的技术方案如下:
一种智能眼镜,包括镜框、佩戴部、图像采集单元、显示单元和处理单元,所述显示单元设置于所述镜框,所述处理单元内置有风格迁移模型,其中,所述图像采集单元用于采集真实场景图像并传输至所述处理单元,所述处理单元用于通过所述风格迁移模型将所述真实场景图像转换为目标场景图像并传输至所述显示单元,所述显示单元用于显示所述目标场景图像。
所述的智能眼镜还包括供电单元,所述供电单元用于为所述图像采集单元、所述显示单元和所述处理单元供电。
所述图像采集单元包括两个摄像头,所述显示单元包括两个LED显示镜片,所述处理单元包括嵌入式AI芯片,所述供电单元包括电池。
两个所述摄像头均设置于所述镜框前侧,并与两个所述LED显示镜片的位置一一对应。
所述风格迁移模型为对生成式对抗网络进行训练后得到的生成器。
所述目标场景图像为动漫场景图像。
一种基于上述智能眼镜的场景风格迁移方法,包括以下步骤:通过模型训练得到所述风格迁移模型;将所述风格迁移模型内置于所述处理单元;通过所述图像采集单元采集真实场景图像;通过所述风格迁移模型将所述真实场景图像转换为目标场景图像;通过所述显示单元显示所述目标场景图像。
通过模型训练得到所述风格迁移模型,具体包括:获取真实图像样本数据集和目标图像样本数据集;构建生成式对抗网络;以所述真实图像样本数据集作为所述生成式对抗网络中生成器的输入,以所述目标图像样本数据集和所述生成器的输出作为所述生成式对抗网络中判别器的输入,训练所述生成式对抗网络;保存训练好的所述生成式对抗网络中的生成器作为所述风格迁移模型。
所述生成式对抗网络中的生成器选用自编码器网络结构。
本发明的有益效果:
本发明可通过图像采集单元采集真实场景图像,并通过处理单元基于内置的风格迁移模型将真实场景图像转换为目标场景图像,以及通过显示单元显示目标场景图像,由此,能够将智能眼镜佩戴者面前的真实场景转换为诸如动漫场景的目标场景,并使佩戴者直接看到转换后的目标场景,满足佩戴者对于目标场景的体验需求。
附图说明
图1为本发明一个实施例的智能眼镜的结构示意图;
图2为本发明一个实施例的智能眼镜的镜框后侧示意图;
图3为本发明一个实施例的智能眼镜的镜框前侧示意图;
图4为本发明一个实施例的模型训练流程示意图;
图5为本发明一个实施例的不同场景图像转换示意图;
图6为本发明一个实施例的目标场景图像显示示意图;
图7为本发明一个实施例的基于智能眼镜的场景风格迁移方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1、图2和图3所示,本发明实施例的智能眼镜包括镜框1、佩戴部2、图像采集单元3、显示单元4和处理单元5,处理单元5内置有风格迁移模型,其中,图像采集单元3用于采集真实场景图像并传输至处理单元5,处理单元5用于通过风格迁移模型将真实场景图像转换为目标场景图像并传输至显示单元4,显示单元4用于显示目标场景图像。
进一步地,本发明实施例的智能眼镜还包括供电单元6,供电单元6用于为图像采集单元3、显示单元4和处理单元5供电。
其中,图像采集单元3、处理单元5和供电单元6可设置于镜框1或佩戴部2,图像采集单元3和显示单元4分别与处理单元5相连,图像采集单元3、显示单元4和处理单元5分别与供电单元6相连。
图1中以佩戴部2为镜腿、处理单元5和供电单元6均设置于镜腿为例。在本发明的其他实施例中,佩戴部还可以为眼镜带等其他适于将镜框1固定佩戴的结构,处理单元5和供电单元6还可以均设置于镜框1,或一个设置于镜框1、另一个设置于佩戴部2。
在本发明的一个实施例中,图像采集单元3可包括两个摄像头,显示单元4可包括两个LED显示镜片,处理单元5可包括嵌入式AI芯片,供电单元6可包括电池。如图1和图2所示,两个LED显示镜片分别内置于镜框1的左右两部分,向镜框1的后侧显示画面。如图3所示,两个摄像头均设置于镜框1前侧,并与两个LED显示镜片的位置一一对应。
在本发明的一个实施例中,风格迁移模型为对生成式对抗网络进行训练后得到的生成器。本发明实施例中可先在服务器上训练得到风格迁移模型,然后将风格迁移模型进行存储并部署至嵌入式AI芯片中。在服务器上训练得到风格迁移模型的流程可参照图4,首先,可获取真实图像样本数据集和目标图像样本数据集,以目标场景图像为动漫场景图像为例,可从网络上下载动漫视频,视频帧数大于10万,以视频中包含的超过10万张单帧图像构成目标图像样本数据集,并且,可通过摄像头采集大量的真实场景图像,例如超过10万张真实场景图像,构成真实图像样本数据集。然后,构建AI算法模型,AI算法模型的主要架构网络为生成式对抗网络,生成式对抗网络中的生成器选用自编码器网络结构。进而,以真实图像样本数据集作为生成式对抗网络中生成器的输入,以目标图像样本数据集和生成器的输出作为生成式对抗网络中判别器的输入,训练生成式对抗网络。在AI算法模型收敛后,保存训练好的生成式对抗网络中的生成器,作为本发明实施例的风格迁移模型。
参照图5,智能眼镜的左右两个摄像头采集到的真实场景图像可同时输入嵌入式AI芯片的风格迁移模型,风格迁移模型可输出相应的两个动漫场景图像。参照图6,两个动漫场景图像可对应由两个LED显示镜片显示出来,使佩戴者能够直接看到真实场景图像对应的动漫场景图像。应当理解的是,当真实场景图像的采集、真实场景图像向动漫场景图像的迁移、动漫场景图像的显示的频率达到一定的频率值后,也就构成了相应帧率的动漫场景动态图像,即使得佩戴者能够直接看到真实场景动态画面对应的动漫场景视频。此外,LED显示镜片显示区域的大小、佩戴后LED显示镜片与人眼的距离可适于人眼设定,以使佩戴者能够看到相对清晰的显示内容。
根据本发明实施例的智能眼镜,可通过图像采集单元采集真实场景图像,并通过处理单元基于内置的风格迁移模型将真实场景图像转换为目标场景图像,以及通过显示单元显示目标场景图像,由此,能够将智能眼镜佩戴者面前的真实场景转换为诸如动漫场景的目标场景,并使佩戴者直接看到转换后的目标场景,满足佩戴者对于目标场景的体验需求。
本发明还提出一种基于智能眼镜的场景风格迁移方法。
如图7所示,本发明实施例的基于智能眼镜的场景风格迁移方法包括以下步骤:
S1,通过模型训练得到风格迁移模型。
具体地,可获取真实图像样本数据集和目标图像样本数据集,并构建生成式对抗网络,然后以真实图像样本数据集作为生成式对抗网络中生成器的输入,以目标图像样本数据集和生成器的输出作为生成式对抗网络中判别器的输入,训练生成式对抗网络,最后保存训练好的生成式对抗网络中的生成器作为风格迁移模型。
其中,生成式对抗网络中的生成器选用自编码器网络结构。
S2,将风格迁移模型内置于处理单元。
S3,通过图像采集单元采集真实场景图像。
S4,通过风格迁移模型将真实场景图像转换为目标场景图像。
S5,通过显示单元显示目标场景图像。
更具体的实施方式可参照上述智能眼镜的相关实施例,在此不再赘述。
根据本发明实施例的基于智能眼镜的场景风格迁移方法,首先通过模型训练得到风格迁移模型,并将风格迁移模型内置于处理单元,然后通过图像采集单元采集真实场景图像,并通过处理单元基于内置的风格迁移模型将真实场景图像转换为目标场景图像,以及通过显示单元显示目标场景图像,由此,能够将智能眼镜佩戴者面前的真实场景转换为诸如动漫场景的目标场景,并使佩戴者直接看到转换后的目标场景,满足佩戴者对于目标场景的体验需求。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种智能眼镜,其特征在于,包括镜框、佩戴部、图像采集单元、显示单元和处理单元,所述显示单元设置于所述镜框,所述处理单元内置有风格迁移模型,其中,所述图像采集单元用于采集真实场景图像并传输至所述处理单元,所述处理单元用于通过所述风格迁移模型将所述真实场景图像转换为目标场景图像并传输至所述显示单元,所述显示单元用于显示所述目标场景图像。
2.根据权利要求1所述的智能眼镜,其特征在于,还包括供电单元,所述供电单元用于为所述图像采集单元、所述显示单元和所述处理单元供电。
3.根据权利要求2所述的智能眼镜,其特征在于,所述图像采集单元包括两个摄像头,所述显示单元包括两个LED显示镜片,所述处理单元包括嵌入式AI芯片,所述供电单元包括电池。
4.根据权利要求3所述的智能眼镜,其特征在于,两个所述摄像头均设置于所述镜框前侧,并与两个所述LED显示镜片的位置一一对应。
5.根据权利要求1所述的智能眼镜,其特征在于,所述风格迁移模型为对生成式对抗网络进行训练后得到的生成器。
6.根据权利要求1-5中任一项所述的智能眼镜,其特征在于,所述目标场景图像为动漫场景图像。
7.一种基于权利要求1-6中任一项所述的智能眼镜的场景风格迁移方法,其特征在于,包括以下步骤:
通过模型训练得到所述风格迁移模型;
将所述风格迁移模型内置于所述处理单元;
通过所述图像采集单元采集真实场景图像;
通过所述风格迁移模型将所述真实场景图像转换为目标场景图像;
通过所述显示单元显示所述目标场景图像。
8.根据权利要求7所述的场景风格迁移方法,其特征在于,通过模型训练得到所述风格迁移模型,具体包括:
获取真实图像样本数据集和目标图像样本数据集;
构建生成式对抗网络;
以所述真实图像样本数据集作为所述生成式对抗网络中生成器的输入,以所述目标图像样本数据集和所述生成器的输出作为所述生成式对抗网络中判别器的输入,训练所述生成式对抗网络;
保存训练好的所述生成式对抗网络中的生成器作为所述风格迁移模型。
9.根据权利要求8所述的场景风格迁移方法,其特征在于,所述生成式对抗网络中的生成器选用自编码器网络结构。
CN202011218227.5A 2020-11-04 2020-11-04 智能眼镜和基于智能眼镜的场景风格迁移方法 Pending CN112241729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011218227.5A CN112241729A (zh) 2020-11-04 2020-11-04 智能眼镜和基于智能眼镜的场景风格迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011218227.5A CN112241729A (zh) 2020-11-04 2020-11-04 智能眼镜和基于智能眼镜的场景风格迁移方法

Publications (1)

Publication Number Publication Date
CN112241729A true CN112241729A (zh) 2021-01-19

Family

ID=74169763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011218227.5A Pending CN112241729A (zh) 2020-11-04 2020-11-04 智能眼镜和基于智能眼镜的场景风格迁移方法

Country Status (1)

Country Link
CN (1) CN112241729A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111161132A (zh) * 2019-11-15 2020-05-15 上海联影智能医疗科技有限公司 用于图像风格转换的系统和方法
CN211180764U (zh) * 2019-07-26 2020-08-04 东南大学 头戴式风格迁移设备
CN111583100A (zh) * 2020-05-12 2020-08-25 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111738910A (zh) * 2020-06-12 2020-10-02 北京百度网讯科技有限公司 一种图像处理方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN211180764U (zh) * 2019-07-26 2020-08-04 东南大学 头戴式风格迁移设备
CN111161132A (zh) * 2019-11-15 2020-05-15 上海联影智能医疗科技有限公司 用于图像风格转换的系统和方法
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111583100A (zh) * 2020-05-12 2020-08-25 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111738910A (zh) * 2020-06-12 2020-10-02 北京百度网讯科技有限公司 一种图像处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN107959778B (zh) 基于双摄像头的成像方法和装置
CN106385530B (zh) 一种双光谱摄像机
CN108055452A (zh) 图像处理方法、装置及设备
EP2639761A1 (en) Depth information generator, depth information generation method, and stereoscopic image converter
CN104076481B (zh) 自动聚焦方法及其设备
CN108024054A (zh) 图像处理方法、装置及设备
CN101753837B (zh) 在多个拍摄条件下间隔拍摄的方法及其拍摄装置
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
US20120068996A1 (en) Safe mode transition in 3d content rendering
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
CN109035147B (zh) 图像处理方法及装置、电子装置、存储介质和计算机设备
CN108600729B (zh) 动态3d模型生成装置及影像生成方法
WO2020131277A1 (en) Flexible eyewear device with dual cameras for generating stereoscopic images
CN112188093B (zh) 双模态信号融合系统和方法
CN103874960A (zh) 单眼立体摄影装置、摄影方法及程序
CN103780815B (zh) 摄影系统、摄影设备以及摄影设备用附件设备
CN108093170B (zh) 用户拍照方法、装置及设备
CN108052883B (zh) 用户拍照方法、装置及设备
JP2015532041A (ja) 逆光補正方法、装置及び端末
US20230206093A1 (en) Music recommendation method and apparatus
CN112348738A (zh) 图像优化方法、图像优化装置、存储介质与电子设备
CN103905806A (zh) 利用单摄像头实现3d拍摄的系统和方法
CN205647708U (zh) 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统
CN112241729A (zh) 智能眼镜和基于智能眼镜的场景风格迁移方法
CN107483838A (zh) 基于前后摄像头的拍摄方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210119

RJ01 Rejection of invention patent application after publication