CN112954235A - 一种基于家庭互动早教平板交互方法 - Google Patents

一种基于家庭互动早教平板交互方法 Download PDF

Info

Publication number
CN112954235A
CN112954235A CN202110158705.6A CN202110158705A CN112954235A CN 112954235 A CN112954235 A CN 112954235A CN 202110158705 A CN202110158705 A CN 202110158705A CN 112954235 A CN112954235 A CN 112954235A
Authority
CN
China
Prior art keywords
central processing
processing module
animation character
scene
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110158705.6A
Other languages
English (en)
Other versions
CN112954235B (zh
Inventor
秦曙光
陈家峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Readboy Education Technology Co Ltd
Original Assignee
Readboy Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Readboy Education Technology Co Ltd filed Critical Readboy Education Technology Co Ltd
Priority to CN202110158705.6A priority Critical patent/CN112954235B/zh
Publication of CN112954235A publication Critical patent/CN112954235A/zh
Application granted granted Critical
Publication of CN112954235B publication Critical patent/CN112954235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/2053D [Three Dimensional] animation driven by audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于家庭互动早教平板交互方法,包括,步骤a,图像采集装置获取自制短片,音频采集装置获取自制短片音频;步骤b,中央处理模块根据音频关键字选取预设场景;步骤c,所述中央处理模块根据一段时间内动画人物被观看次数选取预设动画人物,并根据动画人物轮廓调整方法对动画人物轮廓及道具进行调节;步骤d,所述中央处理模块从起始帧逐帧识别图像内动作部位的动作参数至结束帧,并将获取的各参数应用到选取的动画人物;步骤e,所述中央处理模块根据音频说话频率选取模拟的声音;通过将获取自制短片预设动作部位每帧的坐标位置、道具参数及选取的语音应用于选取的动画人物上,以使自制短片符合预设标准。

Description

一种基于家庭互动早教平板交互方法
技术领域
本发明涉及早教平板领域,尤其涉及一种基于家庭互动早教平板交互方法。
背景技术
儿童是人生智力发展的基础阶段,又是发展最快的时期,适当、正确的学前教育对幼儿智力及其日后的发展有很大的作用。学前智育是一个多方面的培养过程。对学前儿童的心理健康关注也不可小觑。这个年龄段的儿童心智发展还不成熟,需要家长积极的引导。
早教平板作为早教方式之一,近年来,表现出愈加重要的作用,但现有的早教平板多以固定的课程为主,以制作完成的课程为教育方式,不能自由选择早教内容,而且内容枯燥,无法实现与儿童互动,同时现有的早教平板多以课程为主,家长的参与度极低,不利于亲子互动。
发明内容
为此,本发明提供一种基于家庭互动早教平板交互方法,可以解决早教平板无法由家长自制教育内容的问题。
为实现上述目的,本发明提供一种基于家庭互动早教平板交互方法,包括:
步骤a,图像采集装置获取自制短片,音频采集装置获取自制短片音频;
步骤b,中央处理模块根据音频关键字选取预设场景;
步骤c,所述中央处理模块根据一段时间内动画人物被观看次数选取预设动画人物,并根据动画人物轮廓调整方法对动画人物轮廓及道具进行调节;
步骤d,所述中央处理模块从起始帧逐帧识别图像内动作部位的动作参数至结束帧,并将获取的各参数应用到选取的动画人物;
步骤e,所述中央处理模块根据音频说话频率选取模拟的声音;
所述中央处理模块预设若干类场景、若干动画人物和语音模拟器,所述中央处理模块获取自制短片,将自制短片语音信息转化为文本信息,根据识别自制短片文本关键词选取预设场景,通过将获取自制短片预设动作部位每帧的坐标位置应用于选取的动画人物上,所述中央处理模块对动画人物轮廓面积进行等比例调节,将自制短片从起始帧至结束帧全部图像按照先后顺序输出视频,并配以选取的语音,以使自制短片符合预设标准。
进一步地,所述中央处理模块预设场景An(Di,Rj),其中Dn表示地点场景,Rm表示内容场景,n为预设场景编号,所述中央处理模块根据获取的地点场景编号Di和内容场景Rj,选取对应的场景An;
所述中央处理模块预设地点场景D1,D2,D3至Dn,每个地点场景设置相关地点关键词DCn,其中地点场景D1的关键词DC1出现的次数为S1,地点场景D2的关键词DC2出现的次数为S2,地点场景D3的关键词DC3出现的次数为S3至地点场景Dn的关键词DCn出现的次数为Sn,中央处理模块获取自制短片语音文本地点场景出现次数最大值Si,选取Di为地点场景,i=1,2,3至n;
所述中央处理模块预设内容场景R1,R2,R3至Rm,每个内容场景设置相关内容关键词集合RCm,其中内容场景R1的关键词集合RC1出现的次数为K1,内容场景R2的关键词集合RC2出现的次数为K2,内容场景R3的关键词集合RC3出现的次数为K3至内容场景Rm的关键词RCm出现的次数为Km,中央处理模块获取自制短片语音文本地点场景出现次数最大值kj,选取Rj为内容场景,j=1,2,3至m;
进一步地,所述中央处理模块预设运动部位YD,其中,左足YD1、左膝YD2、左腰YD3、胸部YD4、左肩YD5、左肘YD6、左手YD7、鼻子YD8、左耳YD9、左眼YD10、右眼YD11、右耳YD12、右肩YD13、右肘YD14、右手YD15、右腰YD16、右膝YD17、右足YD18,中央处理模块以自制短片人物静止时的鼻子为坐标原点,以人物目光方向为X轴,与X轴垂直且与地面平行的方向为Y轴,以法线为Z轴建立直角坐标系,鼻子坐标YD8zb0(0,0,0);
所述中央处理模式设置自制短片起始帧RZ1,结束帧RZn,以起始帧自制短片人物鼻子坐标设为YD8zb1(0,0,0),从起始帧至结束帧逐帧识别图像,获取第i帧识别图像运动部位YDm的实时坐标YDmzbi(Xmi,Ymi,Zmi),其中i为帧数,i=1,2,3至n,m为运动部位编号,m=1,2,3至18,所述中央处理模块将第i帧参数应用于选定动画人物上,所述中央处理模块将从起始帧至结束帧全部图像按照先后顺序输出视频。
进一步地,所述中央处理模块预设动画人物P,P1表示第一预设动画人物,P2表示第二预设动画人物,P3表示第三预设动画人物,至Pn表示第n预设动画人物,所述中央处理模块获取T时间内,儿童对第i预设动画人物的观看次数,选取观看次数最多的预设动画人物Pi为自制短片动画人物,i=1,2,3至n;
进一步地,所述中央处理模块设置动画人物轮廓调整方法,包括,
步骤1,根据获取动画人物的轮廓面积与场景面积的比值,调节动画人物轮廓;
步骤2,根据确定的动画人物轮廓面积,确定第i帧运动部位坐标;
步骤3,根据第i-1帧和第i+1帧,左足YD1在X轴上的位移量,对动画人物的轮廓面积进行调节;
步骤4,所述中央处理模块获取自制短片起始帧图片运动部位YDm所持道具图像,根据动画人物与短片中人物比例调节所持道具大小;
所述步骤1,所述中央处理模块获取场景面积DCS,动画人物轮廓面积DHS,当DHS>1/3×DCS,所述中央处理模块对动画人物轮廓面积进行等比例调节,调节后的动画人物轮廓面积为DHS’,DHS’=DHS2/DCS;
当1/3×DCS<DHS≤1/4×DCS,所述中央处理模块不对动画人物轮廓面积调节;
当DHS<1/4×DCS,所述中央处理模块对动画人物轮廓面积进行等比例调节,调节后的动画人物轮廓面积为DHS’,DHS’=DHS×(1+DHS/DCS);
所述步骤2,所述中央处理模块获取的动画人物轮廓面积DHS’,自制短片人物轮廓面积RH,所述中央处理模块对第i帧各运动部位YDm的坐标YDmzbi(Xmi,Ymi,Zmi)调节至YDmzbi’(Xmi’,Ymi’,Zmi’),其中,Xmi’=Xmi×DHS’/RH,Zmi’=Zmi×DHS’/RH,Zmi’=Zmi×DHS’/RH;
所述步骤3,所述中央处理模块预设位移距离S0,中央处理模块获取第i-1帧,左足YD1位置坐标YD1zbi-1(X1i-1,Y1i-1,Z1i-1),第i+1帧,左足YD1位置坐标YD1zbi+1(X1i+1,Y1i+1,Z1i+1),
|X1i-1-X1i+1|≤S0,所述中央处理模块不对动画人物的轮廓面积进行调节;
|X1i-1-X1i+1|>S0,所述中央处理模块对动画人物的轮廓面积进行调节,其中,当X1i-1-X1i+1<0,对对动画人物轮廓面积等比例调节至DHS”,DHS”=DHS×|X1i-1-X1i+1|/S0
当X1i-1-X1i+1≥0,对对动画人物轮廓面积等比例调节至DHS”,DHS”=DHS×S0/|X1i-1-X1i+1|;
所述步骤4,所述中央处理模块获取自制短片第i帧图片运动部位YDm所持道具图像,所述道具图像轮廓面积RDm,拾取所述道具图像中心点坐标RTzb0(Xrt0,Yrt0,Zrt0),同时获取第i帧所述道具图像中心点坐标RTzbi(Xrti,Yrti,Zrti),所述中央处理模块预设动画人物高度为G,第一预设动画人物高度G1、第二预设动画人物高度G2、第三预设动画人物高度G3至第n预设动画人物高度Gn,所述中央处理模块选取第n预设动画人物高度Gn为动画人物高度参数,所述中央处理模块获取自制短片人物轮廓面积RH,所述中央处理模块将所述道具图像面积及所述道具图像中心点坐标进行调节,按照缩放比例Gn/RH进行缩放,其中,
RDm’=RDm×Gn/RH,
RTzbi(Xrti×Gn/RH,Yrti×Gn/RH,Zrti×Gn/RH);
进一步地,所述中央处理模块预设色调差值h,获取实时选取的场景色温HC,获取选定动画人物色温HD,
当|HC-HD|/(HC-HD)≤h,所述中央处理模块不对选定场景色温进行调节;
当|HC-HD|/(HC-HD)>h,所述中央处理模块对选定场景色温进行调节;
进一步地,所述中央处理模块获取实时场景RGB值,RGB是指红R、绿G、蓝B三个基准色的数值,所述中央处理模块获取实时红绿比R/G和蓝绿比B/G,
当HC≥HD,所述中央处理模块将实时场景色温降低至HC’,HC’=HC×(1-R/G×B/G)×(1-HC/HD)
当HC<HD,所述中央处理模块将实时场景色温提高至HC’,HC’=HC×(1+R/G×B/G)×(1+HC/HD)。
进一步地,所述中央处理模块预设语音模拟器语音类型Y,其中,第一预设语音类型Y1、第二预设语音类型Y2、第三预设语音类型Y3、第四预设语音类型Y4,所述中央处理模块获取自制短片说话频率RP,RP=RZ/T,其中RZ为自制短片字符数,T为录制时长,所述中央处理模块预设说话频率RPO,其中,
当RP≥2×RPO,所述中央处理模块选取第一预设语音类型Y1为语音模拟类型;
当2×RPO<RP≤RPO,所述中央处理模块选取第二预设语音类型Y2为语音模拟类型;
当RPO<RP≤0.5×RPO,所述中央处理模块选取第三预设语音类型Y3为语音模拟类型;
当RP<0.5×RPO,所述中央处理模块选取第四预设语音类型Y4为语音模拟类型。
进一步地,所述中央处理模块根据总帧数与短片录制时长获取每帧时间TZ,TZ=n/T,其中,n为自制短片总帧数,T为录制时长,所述中央处理模块预设说话频率RPO,当中央处理模块获取短片录制说话频率RP大于预设说话频率RPO时,所述中央处理模块对每帧时间进行调节,将TZ缩短至TZ’,TZ’=TZ×(1-(RP-RPO)/RPO),当中央处理模块获取短片录制说话频率RP小于预设说话频率RPO时,所述中央处理模块对每帧时间进行调节,将TZ增加至TZ’,TZ’=TZ×(1+(RPO-RP)/RPO)。
与现有技术相比,本发明的有益效果在于,本发明设置中央处理模块预设若干类场景、若干动画人物和语音模拟器,所述中央处理模块获取自制短片,将自制短片语音信息转化为文本信息,根据识别自制短片文本关键词选取预设场景,通过将获取自制短片预设动作部位每帧的坐标位置应用于选取的动画人物上,并配以选取的语音,以使自制短片符合预设标准。
尤其,本发明通过预设若干场景,结合自制短片关键词出现的数目自动选取地点场景和内容场景,使得选取的场景与自制短片匹配度更高。
尤其,本发明设置自制短片人物运动部位,以帧为单位划分多个图像将自制短片划分为若干个图像,并结合设定的坐标系确定各运动部位实时的坐标,通过提取每帧图像各运动部位运动参数应用于选定动画人物上,实现自制短片更换为动画人物的形象,使得动画人物按照自制短片的运动轨迹运动。
尤其,本发明预设若干动画人物,根据一段时间内,儿童对某个预设动画人物的观看次数确定自制短片的动画人物,有利于提高儿童对早教内容注意力。
尤其,本发明设置动画人物轮廓调整方法,对动画人物的轮廓、动画人物各运动部位活动坐标、动画人物距离镜头的远近及自制短片道具的大小及移动进行调节,其中,动画人物的轮廓按照场景面积来调节,根据画面的整体设计,本发明对动画人物轮廓的面积进行设定,避免过大或过小,影响儿童观看;在动画人物轮廓面积进行确定后,对通过自制短片获取的各部位运动坐标进行调节,以使调节后的坐标与动画人物各运动部位相匹配;由于自制短片在录制过程中会出现远离或逼近镜头的情况,当人物远离镜头,其在镜头中展现的人物越大,反之,当人物逼近镜头,其在镜头中展现的人物越小,因此本发明实施例根据人物的位移对人物轮廓面积进行调节;同时在早教视频拍摄中,不可避免的会使用相关道具,本发明获取每帧处人物某个运动部位持有的道具图像,同时获取道具图像轮廓面积和道具图像中心点坐标,并根据选取的动画高度与自制短片人物作比值,获取面积缩放比例,及道具图像在每帧的运动轨迹。
尤其,本发明设置色调差值,根据选取的场景色温和选定的动画色温通过设定的计算公式,判断是否需要对场景色温进行调节,并设定具体调节方式,以使调节后的场景色温与选定的动画人物更匹配,有利于儿童视力的保护。
尤其,本发明预设若干种语音模拟类型,根据获取的自制短片人物说话频率与预设的标准说话频率相比较,选取适合该早教内容的语音类型,同时针对不同人物的说话频率,设置对每帧时间调节方式,以使输出的视频与选定的语音说话频率更匹配。
附图说明
图1为发明实施例一种基于家庭互动早教平板交互方法示意图;
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,一种基于家庭互动早教平板交互方法,包括,步骤a,图像采集装置获取自制短片,音频采集装置获取自制短片音频;步骤b,中央处理模块根据音频关键字选取预设场景;步骤c,所述中央处理模块根据一段时间内动画人物被观看次数选取预设动画人物,并根据动画人物轮廓调整方法对动画人物轮廓及道具进行调节;步骤d,所述中央处理模块从起始帧逐帧识别图像内动作部位的动作参数至结束帧,并将获取的各参数应用到选取的动画人物;步骤e,所述中央处理模块根据音频说话频率选取模拟的声音;
所述图像采集装置,用于获取图像及储存;所述音频采集装置,用于获取音频及储存;所述中央处理模块,用于连接图像采集装置和音频采集装置;
所述中央处理模块预设若干类场景、若干动画人物和语音模拟器,所述中央处理模块获取自制短片,将自制短片语音信息转化为文本信息,根据识别自制短片文本关键词选取预设场景,通过将获取自制短片预设动作部位每帧的坐标位置应用于选取的动画人物上,并配以选取的语音,以使自制短片符合预设标准。
具体而言,本发明实施例提出的图像采集装置可以是摄像机、图像传感器等其他能够处理视频的装置,本发明实施例提出的音频处理装置可以是录音机、录音笔、声音传感器等装置,只要能够获取自制短片的音频即可,本领域技术人员可以理解的是,本发明对图像采集装置和音频采集装置不作限定,只要能够满足获取自制短片和采集自制短片的音频即可。
具体而言,本发明实施例中预设若干场景,场景包括地点场景和内容场景,其中地点场景可以是公园、马路、学校、家中、动物园、商场等,内容场景可以是学习、讲礼貌、生活习惯、娱乐、认知等,本领域技术人员可以理解的是,本发明对场景不作限定,只要符合早教内容即可;
具体而言,本发明实施例预设动画人物,可以是儿童熟悉的米老师、唐老鸭、蓝精灵、海绵宝宝、小猪佩奇等,本发明对动画人物形象不作限定,只要满足儿童对该动画人物是喜欢的即可。
具体而言,本发明预设模拟的声音,可以是动画人物的声音,也可以是搞笑声音,也可以是家人录制的声音,本发明对模拟的声音不作限定,只要满足与自制短片内容匹配同时儿童的喜好即可。
具体而言,本发明实施例可以结合大数据算法或是简单的计数方法获取儿童在一段时间内最喜欢的动画人物,本领域技术人员可以理解的是对儿童观看预设动画人物的喜爱度获取方法不作限定,只要能够获取一段时间内,儿童喜欢的动画人物即可。
所述中央处理模块预设场景An(Di,Rj),其中Dn表示地点场景,Rm表示内容场景,n为预设场景编号,所述中央处理模块根据获取的地点场景编号Di和内容场景Rj,选取对应的场景An;
所述中央处理模块预设地点场景D1,D2,D3至Dn,每个地点场景设置相关地点关键词DCn,其中地点场景D1的关键词DC1出现的次数为S1,地点场景D2的关键词DC2出现的次数为S2,地点场景D3的关键词DC3出现的次数为S3至地点场景Dn的关键词DCn出现的次数为Sn,中央处理模块获取自制短片语音文本地点场景出现次数最大值Si,选取Di为地点场景,i=1,2,3至n;
所述中央处理模块预设内容场景R1,R2,R3至Rm,每个内容场景设置相关内容关键词集合RCm,其中内容场景R1的关键词集合RC1出现的次数为K1,内容场景R2的关键词集合RC2出现的次数为K2,内容场景R3的关键词集合RC3出现的次数为K3至内容场景Rm的关键词RCm出现的次数为Km,中央处理模块获取自制短片语音文本地点场景出现次数最大值kj,选取Rj为内容场景,j=1,2,3至m;
具体而言,本发明实施例预设场景包括地点场景和内容场景,地点场景可以设置公园、家中,校园等,当获取地点关键词公园数目多于其他地点关键词时,选取公园为地点场景;内容场景设置关键词集合,例如,认知场景中预设关键词为,苹果、橘子、菠萝、梨、爷爷、奶奶、爸爸、妈妈、哥哥、姐姐、妹妹、桌子、椅子、被子等,懂礼貌场景预设关键词集合为,谢谢、对不起、您好、请、不好意思等关键词集合,当中央处理模块获取认知场景中关键词数目多于其他内容场景关键词出现数目,选取认知场景为内容场景,结合地点场景为公园,内容场景为认知可以确定场景的选择,场景的设置可以是卡通或写实,本领域技术人员可以理解的是,本发明对场景的关键词或关键词集合以及场景的表达形式不作限定,只要能够满足场景的展示即可。
尤其,本发明通过预设若干场景,结合自制短片关键词出现的数目自动选取地点场景和内容场景,使得选取的场景与自制短片匹配度更高。
所述中央处理模块预设运动部位YD,其中,左足YD1、左膝YD2、左腰YD3、胸部YD4、左肩YD5、左肘YD6、左手YD7、鼻子YD8、左耳YD9、左眼YD10、右眼YD11、右耳YD12、右肩YD13、右肘YD14、右手YD15、右腰YD16、右膝YD17、右足YD18,中央处理模块以自制短片人物静止时的鼻子为坐标原点,以人物目光方向为X轴,与X轴垂直且与地面平行的方向为Y轴,以法线为Z轴建立直角坐标系,鼻子坐标YD8zb0(0,0,0);
所述中央处理模式设置自制短片起始帧RZ1,结束帧RZn,以起始帧自制短片人物鼻子坐标设为YD8zb1(0,0,0),从起始帧至结束帧逐帧识别图像,获取第i帧识别图像运动部位YDm的实时坐标YDmzbi(Xmi,Ymi,Zmi),其中i为帧数,i=1,2,3至n,m为运动部位编号,m=1,2,3至18,所述中央处理模块将第i帧参数应用于选定动画人物上,所述中央处理模块将从起始帧至结束帧全部图像按照先后顺序输出视频。
具体而言,本发明实施例设置了18个运动部位,这18个部位的设置集合囊括了人体在运动中位置发生改变的关节,并根据自制短片人物的相对位置设置了空间直角坐标系,同时将自制短片以帧为单位划分多个图像,获取每帧图像每个运动部位的位置坐标,提取以上参数,将其应用于选定的动画人物上,实现动画人物按照自制短片人物的运动轨迹运动。
尤其,本发明设置自制短片人物运动部位,以帧为单位划分多个图像将自制短片划分为若干个图像,并结合设定的坐标系确定各运动部位实时的坐标,通过提取每帧图像各运动部位运动参数应用于选定动画人物上,实现自制短片更换为动画人物的形象,使得动画人物按照自制短片的运动轨迹运动。
所述中央处理模块预设动画人物P,P1表示第一预设动画人物,P2表示第二预设动画人物,P3表示第三预设动画人物,至Pn表示第n预设动画人物,所述中央处理模块获取T时间内,儿童对第i预设动画人物的观看次数,选取观看次数最多的预设动画人物Pi为自制短片动画人物,i=1,2,3至n;
尤其,本发明预设若干动画人物,根据一段时间内,儿童对某个预设动画人物的观看次数确定自制短片的动画人物,有利于提高儿童对早教内容注意力。
所述中央处理模块设置动画人物轮廓调整方法,包括,
步骤1,根据获取动画人物的轮廓面积与场景面积的比值,调节动画人物轮廓;
步骤2,根据确定的动画人物轮廓面积,确定第i帧运动部位坐标;
步骤3,根据第i-1帧和第i+1帧,左足YD1在X轴上的位移量,对动画人物的轮廓面积进行调节;
步骤4,所述中央处理模块获取自制短片起始帧图片运动部位YDm所持道具图像,根据动画人物与短片中人物比例调节所持道具大小;
所述步骤1,所述中央处理模块获取场景面积DCS,动画人物轮廓面积DHS,当DHS>1/3×DCS,所述中央处理模块对动画人物轮廓面积进行等比例调节,调节后的动画人物轮廓面积为DHS’,DHS’=DHS2/DCS;
当1/3×DCS<DHS≤1/4×DCS,所述中央处理模块不对动画人物轮廓面积调节;
当DHS<1/4×DCS,所述中央处理模块对动画人物轮廓面积进行等比例调节,调节后的动画人物轮廓面积为DHS’,DHS’=DHS×(1+DHS/DCS);
所述步骤2,所述中央处理模块获取的动画人物轮廓面积DHS’,自制短片人物轮廓面积RH,所述中央处理模块对第i帧各运动部位YDm的坐标YDmzbi(Xmi,Ymi,Zmi)调节至YDmzbi’(Xmi’,Ymi’,Zmi’),其中,Xmi’=Xmi×DHS’/RH,Zmi’=Zmi×DHS’/RH,Zmi’=Zmi×DHS’/RH;
所述步骤3,所述中央处理模块预设位移距离S0,中央处理模块获取第i-1帧,左足YD1位置坐标YD1zbi-1(X1i-1,Y1i-1,Z1i-1),第i+1帧,左足YD1位置坐标YD1zbi+1(X1i+1,Y1i+1,Z1i+1),
|X1i-1-X1i+1|≤S0,所述中央处理模块不对动画人物的轮廓面积进行调节;
|X1i-1-X1i+1|>S0,所述中央处理模块对动画人物的轮廓面积进行调节,其中,当X1 i-1-X1 i+1<0,对对动画人物轮廓面积等比例调节至DHS”,DHS”=DHS×|X1i-1-X1i+1|/S0
当X1i-1-X1i+1≥0,对对动画人物轮廓面积等比例调节至DHS”,DHS”=DHS×S0/|X1i-1-X1i+1|;
所述步骤4,所述中央处理模块获取自制短片第i帧图片运动部位YDm所持道具图像,所述道具图像轮廓面积RDm,拾取所述道具图像中心点坐标RTzb0(Xrt0,Yrt0,Zrt0),同时获取第i帧所述道具图像中心点坐标RTzbi(Xrti,Yrti,Zrti),所述中央处理模块预设动画人物高度为G,第一预设动画人物高度G1、第二预设动画人物高度G2、第三预设动画人物高度G3至第n预设动画人物高度Gn,所述中央处理模块选取第n预设动画人物高度Gn为动画人物高度参数,所述中央处理模块获取自制短片人物轮廓面积RH,所述中央处理模块将所述道具图像面积及所述道具图像中心点坐标进行调节,按照缩放比例Gn/RH进行缩放,其中,
RDm’=RDm×Gn/RH,
RTzbi(Xrti×Gn/RH,Yrti×Gn/RH,Zrti×Gn/RH);
具体而言,本发明设置动画人物轮廓调整方法,对动画人物的轮廓、动画人物各运动部位活动坐标、动画人物距离镜头的远近及自制短片道具的大小及移动进行调节,其中,动画人物的轮廓按照场景面积来调节,根据画面的整体设计,本发明对动画人物轮廓的面积进行设定,避免过大或过小,影响儿童观看;在动画人物轮廓面积进行确定后,对通过自制短片获取的各部位运动坐标进行调节,以使调节后的坐标与动画人物各运动部位相匹配;由于自制短片在录制过程中会出现远离或逼近镜头的情况,当人物远离镜头,其在镜头中展现的人物越大,反之,当人物逼近镜头,其在镜头中展现的人物越小,因此本发明实施例根据人物的位移对人物轮廓面积进行调节;同时在早教视频拍摄中,不可避免的会使用相关道具,本发明获取每帧处人物某个运动部位持有的道具图像,同时获取道具图像轮廓面积和道具图像中心点坐标,并根据选取的动画高度与自制短片人物作比值,获取面积缩放比例,及道具图像在每帧的运动轨迹。
所述中央处理模块预设色调差值h,获取实时选取的场景色温HC,获取选定动画人物色温HD,
当|HC-HD|/(HC-HD)≤h,所述中央处理模块不对选定场景色温进行调节;
当|HC-HD|/(HC-HD)>h,所述中央处理模块对选定场景色温进行调节;
所述中央处理模块获取实时场景RGB值,RGB是指红R、绿G、蓝B三个基准色的数值,所述中央处理模块获取实时红绿比R/G和蓝绿比B/G,
当HC≥HD,所述中央处理模块将实时场景色温降低至HC’,HC’=HC×(1-R/G×B/G)×(1-HC/HD)
当HC<HD,所述中央处理模块将实时场景色温提高至HC’,HC’=HC×(1+R/G×B/G)×(1+HC/HD)
尤其,本发明设置色调差值,根据选取的场景色温和选定的动画色温通过设定的计算公式,判断是否需要对场景色温进行调节,并设定具体调节方式,以使调节后的场景色温与选定的动画人物更匹配,有利于儿童视力的保护。
所述中央处理模块预设语音模拟器语音类型Y,其中,第一预设语音类型Y1、第二预设语音类型Y2、第三预设语音类型Y3、第四预设语音类型Y4,所述中央处理模块获取自制短片说话频率RP,RP=RZ/T,其中RZ为自制短片字符数,T为录制时长,所述中央处理模块预设说话频率RPO,其中,
当RP≥2×RPO,所述中央处理模块选取第一预设语音类型Y1为语音模拟类型;
当2×RPO<RP≤RPO,所述中央处理模块选取第二预设语音类型Y2为语音模拟类型;
当RPO<RP≤0.5×RPO,所述中央处理模块选取第三预设语音类型Y3为语音模拟类型;
当RP<0.5×RPO,所述中央处理模块选取第四预设语音类型Y4为语音模拟类型;
所述中央处理模块根据总帧数与短片录制时长获取每帧时间TZ,TZ=n/T,其中,n为自制短片总帧数,T为录制时长,所述中央处理模块预设说话频率RPO,当中央处理模块获取短片录制说话频率RP大于预设说话频率RPO时,所述中央处理模块对每帧时间进行调节,将TZ缩短至TZ’,TZ’=TZ×(1-(RP-RPO)/RPO),当中央处理模块获取短片录制说话频率RP小于预设说话频率RPO时,所述中央处理模块对每帧时间进行调节,将TZ增加至TZ’,TZ’=TZ×(1+(RPO-RP)/RPO)。
尤其,本发明预设若干种语音模拟类型,根据获取的自制短片人物说话频率与预设的标准说话频率相比较,选取适合该早教内容的语音类型,同时针对不同人物的说话频率,设置对每帧时间调节方式,以使输出的视频与选定的语音说话频率更匹配。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于家庭互动早教平板交互方法,其特征在于,包括:
步骤a,图像采集装置获取自制短片,音频采集装置获取自制短片音频;
步骤b,中央处理模块根据音频关键字选取预设场景;
步骤c,所述中央处理模块根据一段时间内动画人物被观看次数选取预设动画人物,并根据动画人物轮廓调整方法对动画人物轮廓及道具进行调节;
步骤d,所述中央处理模块从起始帧逐帧识别图像内动作部位的动作参数至结束帧,并将获取的各参数应用到选取的动画人物;
步骤e,所述中央处理模块根据音频说话频率选取模拟的声音;
所述中央处理模块预设若干类场景、若干动画人物和语音模拟器,所述中央处理模块获取自制短片,将自制短片语音信息转化为文本信息,根据识别自制短片文本关键词选取预设场景,通过将获取自制短片预设动作部位每帧的坐标位置应用于选取的动画人物上,,所述中央处理模块对动画人物轮廓面积进行等比例调节,将自制短片从起始帧至结束帧全部图像按照先后顺序输出视频,并配以选取的语音,以使自制短片符合预设标准。
2.根据权利要求1所述的基于家庭互动早教平板交互方法,其特征在于,所述中央处理模块预设场景An(Di,Rj),其中Dn表示地点场景,Rm表示内容场景,n为预设场景编号,所述中央处理模块根据获取的地点场景编号Di和内容场景Rj,选取对应的场景An;
所述中央处理模块预设地点场景D1,D2,D3至Dn,每个地点场景设置相关地点关键词DCn,其中地点场景D1的关键词DC1出现的次数为S1,地点场景D2的关键词DC2出现的次数为S2,地点场景D3的关键词DC3出现的次数为S3至地点场景Dn的关键词DCn出现的次数为Sn,中央处理模块获取自制短片语音文本地点场景出现次数最大值Si,选取Di为地点场景,i=1,2,3至n;
所述中央处理模块预设内容场景R1,R2,R3至Rm,每个内容场景设置相关内容关键词集合RCm,其中内容场景R1的关键词集合RC1出现的次数为K1,内容场景R2的关键词集合RC2出现的次数为K2,内容场景R3的关键词集合RC3出现的次数为K3至内容场景Rm的关键词RCm出现的次数为Km,中央处理模块获取自制短片语音文本地点场景出现次数最大值kj,选取Rj为内容场景,j=1,2,3至m。
3.根据权利要求2所述的基于家庭互动早教平板交互方法,其特征在于,所述中央处理模块预设运动部位YD,其中,左足YD1、左膝YD2、左腰YD3、胸部YD4、左肩YD5、左肘YD6、左手YD7、鼻子YD8、左耳YD9、左眼YD10、右眼YD11、右耳YD12、右肩YD13、右肘YD14、右手YD15、右腰YD16、右膝YD17、右足YD18,中央处理模块以自制短片人物静止时的鼻子为坐标原点,以人物目光方向为X轴,与X轴垂直且与地面平行的方向为Y轴,以法线为Z轴建立直角坐标系,鼻子坐标YD8zb0(0,0,0);
所述中央处理模式设置自制短片起始帧RZ1,结束帧RZn,以起始帧自制短片人物鼻子坐标设为YD8zb1(0,0,0),从起始帧至结束帧逐帧识别图像,获取第i帧识别图像运动部位YDm的实时坐标YDmzbi(Xmi,Ymi,Zmi),其中i为帧数,i=1,2,3至n,m为运动部位编号,m=1,2,3至18,所述中央处理模块将第i帧参数应用于选定动画人物上,所述中央处理模块将从起始帧至结束帧全部图像按照先后顺序输出视频。
4.根据权利要求3所述的基于家庭互动早教平板交互方法,其特征在于,所述中央处理模块预设动画人物P,P1表示第一预设动画人物,P2表示第二预设动画人物,P3表示第三预设动画人物,至Pn表示第n预设动画人物,所述中央处理模块获取T时间内,儿童对第i预设动画人物的观看次数,选取观看次数最多的预设动画人物Pi为自制短片动画人物,i=1,2,3至n。
5.根据权利要求2所述的基于家庭互动早教平板交互方法,其特征在于,所述中央处理模块设置动画人物轮廓调整方法,包括,
步骤1,根据获取动画人物的轮廓面积与场景面积的比值,调节动画人物轮廓;
步骤2,根据确定的动画人物轮廓面积,确定第i帧运动部位坐标;
步骤3,根据第i-1帧和第i+1帧,左足YD1在X轴上的位移量,对动画人物的轮廓面积进行调节;
步骤4,所述中央处理模块获取自制短片起始帧图片运动部位YDm所持道具图像,根据动画人物与短片中人物比例调节所持道具大小。
6.根据权利要求5所述的基于家庭互动早教平板交互方法,其特征在于,所述步骤a,所述中央处理模块获取场景面积DCS,动画人物轮廓面积DHS,当DHS>1/3×DCS,所述中央处理模块对动画人物轮廓面积进行等比例调节,调节后的动画人物轮廓面积为DHS’,DHS’=DHS2/DCS;
当1/3×DCS<DHS≤1/4×DCS,所述中央处理模块不对动画人物轮廓面积调节;
当DHS<1/4×DCS,所述中央处理模块对动画人物轮廓面积进行等比例调节,调节后的动画人物轮廓面积为DHS’,DHS’=DHS×(1+DHS/DCS);
所述步骤2,所述中央处理模块获取的动画人物轮廓面积DHS’,自制短片人物轮廓面积RH,所述中央处理模块对第i帧各运动部位YDm的坐标YDmzbi(Xmi,Ymi,Zmi)调节至YDmzbi’(Xmi’,Ymi’,Zmi’),其中,Xmi’=Xmi×DHS’/RH,Zmi’=Zmi×DHS’/RH,Zmi’=Zmi×DHS’/RH;
所述步骤3,所述中央处理模块预设位移距离S0,中央处理模块获取第i-1帧,左足YD1位置坐标YD1zbi-1(X1i-1,Y1i-1,Z1i-1),第i+1帧,左足YD1位置坐标YD1zbi+1(X1i+1,Y1i+1,Z1i+1),
|X1i-1-X1i+1|≤S0,所述中央处理模块不对动画人物的轮廓面积进行调节;
|X1i-1-X1i+1|>S0,所述中央处理模块对动画人物的轮廓面积进行调节,其中,当X1i-1-X1i+1<0,对对动画人物轮廓面积等比例调节至DHS”,DHS”=DHS×|X1i-1-X1i+1|/S0
当X1i-1-X1i+1≥0,对对动画人物轮廓面积等比例调节至DHS”,DHS”=DHS×S0/|X1i-1-X1i+1|;
所述步骤4,所述中央处理模块获取自制短片第i帧图片运动部位YDm所持道具图像,所述道具图像轮廓面积RDm,拾取所述道具图像中心点坐标RTzb0(Xrt0,Yrt0,Zrt0),同时获取第i帧所述道具图像中心点坐标RTzbi(Xrti,Yrti,Zrti),所述中央处理模块预设动画人物高度为G,第一预设动画人物高度G1、第二预设动画人物高度G2、第三预设动画人物高度G3至第n预设动画人物高度Gn,所述中央处理模块选取第n预设动画人物高度Gn为动画人物高度参数,所述中央处理模块获取自制短片人物轮廓面积RH,所述中央处理模块将所述道具图像面积及所述道具图像中心点坐标进行调节,按照缩放比例Gn/RH进行缩放,其中,
RDm’=RDm×Gn/RH,
RTzbi(Xrti×Gn/RH,Yrti×Gn/RH,Zrti×Gn/RH)。
7.根据权利要求5所述的基于家庭互动早教平板交互方法,其特征在于,所述中央处理模块预设色调差值h,获取实时选取的场景色温HC,获取选定动画人物色温HD,
当|HC-HD|/(HC-HD)≤h,所述中央处理模块不对选定场景色温进行调节;
当|HC-HD|/(HC-HD)>h,所述中央处理模块对选定场景色温进行调节。
8.根据权利要求5所述的基于家庭互动早教平板交互方法,其特征在于,所述中央处理模块获取实时场景RGB值,RGB是指红R、绿G、蓝B三个基准色的数值,所述中央处理模块获取实时红绿比R/G和蓝绿比B/G,
当HC≥HD,所述中央处理模块将实时场景色温降低至HC’,HC’=HC×(1-R/G×B/G)×(1-HC/HD);
当HC<HD,所述中央处理模块将实时场景色温提高至HC’,HC’=HC×(1+R/G×B/G)×(1+HC/HD)。
9.根据权利要求8所述的基于家庭互动早教平板交互方法,其特征在于,所述中央处理模块预设语音模拟器语音类型Y,其中,第一预设语音类型Y1、第二预设语音类型Y2、第三预设语音类型Y3、第四预设语音类型Y4,所述中央处理模块获取自制短片说话频率RP,RP=RZ/T,其中RZ为自制短片字符数,T为录制时长,所述中央处理模块预设说话频率RPO,其中,
当RP≥2×RPO,所述中央处理模块选取第一预设语音类型Y1为语音模拟类型;
当2×RPO<RP≤RPO,所述中央处理模块选取第二预设语音类型Y2为语音模拟类型;
当RPO<RP≤0.5×RPO,所述中央处理模块选取第三预设语音类型Y3为语音模拟类型;
当RP<0.5×RPO,所述中央处理模块选取第四预设语音类型Y4为语音模拟类型。
10.根据权利要求9所述的基于家庭互动早教平板交互方法,其特征在于,所述中央处理模块根据总帧数与短片录制时长获取每帧时间TZ,TZ=n/T,其中,n为自制短片总帧数,T为录制时长,所述中央处理模块预设说话频率RPO,当中央处理模块获取短片录制说话频率RP大于预设说话频率RPO时,所述中央处理模块对每帧时间进行调节,将TZ缩短至TZ’,TZ’=TZ×(1-(RP-RPO)/RPO),当中央处理模块获取短片录制说话频率RP小于预设说话频率RPO时,所述中央处理模块对每帧时间进行调节,将TZ增加至TZ’,TZ’=TZ×(1+(RPO-RP)/RPO)。
CN202110158705.6A 2021-02-04 2021-02-04 一种基于家庭互动早教平板交互方法 Active CN112954235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110158705.6A CN112954235B (zh) 2021-02-04 2021-02-04 一种基于家庭互动早教平板交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110158705.6A CN112954235B (zh) 2021-02-04 2021-02-04 一种基于家庭互动早教平板交互方法

Publications (2)

Publication Number Publication Date
CN112954235A true CN112954235A (zh) 2021-06-11
CN112954235B CN112954235B (zh) 2021-10-29

Family

ID=76244015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110158705.6A Active CN112954235B (zh) 2021-02-04 2021-02-04 一种基于家庭互动早教平板交互方法

Country Status (1)

Country Link
CN (1) CN112954235B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144530A1 (en) * 2016-11-18 2018-05-24 Korea Institute Of Science And Technology Method and device for controlling 3d character using user's facial expressions and hand gestures
CN108846887A (zh) * 2018-06-20 2018-11-20 首都师范大学 Vr视频的生成方法及装置
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术(北京)有限公司 动画制作方法、装置、设备及存储介质
CN109637207A (zh) * 2018-11-27 2019-04-16 曹臻祎 一种学前教育互动教学装置及教学方法
CN110866968A (zh) * 2019-10-18 2020-03-06 平安科技(深圳)有限公司 基于神经网络生成虚拟人物视频的方法及相关设备
CN111161739A (zh) * 2019-12-28 2020-05-15 科大讯飞股份有限公司 语音识别方法及相关产品
CN112270734A (zh) * 2020-10-19 2021-01-26 北京大米科技有限公司 一种动画生成方法、可读存储介质和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144530A1 (en) * 2016-11-18 2018-05-24 Korea Institute Of Science And Technology Method and device for controlling 3d character using user's facial expressions and hand gestures
CN108846887A (zh) * 2018-06-20 2018-11-20 首都师范大学 Vr视频的生成方法及装置
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术(北京)有限公司 动画制作方法、装置、设备及存储介质
CN109637207A (zh) * 2018-11-27 2019-04-16 曹臻祎 一种学前教育互动教学装置及教学方法
CN110866968A (zh) * 2019-10-18 2020-03-06 平安科技(深圳)有限公司 基于神经网络生成虚拟人物视频的方法及相关设备
CN111161739A (zh) * 2019-12-28 2020-05-15 科大讯飞股份有限公司 语音识别方法及相关产品
CN112270734A (zh) * 2020-10-19 2021-01-26 北京大米科技有限公司 一种动画生成方法、可读存储介质和电子设备

Also Published As

Publication number Publication date
CN112954235B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN106791485A (zh) 视频的切换方法及装置
TWI436646B (zh) 顯示畫面可對應於運動者身體狀態而移動之裝置及其執行方法
US10186131B2 (en) Electronic device for providing content according to user's posture and content providing method thereof
CN104469179B (zh) 一种将动态图片结合到手机视频中的方法
CN101576771B (zh) 基于非均匀样本插值的眼动仪定标方法
US20130250132A1 (en) Camera based interaction and instruction
US7057663B1 (en) Audio synchronization pulse for multi-camera capture systems
CN105684074A (zh) 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统
CN109817031B (zh) 一种基于vr技术的肢体运动教学方法
CN104200491A (zh) 一种人体运动姿态校正系统
US11074759B2 (en) Apparatus, system, and method of providing a three dimensional virtual local presence
JP2004145448A (ja) 端末装置、サーバ装置および画像加工方法
JP2006162692A (ja) 講義コンテンツ自動作成システム
CN106101687B (zh) Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
CN110444066B (zh) 基于全息教师及环幕互动的电气设备绝缘试验培训系统
CN101242474A (zh) 一种照片在小尺寸屏幕设备上的动态视频浏览方法
CN106464959A (zh) 半导体集成电路和具备该半导体集成电路的显示装置及控制方法
CN106658032A (zh) 一种多摄像头直播方法及系统
CN112954235B (zh) 一种基于家庭互动早教平板交互方法
JP2002223405A (ja) 映像記録再生装置、及び映像記録再生プログラム
CN114489326A (zh) 面向人群的虚拟人交互注意力驱动的姿态控制装置及方法
Tai et al. Development of vr motion sickness test platform based on ue
JP5656809B2 (ja) 会話映像表示システム
TWM581261U (zh) Cognitive learning system
US11694230B2 (en) Apparatus, system, and method of providing a three dimensional virtual local presence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant