CN117034385B - 一种支持人形角色创意设计的ai系统 - Google Patents
一种支持人形角色创意设计的ai系统 Download PDFInfo
- Publication number
- CN117034385B CN117034385B CN202311106216.1A CN202311106216A CN117034385B CN 117034385 B CN117034385 B CN 117034385B CN 202311106216 A CN202311106216 A CN 202311106216A CN 117034385 B CN117034385 B CN 117034385B
- Authority
- CN
- China
- Prior art keywords
- model
- module
- data
- action
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013461 design Methods 0.000 title claims abstract description 66
- 230000009471 action Effects 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000012986 modification Methods 0.000 claims abstract description 24
- 230000004048 modification Effects 0.000 claims abstract description 24
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 17
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 18
- 238000005516 engineering process Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Computer Hardware Design (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种支持人形角色创意设计的AI系统，属于计算机角色设计技术领域，包括项目元数据库模块收集、储存能够进行学习训练的项目数据，数据分布模块创建索引，使索引与项目元数据库模块内的数据建立链接，检索展示模块让用户进行关键词检索，返回检索结果展示给用户，二次编辑模块对项目元数据库模块内的图像数据进行二次修改编辑，合成输出模块对修改编辑完成的人形角色进行动作创意设计，输出入库模块将合成输出模块成功输出的作品进行上传，本发明能实现AI快速制作多张类型多样的创意设计，设计师可以直接选用或者少量修改后使用，短时间内为客户提供多种设计方案。
Description
技术领域
本发明属于计算机角色设计技术领域，具体地说，涉及一种支持人形角色创意设计的AI系统。
背景技术
虚拟现实技术是仿真技术的一个重要方向是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术前沿学科和研究领域。
比如在游戏开发过程中，为了增加游戏的趣味性、社交性，会给人物角色设置丰富的动作。例如，射击类游戏中，角色通常会有游戏预设的跑跳射击等固定动作；角色扮演类游戏中，角色会进一步预设更多的战斗技能动作，而传统的角色编辑方式，都是由专业的动画师用专业的编辑器进行编辑生成，随着玩家对虚拟世界可控性需求的增高，面向游戏玩家的角色动作编辑系统设计成为一个技术性问题。
目前，人形角色设计属于概念设计，需要花大量时间和精力查找参考，并在此基础上做出大量设计和修改，制作周期长，深受设计灵感限制。人形角色设计属于创意设计领域，与设计师自身密切相关。
人形角色设计是平面设计，没有动画。传统流程要通过建模、分UV、画贴图、作动画等漫长繁琐的工序，才能实现动画预览效果。客户要等待以上工序完成后才能角色故事动画预览，时间跨度长。
发明内容
要解决的问题
针对现有工序繁琐，需要等前面所有工序完成后才能角色故事动画预览，时间跨度长的问题，本发明提供一种支持人形角色创意设计的AI系统。
技术方案
为解决上述问题，本发明采用如下的技术方案。
一种支持人形角色创意设计的AI系统，包括：动作摄像机和动作设计计算机，所述动作摄像机与所述动作设计计算机电性耦合，所述动作摄像机内包括动作拍摄模块，所述动作设计计算机内包括模型转换模块、项目元数据库模块、数据分布模块、检索展示模块、二次编辑模块、合成输出模块和输出入库模块；
动作拍摄模块，用于使用高清摄像头对摆放出动作姿势的人进行人像拍摄，获取人物动作姿势相片；
模型转换模块，用于将拍摄的人物动作姿势相片转换成二维和三维的人物动作模型；
项目元数据库模块，用于保存人物动作模型，并从网络搜索、采集能够进行学习训练的动作模型项目数据；
数据分布模块，用于创建索引，使索引与项目元数据库模块内的数据建立链接；
检索展示模块，用于让用户进行关键词检索，返回检索结果展示给用户；
二次编辑模块，用于对项目元数据库模块内的图像数据进行二次修改编辑；
合成输出模块，用于对修改编辑完成的人形角色进行动作创意设计；
输出入库模块，用于将合成输出模块成功输出的作品进行上传。
优选地，所述项目元数据库模块内包括网络数据库模块、本地数据库模块和模型建立模块；
所述网络数据库模块，用于搜索、下载和存储网络上的图片；
所述本地数据库模块，用于上传和存储专业技术人员挑选的优秀图片；
所述AI模型建立模块，用于使用哈希算法建立AI角色模型，使用网络数据库模块内的网络图片对AI角色模型进行粗精度学习训练，使用本地数据库模块内的本地图片对AI角色模型进行细精度学习训练。
进一步地，所述使用哈希算法建立AI角色模型的具体流程如下：
S01、对图片进行预处理，使用计算机视觉库对图片进行灰度转换，再对图片大小和格式进行调整；
S02、对预处理后的图片进行关键点检测，确定图片中需要被描述的区域；
S03、使用尺度不变特征转换算法对确定的区域进行特征提取，获取图片中的关键信息特征；
S04、使用局部特征描述符技术对每个关键信息特征进行描述，得到与每个关键信息特征都对应的特征向量；
S05、选择适合关键信息特征的哈希函数，将每个关键信息特征的特征向量输入哈希函数中，得到与之对应的二进制码，将其作为图片的哈希值；
S06、将所有的哈希值存储在哈希数据结构中，构架索引，为每个哈希值维护一个指向原图片的指针。
更进一步地，所述尺度不变特征转换算法进行特征提取的具体流程如下：
H01、先对输入图片进行高斯模糊操作，得到尺度空间图片，在每个尺度空间图片中寻找所有关键点，比较其与相邻像素和相邻尺度的内外梯度，判断该点是否为极值点；
H02、使用基于Hessian矩阵的迭代方法，对每个关键点的位置和尺度进行精确定位，并排除不稳定的关键点和边缘响应较弱的关键点；
H03、计算每个关键点周围像素的梯度方向直方图，选择出其中具有最大值的方向作为该关键点的主方向；
H04、在确定了关键点的位置、尺度和方向之后，用一组局部区域中的像素梯度值来描述该关键点；
H05、对每个关键点，选取其周围的预设大小的邻域，将其划分为若干个小块，并计算每个小块内像素的梯度幅值和方向，然后将所有小块的梯度信息汇集起来，形成预设维度的特征向量，生成尺度不变特征转换特征描述子，将其作为图片的关键信息特征。
更进一步地，所述使用局部特征描述符技术描述关键信息特征的具体流程如下：
K01、确定关键信息特征与对应的尺度不变特征转换算法关键点；
K02、使用高斯加权函数进行图像平滑操作，增强图像对比度，在关键点周围的邻域中提取图片特征；
K03、使用尺度不变特征转换算法中的预设维度向量结合图片特征生成可以描述关键点的向量，将其作为局部特征描述符。
优选地，所述创建索引是先建立DM模型，再使用DM模型提取数据化和函数化特征，使索引与项目元数据库模块内的数据特征建立链接，通过DM模型的训练所构成的神经网络支持通过模糊检索和关键字检索多维度方式对内容进行检索。
进一步地，所述DM模型建立的具体流程如下：
G01、对项目元数据库模块内的原始数据进行预处理，进行数据清洗、数据去噪、数据归一化和特征选择；
G02、采用预设比例将预处理后的数据按照划分为训练集、验证集和测试集，训练集用于模型训练，验证集用于调整模型超参数，测试集用于评估模型性能；
G03、使用多层感知机神经网络结构确定输入特征维度和输出分类数量，设计隐藏层数、节点数、激活函数和其它结构参数，选择损失函数和优化器，并设置学习率、权重衰减和其它超参数；
G04、使用训练集进行模型的训练，将数据按批次输入网络结构进行前向传播，计算损失函数并得到误差，利用反向传播算法计算梯度并更新权重参数，重复以上步骤，直至模型收敛和达到最大迭代次数；
G05、根据验证集的性能表现，调整超参数，重新训练模型，不断重复训练过程，直到找到合适的超参数；
G06、对测试集进行预测，计算各项指标并输出结果，根据测试结果，评估模型性能，对模型进行改进和优化；
G07、将训练好的模型保存到本地和云端，对新数据处理后，输入模型进行预测和分类，对模型进行改进和优化。
优选地，所述关键词检索是让用户由特定的搜索语句和关键词输入，再由模型判断，在向量相似的情况找到相似的输出结果，返回检索结果告知用户，同时展现此结果关联的动作、图片和其它详细内容，能够快速查看。
优选地，所述二次修改编辑是根据修改编辑的方向通过数据并行进行机器学习，在数据图像内，对像素值进行运动改变，通过一点点改变进行噪音合成图画，最后改变生成有意义的二次图像。
优选地，所述动作创意设计是通过动作重定向合成输出AI人体动画驱动人形角色运动，相同动作能够适用不同的角色设计，同一角色能够适用不同的动作设计，动作和角色之间能互相替换。
一种支持人形角色创意设计的AI系统，通过项目元数据库模块收集、储存能够进行学习训练的项目数据，数据分布模块创建索引，使索引与项目元数据库模块内的数据建立链接，检索展示模块让用户进行关键词检索，返回检索结果展示给用户，二次编辑模块对项目元数据库模块内的图像数据进行二次修改编辑，合成输出模块对修改编辑完成的人形角色进行动作创意设计，输出入库模块将合成输出模块成功输出的作品进行上传，实现AI快速制作多张类型多样的创意设计，设计师可以直接选用或者少量修改后使用，短时间内为客户提供多种设计方案。
有益效果
相比于现有技术，本发明的有益效果为：
(1)本发明通过动画数据库直接驱动的设计角色，跳过建模、分UV、画贴图、作动画等漫长繁琐的工序，直接给客户看到角色的动态以及故事动画预览，提前实现角色故事动画预览，设计师与客户的沟通更有时效，对传统制作流程进行创新，满足了设计师的创意灵感需求，大大提高设计出图效率；
(2)本发明是平面设计，没有动画，不同于传统流程要通过建模、分UV、画贴图、作动画等漫长繁琐的工序，才能实现动画预览效果，通过跳过建模、分UV、画贴图、作动画等漫长繁琐的工序，运用动作数据库驱动，直接实现人形角色设计的动画，并运用这项技术和AI深度学习生成人形角色创意设计相结合，对传统制作流程进行创新；
(3)本发明使用哈希算法建立AI角色模型，可以大大加快图片检索的速度，适用于大规模图像库的搜索，使用尺度不变特征转换算法可以在不同尺度和方向上提取稳定的局部特征，使用DM模型能够更准确地捕捉到数据之间的关系，通过多种算法模型结合，可以提高设计出图效率，完成人形角色创意设计。
附图说明
为了更清楚地说明本申请实施例或示例性中的技术方案，下面将对实施例或示例性描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以按照这些附图示出的获得其他的附图。
图1为本发明的步骤示意图；
图2为本发明的流程示意图；
图3为本发明的结构示意图。
图中：1、动作摄像机；2、动作设计计算机。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例，通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例，基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1
如图1和图2所示，一种支持人形角色创意设计的AI系统，包括：动作摄像机1和动作设计计算机2，动作摄像机1与动作设计计算机2电性耦合，动作摄像机1内包括动作拍摄模块，动作设计计算机2内包括模型转换模块、项目元数据库模块、数据分布模块、检索展示模块、二次编辑模块、合成输出模块和输出入库模块；
动作拍摄模块，用于使用高清摄像头对摆放出动作姿势的人进行人像拍摄，获取人物动作姿势相片，模型转换模块，用于将拍摄的人物动作姿势相片转换成二维和三维的人物动作模型。
转换成二维人物动作模型是采用图像处理软件中的裁剪工具在照片中选取需要的部分进行裁剪，图像处理软件为在线工具Canva或图像处理软件GIMP，裁剪完成后调整人像大小和方向，使用滤镜和效果来修改人像的色彩、亮度、对比度属性，最后使用描边滤镜生成描边效果的二维人物模型。
转换成三维人物动作模型是先采用上述方法获取二维人物动作模型，再将其保存为透明背景的PNG文件，然后使用三维建模软件进行3D扫描，根据需求添加细节，再使用纹理贴图技术，将之前提取的描边轮廓贴上去，进行材质、光照调整，最终三维人物模型。
项目元数据库模块，用于保存人物动作模型，并从网络搜索、采集能够进行学习训练的动作模型项目数据，项目元数据库模块内包括网络数据库模块、本地数据库模块和模型建立模块；
所述网络数据库模块，用于搜索、下载和存储网络上的图片；
所述本地数据库模块，用于上传和存储专业技术人员挑选的优秀图片；
所述AI模型建立模块，用于使用哈希算法建立AI角色模型，使用网络数据库模块内的网络图片对AI角色模型进行粗精度学习训练，使用本地数据库模块内的本地图片对AI角色模型进行细精度学习训练。
数据分布模块，用于创建索引，使索引与项目元数据库模块内的数据建立链接，创建索引是先建立DM模型，再使用DM模型提取数据化和函数化特征，使索引与项目元数据库模块内的数据特征建立链接，通过DM模型的训练所构成的神经网络支持通过模糊检索和关键字检索多维度方式对内容进行检索。
检索展示模块，用于让用户进行关键词检索，返回检索结果展示给用户，关键词检索是让用户由特定的搜索语句和关键词输入，再由模型判断，在向量相似的情况找到相似的输出结果，返回检索结果告知用户，同时展现此结果关联的动作、图片和其它详细内容，能够快速查看。
二次编辑模块，用于对项目元数据库模块内的图像数据进行二次修改编辑，二次修改编辑是根据修改编辑的方向通过数据并行进行机器学习，在数据图像内，对像素值进行运动改变，通过一点点改变进行噪音合成图画，最后改变生成有意义的二次图像。
合成输出模块，用于对修改编辑完成的人形角色进行动作创意设计，动作创意设计是通过动作重定向合成输出AI人体动画驱动人形角色运动，相同动作能够适用不同的角色设计，同一角色能够适用不同的动作设计，动作和角色之间能互相替换
输出入库模块，用于将合成输出模块成功输出的作品进行上传，上传之前由专业技术人员进行人工判断能否上传，上传后由AI角色模型进行学习，以便以后输出的优化，来获得满意的风格。
步骤流程如下：
1、入库元数据：收集项目现场数据、通过哈希算法，计算模型哈希值建立AI角色模型并训练模型、下载到实际应用中运行。项目现场数据收集分为两个部分：一部分通过爬取网络上的图片进行学习训练，一部分由我们自行上传优秀的图片数据进行学习训练；
2、分布数据库：通过爬取好和我们上传的数据输入到数据模型，通过DM模型提取数据化和函数化特征，创建索引，通过DM模型输入到数据库中，用户再由特定的搜索语句输入，再由模型判断，在向量相似的情况找到相似的输出结果，返回检索结果告知用户；
3、检索：通过DM模型的训练所构成的神经网络支持通过模糊检索、关键字检索等多维度方式对内容进行检索，同时可展现此节目关联的动作、图片等详细内容，便于快速查看；
4、二次编辑：在已形成的数据，我们可以进行二次修改编辑，数据并行让机器学习到我们修改的方向；原理类似于DM模型，扩散模型(DM)，从字面上理解就是，像分子运动一样，一点点改变(放到图像里就是，最开始噪声一般的图像，它的像素值一点点改变，或者说叫"运动"，直到最后改变成了有意义的图像)，能够通过噪音合成图画；
5、合成输出：在已形成的人形角色创意设计，通过动作数据库，进行动作重定向合成输出AI人体动画驱动人形角色运动，相同动作可以适用不同的角色设计，并能互相替换。
6、输出内容再入库：每次我们成功输出的作品交由我们人工进行判断能否上传，上传后交由AI角色模型并行学习，以便以后输出的优化，来获得我们满意的风格。
让AI角色模型分别应用于AI关键字、AI舞蹈、AI人体动画：
AI关键字，基于海量网络图片生成人形角色创意设计，包含头部和全身的四视图；
AI舞蹈，基于各种类型舞蹈，武侠，枪战，各种类型的走、跑、跳、转身等，各种静止造型等动作数据库，应用关键字，自动生成相关身体组合动作；
AI人体动画，驱动人形角色运动，实现了带有动画的人形角色创意设计。
通过上述描述可知，在本实例中，通过项目元数据库模块收集、储存能够进行学习训练的项目数据，数据分布模块创建索引，使索引与项目元数据库模块内的数据建立链接，检索展示模块让用户进行关键词检索，返回检索结果展示给用户，二次编辑模块对项目元数据库模块内的图像数据进行二次修改编辑，合成输出模块对修改编辑完成的人形角色进行动作创意设计，输出入库模块将合成输出模块成功输出的作品进行上传，实现AI快速制作多张类型多样的创意设计，设计师可以直接选用或者少量修改后使用，短时间内为客户提供多种设计方案。
实施例2
使用哈希算法建立AI角色模型的具体流程如下：
对图片进行预处理，使用计算机视觉库对图片进行灰度转换，图片转换为灰度图或彩色图，再对图片大小和格式进行调整，可以使用OpenCV等计算机视觉库来完成这些操作。
对预处理后的图片进行关键点检测，确定图片中需要被描述的区域；
特征提取是获取图像中关键信息的重要步骤，最常用的方法是使用SIFT(尺度不变特征转换)或SURF(Speeded Up Robust Features)算法获取图片中的关键信息特征。
在提取特征之前，需要先进行关键点检测，以确定图像中哪些区域需要被描述。在提取完特征后，可以使用局部特征描述符(Local Feature Descriptor，LFD)技术对每个关键点进行描述，得到与每个关键信息特征都对应的特征向量。
哈希计算是将图像特征转换为二进制码的过程，选择一种适合图像特征的哈希函数，例如Locality-Sensitive Hashing(LSH)，Spectral Hashing等，将每个关键信息特征的特征向量输入哈希函数中，得到与之对应的二进制码，将其作为图片的哈希值。
索引构建是将所有图像的哈希值存储在一个数据结构中的过程，以便快速进行最邻近搜索，将所有的哈希值存储在哈希数据结构中，常用的数据结构包括哈希表、B树等，构架索引，为每个哈希值维护一个指向原图片的指针，以便后续进行检索时可以找到对应的图像；
在进行图像搜索时，进行特征提取和哈希计算，在哈希数据结构中进行最邻近搜索，找到最相似的一组图像，在搜索时，先将搜索图像的哈希值与索引中的所有哈希值进行比较，筛选出匹配的候选图像，再计算候选图像与查询图像之间的相似度，找到最匹配的一组图像。
哈希算法建立图片模型的流程包括：图片预处理、特征提取、哈希计算、索引构建和查询处理，这种算法可以大大加快图片检索的速度，适用于大规模图像库的搜索。
SIFT(尺度不变特征转换)算法可用于图像匹配、目标识别、图像检索等领域，可以在不同尺度和方向上检测出稳定的局部特征，并生成对旋转、缩放和亮度变化具有不变性的特征描述子，尺度不变特征转换算法进行特征提取的具体流程如下：
尺度空间极值检测：先对输入图片进行高斯模糊操作，得到尺度空间图片，在每个尺度空间图片中寻找所有关键点，比较其与相邻像素和相邻尺度的内外梯度，判断该点是否为极值点，极值点是局部最大值又是局部最小值，这一步得到的关键点可以具有不同的尺度和位置；
关键点定位：在第一步中得到的关键点通常只是粗略的位置估计，需要进行精确定位，需要使用基于Hessian矩阵的迭代方法，对每个关键点的位置和尺度进行精确定位，并排除不稳定的关键点和边缘响应较弱的关键点；
方向分配：为了保证特征描述子在旋转变化下的不变性，需要为每个关键点分配一个主方向，通过计算每个关键点周围像素的梯度方向直方图，选择出其中具有最大值的方向作为该关键点的主方向；
特征描述：在确定了关键点的位置、尺度和方向之后，用一组局部区域中的像素梯度值来描述该关键点，对每个关键点，选取其周围的16×16或者32×32大小的邻域，将其划分为若干个小块，并计算每个小块内像素的梯度幅值和方向，然后将所有小块的梯度信息汇集起来，形成一个128维的特征向量，这个向量被称作尺度不变特征转换特征描述子，将其作为图片的关键信息特征。
使用局部特征描述符技术描述关键信息特征的具体流程如下：
关键点检测：先在输入图像中检测出一些重要的关键点，这些关键点与图像中的目标或物体相关联，常用的关键点检测方法包括Harris角点检测、SIFT和SURF算法等，因此确定关键信息特征与对应的SIFT(尺度不变特征转换)算法关键点；
特征检测：在确定了关键点之后，使用高斯加权函数进行图像平滑操作，以增强图像的对比度，在关键点周围的邻域中提取图像特征，常用的特征检测方法包括灰度值、梯度方向和梯度幅值等；
特征描述：在提取了关键点邻域的图像特征之后，局部特征描述符技术会生成一个向量来描述该关键点，常用的特征描述方法包括SIFT算法中的128维向量和SURF算法中的64维向量等，因此使用尺度不变特征转换算法中的预设维度向量结合图片特征生成可以描述关键点的向量，将其作为局部特征描述符；
特征匹配：在生成了局部特征描述符之后，局部特征描述符技术可以使用匹配算法来计算不同图像中的相同关键点之间的相似度，从而实现物体识别和图像匹配等任务，常用的匹配算法包括暴力匹配和基于FLANN的近似最近邻匹配算法等。
局部特征描述符技术是一种用于提取局部图像特征的算法，应用于图像匹配和物体识别等领域，主要包括关键点检测、特征检测、特征描述和特征匹配等步骤，可以将图像中的关键点表示成具有一定独特性的向量，能够提取出具有一定独特性的局部图像特征，并生成相应的局部特征描述符，能够在不同尺度和旋转条件下给出相同的特征描述，为后续的特征匹配提供便利，具有重要的应用价值。
实施例3
DM模型建立的具体流程如下：
数据预处理：对项目元数据库模块内的原始数据进行预处理，进行数据清洗、数据去噪、数据归一化和特征选择，
(1)数据清洗：去除不必要的信息和异常值，保留有效信息，以提高模型的准确度和鲁棒性；
(2)数据去噪：去除椒盐噪声、高斯噪声等杂音，以保证数据的质量和可用性；
(3)数据归一化：将不同尺度的特征值转换成统一的范围内，以避免特征值之间的误差比重过大；
(4)特征选择：根据专业知识和统计方法，筛选与目标变量相关性高的特征，排除冗余特征，以提高模型精度。
数据划分：采用7:2:1的比例将预处理后的数据按照划分为训练集、验证集和测试集，训练集用于模型训练，验证集用于调整模型超参数，测试集用于评估模型性能。
神经网络设计：根据具体的数据类型和应用场景，选择适合的神经网络结构和算法，构建相应的模型，因此选用多层感知机神经网络结构：
(1)确定输入特征维度和输出分类数量；
(2)设计隐藏层数、节点数、激活函数和其它结构参数；
(3)选择损失函数和优化器，并设置学习率、权重衰减和其它超参数。
模型训练：使用训练集进行模型的训练，具体流程如下：
(1)将数据按批次输入网络进行前向传播，计算损失函数并得到误差；
(2)利用反向传播算法计算梯度并更新权重参数；
(3)重复以上步骤，直至模型收敛或达到最大迭代次数。
参数调优：使用验证集来调整模型的超参数，包括学习率、批量大小、层数、节点数等，以提升模型的泛化能力，具体流程如下：
(1)根据验证集的性能表现，调整超参数，重新训练模型；
(2)不断重复以上过程，直到找到合适的超参数。
模型测试：使用测试集来评估模型的性能，包括准确率、召回率、F1值等指标，具体流程如下：
(1)对测试集进行预测，计算各项指标并输出结果；
(2)根据测试结果，对模型进行改进和优化。
应用部署：如果模型性能符合要求，则可以将其应用到实际的数据挖掘任务中，对新数据进行预测或分类，具体流程如下：
(1)将训练好的模型保存到本地或云端；
(2)对新数据进行预处理后，输入模型进行预测或分类；
(3)根据实际情况对模型进行改进和优化。
以上所述实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。
Claims (7)
1.一种支持人形角色创意设计的AI系统，其特征在于，包括：动作摄像机（1）和动作设计计算机（2），所述动作摄像机（1）与所述动作设计计算机（2）电性耦合，所述动作摄像机（1）内包括动作拍摄模块，所述动作设计计算机（2）内包括模型转换模块、项目元数据库模块、数据分布模块、检索展示模块、二次编辑模块、合成输出模块和输出入库模块；
动作拍摄模块，用于使用高清摄像头对摆放出动作姿势的人进行人像拍摄，获取人物动作姿势相片；
模型转换模块，用于将拍摄的人物动作姿势相片转换成二维和三维的人物动作模型；
项目元数据库模块，用于保存人物动作模型，并从网络搜索、采集能够进行学习训练的动作模型项目数据，项目元数据库模块内包括网络数据库模块、本地数据库模块和模型建立模块；
网络数据库模块，用于搜索、下载和存储网络上的图片；
本地数据库模块，用于上传和存储专业技术人员挑选的优秀图片；
模型建立模块，用于使用哈希算法建立AI角色模型，使用网络数据库模块内的网络图片对AI角色模型进行粗精度学习训练，使用本地数据库模块内的本地图片对AI角色模型进行细精度学习训练；
使用哈希算法建立AI角色模型的具体流程如下：
S01、对图片进行预处理，使用计算机视觉库对图片进行灰度转换，再对图片大小和格式进行调整；
S02、对预处理后的图片进行关键点检测，确定图片中需要被描述的区域；
S03、使用尺度不变特征转换算法对确定的区域进行特征提取，获取图片中的关键信息特征；
S04、使用局部特征描述符技术对每个关键信息特征进行描述，得到与每个关键信息特征都对应的特征向量；
S05、选择适合关键信息特征的哈希函数，将每个关键信息特征的特征向量输入哈希函数中，得到与之对应的二进制码，将其作为图片的哈希值；
S06、将所有的哈希值存储在哈希数据结构中，构架索引，为每个哈希值维护一个指向原图片的指针；
数据分布模块，用于创建索引，使索引与项目元数据库模块内的数据建立链接；
创建索引是先建立DM模型，再使用DM模型提取数据化和函数化特征，使索引与项目元数据库模块内的数据特征建立链接，通过DM模型的训练所构成的神经网络支持通过模糊检索和关键字检索多维度方式对内容进行检索；
检索展示模块，用于让用户进行关键词检索，返回检索结果展示给用户；
二次编辑模块，用于对项目元数据库模块内的图像数据进行二次修改编辑；
合成输出模块，用于对修改编辑完成的人形角色进行动作创意设计；
输出入库模块，用于将合成输出模块成功输出的作品进行上传。
2.根据权利要求1所述的一种支持人形角色创意设计的AI系统，其特征在于：所述尺度不变特征转换算法进行特征提取的具体流程如下：
H01、先对输入图片进行高斯模糊操作，得到尺度空间图片，在每个尺度空间图片中寻找所有关键点，比较其与相邻像素和相邻尺度的内外梯度，判断该点是否为极值点；
H02、使用基于Hessian矩阵的迭代方法，对每个关键点的位置和尺度进行精确定位，并排除不稳定的关键点和边缘响应较弱的关键点；
H03、计算每个关键点周围像素的梯度方向直方图，选择出其中具有最大值的方向作为该关键点的主方向；
H04、在确定了关键点的位置、尺度和方向之后，用一组局部区域中的像素梯度值来描述该关键点；
H05、对每个关键点，选取其周围的预设大小的邻域，将其划分为若干个小块，并计算每个小块内像素的梯度幅值和方向，然后将所有小块的梯度信息汇集起来，形成预设维度的特征向量，生成尺度不变特征转换特征描述子，将其作为图片的关键信息特征。
3.根据权利要求1所述的一种支持人形角色创意设计的AI系统，其特征在于：所述使用局部特征描述符技术描述关键信息特征的具体流程如下：
K01、确定关键信息特征与对应的尺度不变特征转换算法关键点；
K02、使用高斯加权函数进行图像平滑操作，增强图像对比度，在关键点周围的邻域中提取图片特征；
K03、使用尺度不变特征转换算法中的预设维度向量结合图片特征生成可以描述关键点的向量，将其作为局部特征描述符。
4.根据权利要求1所述的一种支持人形角色创意设计的AI系统，其特征在于：所述DM模型建立的具体流程如下：
G01、对项目元数据库模块内的原始数据进行预处理，进行数据清洗、数据去噪、数据归一化和特征选择；
G02、采用预设比例将预处理后的数据按照划分为训练集、验证集和测试集，训练集用于模型训练，验证集用于调整模型超参数，测试集用于评估模型性能；
G03、使用多层感知机神经网络结构确定输入特征维度和输出分类数量，设计隐藏层数、节点数、激活函数和其它结构参数，选择损失函数和优化器，并设置学习率、权重衰减和其它超参数；
G04、使用训练集进行模型的训练，将数据按批次输入网络结构进行前向传播，计算损失函数并得到误差，利用反向传播算法计算梯度并更新权重参数，重复以上步骤，直至模型收敛和达到最大迭代次数；
G05、根据验证集的性能表现，调整超参数，重新训练模型，不断重复训练过程，直到找到合适的超参数；
G06、对测试集进行预测，计算各项指标并输出结果，根据测试结果，评估模型性能，对模型进行改进和优化；
G07、将训练好的模型保存到本地和云端，对新数据处理后，输入模型进行预测和分类，对模型进行改进和优化。
5.根据权利要求1所述的一种支持人形角色创意设计的AI系统，其特征在于：所述关键词检索是让用户由特定的搜索语句和关键词输入，再由模型判断，在向量相似的情况找到相似的输出结果，返回检索结果告知用户，同时展现此结果关联的动作、图片和其它详细内容，能够快速查看。
6.根据权利要求1所述的一种支持人形角色创意设计的AI系统，其特征在于：所述二次修改编辑是根据修改编辑的方向通过数据并行进行机器学习，在数据图像内，对像素值进行运动改变，通过一点点改变进行噪音合成图画，最后改变生成有意义的二次图像。
7.根据权利要求1所述的一种支持人形角色创意设计的AI系统，其特征在于：所述动作创意设计是通过动作重定向合成输出AI人体动画驱动人形角色运动，相同动作能够适用不同的角色设计，同一角色能够适用不同的动作设计，动作和角色之间能互相替换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311106216.1A CN117034385B (zh) | 2023-08-30 | 2023-08-30 | 一种支持人形角色创意设计的ai系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311106216.1A CN117034385B (zh) | 2023-08-30 | 2023-08-30 | 一种支持人形角色创意设计的ai系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117034385A CN117034385A (zh) | 2023-11-10 |
| CN117034385B true CN117034385B (zh) | 2024-04-02 |
Family
ID=88602371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311106216.1A Active CN117034385B (zh) | 2023-08-30 | 2023-08-30 | 一种支持人形角色创意设计的ai系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117034385B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180122782A (ko) * | 2017-05-04 | 2018-11-14 | 김선민 | 스토리텔링 창작 지원 시스템 및 이를 이용한 창작 지원 방법 |
| CN109157842A (zh) * | 2018-08-30 | 2019-01-08 | 网宿科技股份有限公司 | 一种基于机器学习的养成类游戏角色的培养方法和装置 |
| CN109685121A (zh) * | 2018-12-11 | 2019-04-26 | 中国科学院苏州纳米技术与纳米仿生研究所 | 图像检索模型的训练方法、图像检索方法、计算机设备 |
| CN109816758A (zh) * | 2018-12-21 | 2019-05-28 | 武汉西山艺创文化有限公司 | 一种基于神经网络的二维角色动画生成方法和装置 |
| CN109919084A (zh) * | 2019-03-06 | 2019-06-21 | 南京大学 | 一种基于深度多索引哈希的行人重识别方法 |
| CN111815747A (zh) * | 2020-07-03 | 2020-10-23 | 姚福来 | 利用不同物体的3d模型构造影视角色的方法 |
| WO2022240266A1 (ko) * | 2021-05-14 | 2022-11-17 | 이윤경 | Ai 기반 캐릭터 생성 시스템 및 방법 |
| CN116342763A (zh) * | 2023-02-21 | 2023-06-27 | 中国传媒大学 | 智能多模态动画创作系统及创作方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11291919B2 (en) * | 2017-05-07 | 2022-04-05 | Interlake Research, Llc | Development of virtual character in a learning game |
-
2023
- 2023-08-30 CN CN202311106216.1A patent/CN117034385B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180122782A (ko) * | 2017-05-04 | 2018-11-14 | 김선민 | 스토리텔링 창작 지원 시스템 및 이를 이용한 창작 지원 방법 |
| CN109157842A (zh) * | 2018-08-30 | 2019-01-08 | 网宿科技股份有限公司 | 一种基于机器学习的养成类游戏角色的培养方法和装置 |
| CN109685121A (zh) * | 2018-12-11 | 2019-04-26 | 中国科学院苏州纳米技术与纳米仿生研究所 | 图像检索模型的训练方法、图像检索方法、计算机设备 |
| CN109816758A (zh) * | 2018-12-21 | 2019-05-28 | 武汉西山艺创文化有限公司 | 一种基于神经网络的二维角色动画生成方法和装置 |
| CN109919084A (zh) * | 2019-03-06 | 2019-06-21 | 南京大学 | 一种基于深度多索引哈希的行人重识别方法 |
| CN111815747A (zh) * | 2020-07-03 | 2020-10-23 | 姚福来 | 利用不同物体的3d模型构造影视角色的方法 |
| WO2022240266A1 (ko) * | 2021-05-14 | 2022-11-17 | 이윤경 | Ai 기반 캐릭터 생성 시스템 및 방법 |
| CN116342763A (zh) * | 2023-02-21 | 2023-06-27 | 中国传媒大学 | 智能多模态动画创作系统及创作方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视觉传达的多角色虚拟人物三维融合系统设计;梁志慧;郑文锋;;现代电子技术;20200215(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117034385A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Cross-domain correspondence learning for exemplar-based image translation | |
| JP7049763B2 (ja) | 二次元画像からの三次元モデル化オブジェクトの認識 | |
| Huang et al. | Shape synthesis from sketches via procedural models and convolutional networks | |
| CN106126581B (zh) | 基于深度学习的手绘草图图像检索方法 | |
| Park et al. | Photoshape: Photorealistic materials for large-scale shape collections | |
| Chen et al. | A matting method based on full feature coverage | |
| Tung et al. | The augmented multiresolution Reeb graph approach for content-based retrieval of 3D shapes | |
| JP5121086B2 (ja) | 物体を表現する方法、物体を探索する方法 | |
| Chen et al. | Poseshop: Human image database construction and personalized content synthesis | |
| Raguram et al. | Modeling and recognition of landmark image collections using iconic scene graphs | |
| JP5721233B2 (ja) | 画像認識システム | |
| CN111241345A (zh) | 一种视频检索方法、装置、电子设备和存储介质 | |
| CN108702449B (zh) | 图像搜索方法及其系统 | |
| CN109101981B (zh) | 一种街景场景下基于全局图像条纹码的回环检测方法 | |
| CN106777349A (zh) | 基于深度学习的人脸检索系统及方法 | |
| CN109886297A (zh) | 一种用于从二维图像识别三维模型对象的方法 | |
| CN108492160A (zh) | 信息推荐方法和装置 | |
| CN111709317B (zh) | 一种基于显著性模型下多尺度特征的行人重识别方法 | |
| CN107704509B (zh) | 一种联合稳定区域与深度学习的重排序方法 | |
| Zhao et al. | Learning best views of 3D shapes from sketch contour | |
| CN111354076A (zh) | 一种基于嵌入空间的单幅图像三维零件组合式建模方法 | |
| Guo | Research on sports video retrieval algorithm based on semantic feature extraction | |
| CN117312594A (zh) | 一种融合双尺度特征的草图化机械零件库检索方法 | |
| CN117034385B (zh) | 一种支持人形角色创意设计的ai系统 | |
| CN109299295B (zh) | 蓝印花布图像数据库搜索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |