CN106909547B - 基于浏览器的图片加载方法及装置 - Google Patents
基于浏览器的图片加载方法及装置 Download PDFInfo
- Publication number
- CN106909547B CN106909547B CN201510971781.3A CN201510971781A CN106909547B CN 106909547 B CN106909547 B CN 106909547B CN 201510971781 A CN201510971781 A CN 201510971781A CN 106909547 B CN106909547 B CN 106909547B
- Authority
- CN
- China
- Prior art keywords
- target picture
- picture
- image
- multimedia
- multimedia resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011068 loading method Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 12
- 238000003709 image segmentation Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 2
- 241000220317 Rosa Species 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000003323 beak Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于浏览器的图片加载方法及装置，所述方法包括：响应于用户在浏览器显示界面中对目标图片的触发指令，对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源；将所述多媒体资源嵌入至所述目标图片中；将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中。本发明所述的基于浏览器的图片加载方法及装置，可以根据目标图片的内容自动为目标图片选取与目标图片的内容对应的多媒体资源，从而不但省去了用户为目标图片获取并指派特定多媒体资源的麻烦，而且由于选取的多媒体资源和目标图片的内容具有关联性，从而能够使得添加多媒体资源后的目标图片生动形象，合情合景，提高了用户体验。
Description
技术领域
本发明涉及互联网应用领域，具体涉及一种基于浏览器的图片加载方法及装置。
背景技术
随着互联网应用的日趋普及，用户在互联网上除了访问或浏览网页外，还有其他诸多需求。比如，用户还可以在互联网上对图片进行编辑。
现有的基于浏览器的图片编辑或美化方式，一般都是基于用户的操作行为。比如，对于浏览器中的某一幅图片，用户从网络上获取并指派特定的多媒体资源对图片的编辑或美化。
现有的基于浏览器的图片编辑或美化方式，需要用户从网络上获取并指派特定的多媒体资源对图片的编辑或美化，这不但不太方便，而且用户指派的多媒体资源大多具有随机性，导致美化效果不够完美或不尽人意。
发明内容
针对现有技术中的缺陷，本发明提供一种基于浏览器的图片加载方法及装置，不但省去了用户为目标图片获取并指派特定多媒体资源的麻烦，而且使得添加多媒体资源后的目标图片生动形象，合情合景，提高了用户体验。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供了一种基于浏览器的图片加载方法，包括：
响应于用户在浏览器显示界面中对目标图片的触发指令，对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源；
将所述多媒体资源嵌入至所述目标图片中；
将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中。
优选地，在所述对所述目标图片进行内容识别之前，所述方法还包括：
根据目标图片的边缘特征对所述目标图片进行分类，以确定所述目标图片的类型。
优选地，在所述目标图片的类型为文字类图片时，相应地，所述对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源，进一步包括：
对所述目标图片进行文字识别，以获得所述目标图片的文字内容，根据关键词库对获得的文字内容进行匹配，以获取所述文字内容中的匹配词语以及与匹配词语对应的多媒体资源，所述关键词库包括：关键词与多媒体资源的对应的关系。
优选地，所述将所述多媒体资源嵌入至所述目标图片中，进一步包括：
将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配词语。
优选地，所述将所述多媒体资源嵌入至所述目标图片中，进一步包括：
将获取的多媒体资源添加至所述目标图片。
优选地，在所述目标图片的类型为图像类图片时，相应地，所述对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源，进一步包括：
对所述目标图片进行图像分割，以获得所述目标图片的图像内容，根据预设图像库对获得的图像内容进行匹配，以获取所述图像内容中的匹配图像以及与匹配图像对应的多媒体资源，所述预设图像库包括：图像与多媒体资源的对应关系。
优选地，所述将所述多媒体资源嵌入至所述目标图片中，进一步包括：
将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配图像。
优选地，所述将所述多媒体资源嵌入至所述目标图片中，进一步包括：
将获取的多媒体资源添加至所述目标图片。
优选地，所述多媒体资源包括：音效资源和/或特效资源。
第二方面，本发明还提供了一种基于浏览器的图片加载装置，包括：
获取单元，用于响应于用户在浏览器显示界面中对目标图片的触发指令，对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源；
嵌入单元，用于将所述多媒体资源嵌入至所述目标图片中；
加载单元，用于将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中。
优选地，所述获取单元进一步包括：分类模块和获取模块；
所述分类模块，用于响应于用户在浏览器显示界面中对目标图片的触发指令，根据目标图片的边缘特征对所述目标图片进行分类，以确定所述目标图片的类型；
所述获取模块，用于根据所述分类模块确定的目标图片的类型，对所述目标图片进行内容识别，以及根据内容识别结果获取与所述内容识别结果对应的多媒体资源。
优选地，在所述分类模块确定所述目标图片的类型为文字类图片时，
所述获取模块，进一步用于：
对所述目标图片进行文字识别，以获得所述目标图片的文字内容，根据关键词库对获得的文字内容进行匹配，以获取所述文字内容中的匹配词语以及与匹配词语对应的多媒体资源，所述关键词库包括：关键词与多媒体资源的对应的关系。
优选地，所述嵌入单元，进一步用于：将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配词语。
优选地，所述嵌入单元，进一步用于：将获取的多媒体资源添加至所述目标图片。
优选地，在所述分类模块确定所述目标图片的类型为图像类图片时，
所述获取模块，进一步用于：
对所述目标图片进行图像分割，以获得所述目标图片的图像内容，根据预设图像库对获得的图像内容进行匹配，以获取所述图像内容中的匹配图像以及与匹配图像对应的多媒体资源，所述预设图像库包括：图像与多媒体资源的对应关系。
优选地，所述嵌入单元，进一步用于：将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配图像。
优选地，所述嵌入单元，进一步用于：将获取的多媒体资源添加至所述目标图片。
优选地，所述多媒体资源包括：音效资源和/或特效资源。
第三方面，本发明还提供了一种基于浏览器的图片加载装置，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面任一所述的方法。
第四方面，本发明还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如第一方面任一所述的方法。
由上述技术方案可知，本发明所述的基于浏览器的图片加载方法及装置，响应于用户在浏览器显示界面中对目标图片的触发指令，对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源；将所述多媒体资源嵌入至所述目标图片中；将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中。可见，本发明所述的基于浏览器的图片加载方法及装置，可以根据目标图片的内容自动为目标图片获取与目标图片的内容对应的多媒体资源，从而不但省去了用户为目标图片获取并指派特定多媒体资源的麻烦，而且由于本发明获取的多媒体资源和目标图片的内容具有关联性，从而能够使得添加多媒体资源后的目标图片生动形象，合情合景，进而提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一个实施例提供的基于浏览器的图片加载方法的流程图；
图2是本发明第二个实施例提供的步骤101的具体实现过程示意图；
图3是本发明第四个实施例提供的基于浏览器的图片加载装置的结构示意图；
图4是本发明第五个实施例提供的基于浏览器的图片加载装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明第一个实施例提供的基于浏览器的图片加载方法的流程图，参见图1，本发明第一个实施例提供的基于浏览器的图片加载方法包括如下步骤：
步骤101：响应于用户在浏览器显示界面中对目标图片的触发指令，对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源。
在本步骤中，所述多媒体资源包括：音效资源和/或特效资源。其中，音效资源包括音乐和特定的声音等其他音效资源；所述特效资源包括flash图片和特定的flash效果等其他特效资源。其中，本步骤中获取的多媒体资源为与所述内容识别结果对应的多媒体资源，即本步骤获取的多媒体资源是和目标图片的内容具有关联性的多媒体资源。
步骤102：将所述多媒体资源嵌入至所述目标图片中。
在本步骤中，将步骤101获取的多媒体资源嵌入至所述目标图片中，以使目标图片携带有所述多媒体资源。本步骤中的“嵌入”至少包括两种含义，一种是将获取的多媒体资源直接添加至所述目标图片中，一种是将获取的多媒体资源替换掉所述目标图片中的相应的对象内容。
步骤103：将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中。
在本步骤中，将嵌入多媒体资源后的目标图片加载于浏览器显示界面中，以满足用户对与所述目标图片对应的多媒体图片的查看需求。
本实施例提供的基于浏览器的图片加载方法，响应于用户在浏览器显示界面中对目标图片的触发指令，对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源；将所述多媒体资源嵌入至所述目标图片中；将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中。可见，本实施例所述的基于浏览器的图片加载方法，可以根据目标图片的内容自动为目标图片获取与目标图片的内容对应的多媒体资源，从而不但省去了用户为目标图片获取并指派特定多媒体资源的麻烦，而且由于获取的多媒体资源和目标图片的内容具有关联性，从而能够使得添加多媒体资源后的目标图片生动形象，合情合景，进而提高了用户体验。
在本发明的第二个实施例中，给出了上述步骤101的一种具体实现方式。在本实施例中，参见图2，上述步骤101包括如下子步骤a、b和c。
步骤a：响应于用户在浏览器显示界面中对目标图片的触发指令，根据目标图片的边缘特征对所述目标图片进行分类，以确定所述目标图片的类型。
在本步骤中，当用户在浏览器显示界面中对目标图片进行触发操作时，浏览器会响应该触发操作，并根据目标图片的边缘特征对该目标图片进行分类，以确定该目标图片的类型。
这里，用户在浏览器显示界面中对目标图片进行触发操作可以为直接点击目标图片本身，也可以是点击特定的按钮，该特定的按钮为和所述目标图片具有关联特性的按钮，比如，该按钮用于对所述目标图片进行多媒体资源渲染等。
这里，根据目标图片的边缘特征对目标图片进行分类，实际上是根据目标图片内容的边缘特征对目标图片进行分类。那么在对目标图片进行分类时，就需要先对目标图片进行灰度处理(如果是彩色图片)，然后进行边缘特征提取，根据边缘特征提取结果确定该目标图片的类型。在本实施例中，所述目标图片的类型包括文字类目标图片和图像类目标图片。
具体地，在根据边缘特征提取结果确定该目标图片的类型时，可以按照下面的方式进行处理：
根据边缘特征提取结果中的所有边缘特征点的像素值的叠加结果，确定该目标图片的类型：
当所有边缘特征点的像素值的叠加结果超过预设阈值时，则确定该目标图片为文字类图片，否则确定该目标图片为图像类图片。
一般地，文字类图片的边缘特征信息较多，图像类图片的边缘特征信息较少，因而在进行边缘特征提取后，文字类图片对应的边缘特征提取结果中会存在较多的边缘特征点，而图像类图片对应的边缘特征提取结果中会存在较少的边缘特征点，因此，可以根据边缘特征提取结果中的所有边缘特征点的像素值的叠加结果，确定该目标图片的类型。
例如，对于一张包含50个字的文字类图片和一张包含彩虹的图像类图片，其两者在分别进行边缘特征提取后，很明显，包含50个字的文字类图片会具有更多的边缘特征点。
步骤b：根据所述目标图片的类型对所述目标图片进行内容识别。
在本步骤中，根据所述目标图片的类型对所述目标图片进行内容识别包括以下两种情况。
①若上述步骤a确定所述目标图片的类型为文字类图片，则对所述目标图片进行文字识别，以获得所述目标图片的文字内容；
其中，具体的文字识别过程包括以下几方面内容：对图片进行预处理、特征提取和降维、设计和训练分类器、进行文字识别，优选地，在识别结束后还可以进行后处理，用于对识别结果进行优化。
其中，预处理包括灰度化(如果是彩色图像)、降噪、二值化、字符切分以及归一化。特征提取和降维包括提取文字的边缘特征，因为文字的边缘特征是用来识别文字的关键信息，每个不同的文字都能通过其边缘特征来和其他文字进行区分。另外，为了提高识别速率，往往需要对提取的特征信息进行降维处理，以提高分类器的分类效果。设计和训练分类器是比较关键的一步，因为分类器的训练的好坏直接影响了识别结果的准确程度。其中，分类器可以选择支持向量机SVM、最邻近分类器KNN和卷积神经网络CNN等。
当然，在进行文字识别时也可以直接利用比较成熟的文字识别软件，如OCR等。
例如，对于一幅包含若干文字的图片，经过文字识别以后，得到如下识别结果“今天又加班了，最近一个月都没有好好休息了，好累，好郁闷，从什么时候开始不用加班变成我人生新的追求了”。
②若上述步骤a确定所述目标图片的类型为图像类图片，则对所述目标图片进行图像分割，以获得所述目标图片的图像内容。
其中，这里目标图片中的图像内容是指图像分割得到的一个或多个对象。在对目标图片进行图像分割时，可以采用Meanshift分割算法、测地线活动轮廓模型GAC算法和静态图像压缩标准JSEG分割算法等。
例如，对于一张包含仅包含彩虹的目标图片，经过图像分割，可以得到彩虹这一图像对象，该图像对象即为该目标图片的图像内容。
又如，对于一张包含人物和彩虹的目标图片，经过图像分割，可以得到人物和彩虹两个图像对象，这两个图像对象即为该目标图片的图像内容。
还比如，对于包含多个人物和火锅等的目标图片，经过图像分割，可以得到多个人物和火锅等多个图像对象，这多个图像对象即为该目标图片的图像内容。
步骤c：根据内容识别结果获取与所述内容识别结果对应的多媒体资源。
在本步骤中，根据内容识别结果获取与所述内容识别结果对应的多媒体资源包括以下两种情况。
①若所述步骤b获得的内容识别结果是所述目标图片的文字内容，则根据关键词库对获得的文字内容进行匹配，以获取所述文字内容中的匹配词语以及与匹配词语对应的多媒体资源，所述关键词库包括：关键词与多媒体资源的对应的关系；其中，关键词库中与每个关键词对应的多媒体资源有一个或多个。
例如，根据文字识别结果获得的一段文字为“今天又加班了，最近一个月都没有好好休息了，好累，好郁闷，从什么时候开始不用加班变成我人生新的追求了”。
对于上述文字识别结果，利用关键词库对该文字识别结果进行匹配，以获取所述文字内容中的匹配词语以及与匹配词语对应的多媒体资源。这里，匹配词语是指所述文字内容中与所述关键词库中的关键词匹配成功的词语。
其中关键词库中存储有一些常用词语以及与这些常用词语对应的多媒体资源。关于关键词库可参见下表1所示的内容。
表1
其中，上述关键词库中与关键词对应的多媒体资源可以为一些插图图片或flash图片，也可以为一些音乐或特定的声音等音效资源，当然也可以同时包含这两者。进一步地，与关键词对应的多媒体资源还可以为其他与关键词相关的特效资源，其原理大致一样，这里不再举例说明。
此外，由于后面还需要将获取的多媒体资源替换掉目标图片中对应的匹配词语，因此，这里所述的插图图片或flash图片为尺寸较小的图片，以便于后期替换文字时的处理，同时也为了避免替换后的插图图片或flash图片遮挡原匹配词语周边的词语。
例如，利用上面表1所示的关键词库对上述文字识别结果“今天又加班了，最近一个月都没有好好休息了，好累，好郁闷，从什么时候开始不用加班变成我人生新的追求了”进行匹配，得到匹配词语“加班”和“郁闷”，分别获取与这两个匹配词语对应的多媒体资源1：“黑夜中手敲键盘的flash图片”以及“撇嘴图片”。另外，还可以获取与这两个匹配词语对应的多媒体资源2：“与加班有关歌词相对调侃的音乐”(如歌曲《加班超人》)以及“歌词或韵律悲伤的音乐”(如歌曲《你在烦恼什么》)。其中，在获取与匹配词语对应的多媒体资源时，如若关键词库中与该匹配词语对应的多媒体资源只有一种，那么直接获取该多媒体资源。如果与该匹配词语对应的多媒体资源有两种，则可以只获取其中的一种或两种均获取。
在下述第三个实施例中将描述如何将获取的多媒体资源嵌入到目标图片中。比如，当获取的多媒体资源只包含多媒体资源1时，将获取的多媒体资源1替换所述目标图片中与该多媒体资源1对应的匹配词语。当获取的多媒体资源只包含多媒体资源2时，将获取的多媒体资源2添加至所述目标图片中。当获取的多媒体资源包括多媒体资源1和多媒体资源2时，将获取的多媒体资源1替换所述目标图片中与该多媒体资源1对应的匹配词语，同时将获取的多媒体资源2添加至所述目标图片中。这里，需要注意的是，当针对一张目标图片获取的多媒体资源2有多个时，可以选择一个将其添加至所述目标图片中，或将多个均添加至所述目标图片中。
当有多个多媒体资源2均添加至所述目标图片中时，多个多媒体资源2将会循环展示效果，比如，当有两首音乐同时添加至所述目标图片中时，这两首音乐将会以循环播放的方式进行展示。
例如，还是对于上述的例子，将获取的与“加班”和“郁闷”分别对应的多媒体资源1“黑夜中手敲键盘的flash图片”以及“撇嘴图片”分别替换掉所述目标图片中的“加班”和“郁闷”这两个词语。这样，替换后的目标图片相对于原始目标图片，将会比较生动活泼，更能表达出原始目标图片想要表达的内容和效果。而且整个过程完全自动化处理，不用人为获取多媒体资源，从而提升了用户体验。
另外，对于上述的例子，也可以将获取的多媒体资源2“与加班有关歌词相对调侃的音乐”和“歌词或韵律悲伤的音乐”中的一个添加至所述目标图片中，以使浏览器在展示所述嵌入多媒体资源后的目标图片时能够播放相应的音乐，这样可以迅速地把用户带入到一定的场景中，使得用户迅速或直观地体会到这张目标图片中的文字所表达的心情，从而提高了用户体验。
当然，也可以将“与加班有关歌词相对调侃的音乐”和“歌词或韵律悲伤的音乐”均添加至所述目标图片中，以使浏览器在展示所述嵌入多媒体资源后的目标图片时能够循环播放该两首音乐。
为了进一步提升用户体验，可以将获取的多媒体资源1替换掉目标图片中相应的匹配词语，同时将获取的多媒体资源2添加至所述目标图片中，从而使得浏览器在展示所述嵌入多媒体资源后的目标图片时，能够达到较佳的效果。例如，既能使得文字图片生动形象，也能借助音效效果使得文字图片快速传递相应的信息给用户。
②若所述步骤b获得的内容识别结果是所述目标图片的图像内容，则根据预设图像库对获得的图像内容进行匹配，以获取所述图像内容中的匹配图像以及与匹配图像对应的多媒体资源，所述预设图像库包括：图像与多媒体资源的对应关系。其中，所述预设图像库与每个图像对应的多媒体资源有一个或多个。
例如，对目标图片进行分割得到的图像内容为图像对象“彩虹”。对于该图像内容，利用预设图像库对“彩虹”进行匹配，以获取匹配图像以及与匹配图像对应的多媒体资源。这里，匹配图像是指对目标图片进行分割得到的图像内容中与预设图像库中的图像匹配的图像。
其中预设图像库中存储有一些常见的图像对象以及与这些常见的图像对象对应的多媒体资源。关于预设图像库可参见下表2所示的内容。
表2
其中，上述预设图像库中与图像对应的多媒体资源可以为一些插图图片或flash图片，也可以为一些音乐或特定的声音等音效资源，还可以为一些特效资源，当然也可以同时包含多者。
利用上面表2所示的预设图像库对上述图像内容“彩虹”进行匹配，得到匹配图像“彩虹”，获取与“彩虹”对应的多媒体资源1：“彩虹flash图片。另外，还可以获取与“彩虹”对应的多媒体资源2：“跟彩虹相关的音乐”。此外，还可以获取与“彩虹”对应的多媒体资源3：“雨水的flash效果”。其中，在获取与匹配图像对应的多媒体资源时，如若预设图像库中与该匹配图像对应的多媒体资源只有一种，那么直接获取该多媒体资源。如果与该匹配图像对应的多媒体资源有多种，则可以只获取其中的一种或多种。
在下述第三个实施例中将描述如何将获取的多媒体资源嵌入到目标图片中。比如，当获取的多媒体资源只包含多媒体资源1时，将获取的多媒体资源1替换所述目标图片中与该多媒体资源1对应的匹配图像。当获取的多媒体资源只包含多媒体资源2时，将获取的多媒体资源2添加至所述目标图片中。当获取的多媒体资源只包含多媒体资源3时，将获取的多媒体资源3添加至所述目标图片中。
当获取的多媒体资源包括多媒体资源1、多媒体资源2和多媒体资源3时，将获取的多媒体资源1替换所述目标图片中与该多媒体资源1对应的匹配图像，同时将获取的多媒体资源2和3添加至所述目标图片中。
这里，需要注意的是，当针对一张目标图片获取的多媒体资源2有多个时，可以选择一个将其添加至所述目标图片中，或将多个均添加至所述目标图片中。
当有多个多媒体资源2均添加至所述目标图片中时，多个多媒体资源2将会循环展示效果，比如，当有两首音乐同时添加至所述目标图片中时，这两首音乐将会以循环播放的方式进行展示。
当针对一张目标图片获取的多媒体资源3有多个时，可以将多个多媒体资源3均添加至所述目标图片中。其中，多个多媒体资源3产生的动画效果同时展示、各自独立，互不影响。
例如，对于上述例子，可将获取的与图像内容“彩虹”对应的多媒体资源1“彩虹flash图片”替换掉所述目标图片中的“彩虹”这个子图像。由于“彩虹flash图片”相对于普通彩虹图像，具有生动、形象、感官效果好等特点，因此替换后的目标图片会给用户耳目一新的感觉，提高了用户体验。
同时，对于上述例子，还可以将获取的多媒体资源2“跟彩虹相关的音乐”添加至所述目标图片中，以使在展示所述目标图片时能够播放相应的音乐，这样可以迅速地把用户带入到一定的场景中，使得用户迅速或直观地体会到这张目标图片中的文字所表达的心情，从而提高了用户体验。
另外，对于上述例子，还可以将获取的多媒体资源3“雨水的flash效果”添加至所述目标图片中，以使浏览器在展示所述目标图片时能够展示雨水的flash效果，如地面上流淌着雨水，这样会使得目标图片更加生动活泼，因为雨后的彩虹更美丽。如果一张图片中，空中是美丽的彩虹，而地面上却是干巴巴的，那么这样一张图片呈现的效果就不如刚刚下雨后出现的彩虹，因此为这张目标图片加上多媒体资源3“雨水的flash效果”，将会给目标图片增色不少。
当然，也可以将多媒体资源1“彩虹flash图片”、多媒体资源2“跟彩虹相关的音乐”和多媒体资源3“雨水的flash效果”中的两个或三个添加至所述目标图片中，以使在展示所述目标图片时能够实现较为完美的多媒体效果。
又如，当对目标图片进行分割得到包含“人物”、“彩虹”和“玫瑰”的图像内容时，采用上述表2所示的预设图像库对“人物”、“彩虹”和“玫瑰”进行匹配，以获取匹配图像“彩虹”和“玫瑰”以及与匹配图像“彩虹”和“玫瑰”分别对应的多媒体资源。
例如，获取与“彩虹”对应的多媒体资源1“彩虹flash图片”以及多媒体资源3“雨水的flash效果”；
获取与“玫瑰”对应的多媒体资源2“跟爱情相关的音乐”以及多媒体资源3“玫瑰花瓣抛向空中的flash效果”。
相应地，将获取的多媒体资源嵌入至所述目标图片中，包括：
将获取的与“彩虹”对应的多媒体资源1“彩虹flash图片”替换所述目标图片中的“彩虹”对象，将与“彩虹”对应的多媒体资源3“雨水的flash效果”添加至所述目标图片中，以增加所述目标图片的感官效果。同时，将获取的与“玫瑰”对应的多媒体资源2“跟爱情相关的音乐”添加至所述目标图片中，作为所述目标图片的背景音乐；将与“玫瑰”对应的多媒体资源3“玫瑰花瓣抛向空中的flash效果”添加至所述目标图片中，以提升所述目标图片的视觉效果。
相应地，将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中，以便于用户通过浏览器显示界面查看。
经过上述步骤的处理，嵌入多媒体资源后的目标图片相对于原始目标图片具有较为炫彩的展示效果，同时增加了用户对目标图片的感官认知，令用户有种较为愉悦的体验。
从上面描述可知，本实施例所述的基于浏览器的图片加载方法，首先根据目标图片的边缘特征信息对目标图片进行分类，以确定目标图片为文字类图片或图像类图片，进而根据目标图片的类型，采用不同的识别方式对目标图片进行内容识别，在获知目标图片的识别结果后，采用相应的库对目标图片的识别结果进行匹配，以获得目标图片的识别结果中的匹配结果，最后根据匹配结果获取相应的多媒体资源，将获取的多媒体资源嵌入至目标图片中，并将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中进行展示。本实施例所述的方法可以根据目标图片的内容自动为目标图片选取与目标图片的内容对应的多媒体资源，从而不但省去了用户为目标图片获取并指派特定多媒体资源的麻烦，而且由于选取的多媒体资源和目标图片的内容具有关联性，从而能够使得添加多媒体资源后的目标图片生动形象，合情合景，进而提高了用户体验。
本发明的第三个实施例中，基于上述第二个实施例，给出了上述步骤102的多种具体实现方式。
具体地，当上述步骤a确定所述目标图片的类型为文字类图片时，上述步骤102有如下两种实现方式。
D1：将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配词语。
D2：将获取的多媒体资源添加至所述目标图片。
参见上述实施例可知，当获取的与匹配词语对应的多媒体资源为多媒体资源1时，将所述多媒体资源1按照D1所述的方式替换所述目标图片中与该多媒体资源1对应的匹配词语。
当获取的与匹配词语对应的多媒体资源为多媒体资源2时，将所述多媒体资源2添加至所述目标图片。
当上述步骤a确定所述目标图片的类型为图像类图片，上述步骤102有如下两种实现方式。
E1：将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配图像。
E2：将获取的多媒体资源添加至所述目标图片。
参见上述实施例可知，当获取的与匹配图像对应的多媒体资源为多媒体资源1时，将所述多媒体资源1按照E1所述的方式替换所述目标图片中与该多媒体资源1对应的匹配图像。
当获取的与匹配图像对应的多媒体资源为多媒体资源2或3时，将所述多媒体资源2或3添加至所述目标图片。
本发明第四个实施例提供了一种基于浏览器的图片加载装置，参见图3，包括：获取单元31、嵌入单元32和加载单元33；
获取单元31，用于响应于用户在浏览器显示界面中对目标图片的触发指令，对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源；
在本实施例中，所述多媒体资源可以包括：音效资源和/或特效资源。
嵌入单元32，用于将所述多媒体资源嵌入至所述目标图片中；
加载单元33，用于将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中。
本实施例提供的基于浏览器的图片加载装置，可以用于执行上述第一个实施例所述的方法，其原理和技术效果类似，此处不再详述。
在本发明第五个实施例中，参见图4，所述获取单元31进一步包括：分类模块311和获取模块312；
所述分类模块311，用于响应于用户在浏览器显示界面中对目标图片的触发指令，根据目标图片的边缘特征对所述目标图片进行分类，以确定所述目标图片的类型；
所述获取模块312，用于根据所述分类模块确定的目标图片的类型，对所述目标图片进行内容识别，以及根据内容识别结果获取与所述内容识别结果对应的多媒体资源。
具体地，在所述分类模块311确定所述目标图片的类型为文字类图片时，
所述获取模块312，进一步用于：
对所述目标图片进行文字识别，以获得所述目标图片的文字内容，根据关键词库对获得的文字内容进行匹配，以获取所述文字内容中的匹配词语以及与匹配词语对应的多媒体资源，所述关键词库包括：关键词与多媒体资源的对应的关系。
具体地，在所述分类模块311确定所述目标图片的类型为图像类图片时，
所述获取模块312，进一步用于：
对所述目标图片进行图像分割，以获得所述目标图片的图像内容，根据预设图像库对获得的图像内容进行匹配，以获取所述图像内容中的匹配图像以及与匹配图像对应的多媒体资源，所述预设图像库包括：图像与多媒体资源的对应关系。
本实施例提供的基于浏览器的图片加载装置，可以用于执行上述第二个实施例所述的方法，其原理和技术效果类似，此处不再详述。
在本发明第六个实施例中，基于上述第五个实施例，给出了上述嵌入单元32的多种具体实现方式。
具体地，在所述分类模块311确定所述目标图片的类型为文字类图片时，上述嵌入单元32有如下两种实现方式。
第一种实现方式为：所述嵌入单元32用于将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配词语。
第二种实现方式为：所述嵌入单元32用于将获取的多媒体资源添加至所述目标图片。
具体地，在所述分类模块311确定所述目标图片的类型为图像类图片时，上述嵌入单元32有如下两种实现方式。
第一种实现方式为：所述嵌入单元32用于将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配图像。
第二种实现方式为：所述嵌入单元32用于将获取的多媒体资源添加至所述目标图片。
本实施例提供的基于浏览器的图片加载装置，可以用于执行上述第三个实施例所述的方法，其原理和技术效果类似，此处不再详述。
以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于浏览器的图片加载方法，其特征在于，包括：
响应于用户在浏览器显示界面中对目标图片的触发指令，对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源；
将所述多媒体资源嵌入至所述目标图片中；
将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中；
其中，在所述对所述目标图片进行内容识别之前，所述方法还包括：
根据目标图片的边缘特征对所述目标图片进行分类，以确定所述目标图片的类型，具体包括：
提取所述目标图片的边缘特征；
根据边缘特征提取结果中的所有边缘特征点的像素值的叠加结果，确定所述目标图片的类型，包括：当所有边缘特征点的像素值的叠加结果超过预设阈值时，则确定所述目标图片为文字类图片，否则确定所述目标图片为图像类图片；
在确定所述目标图片的类型为文字类图片时，所述对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源，进一步包括：
对所述目标图片进行文字识别，以获得所述目标图片的文字内容，根据关键词库对获得的文字内容进行匹配，以获取所述文字内容中的匹配词语以及与匹配词语对应的多媒体资源，所述关键词库包括：关键词与多媒体资源的对应的关系；
在确定所述目标图片的类型为图像类图片时，所述对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源，进一步包括：
对所述目标图片进行图像分割，以获得所述目标图片的图像内容，根据预设图像库对获得的图像内容进行匹配，以获取所述图像内容中的匹配图像以及与匹配图像对应的多媒体资源，所述预设图像库包括：图像与多媒体资源的对应关系；
所述多媒体资源包括特效资源，且所述将所述多媒体资源嵌入至所述目标图片中，进一步包括：
将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配词语或匹配图像。
2.根据权利要求1所述的方法，其特征在于，所述多媒体资源还包括音效资源；
所述将所述多媒体资源嵌入至所述目标图片中，进一步包括：
将获取的多媒体资源添加至所述目标图片。
3.一种基于浏览器的图片加载装置，其特征在于，包括：
获取单元，用于响应于用户在浏览器显示界面中对目标图片的触发指令，对所述目标图片进行内容识别，根据内容识别结果获取与所述内容识别结果对应的多媒体资源；
嵌入单元，用于将所述多媒体资源嵌入至所述目标图片中；
加载单元，用于将嵌入多媒体资源后的目标图片加载于所述浏览器显示界面中；
其中，所述获取单元进一步包括：分类模块和获取模块；
所述分类模块，用于响应于用户在浏览器显示界面中对目标图片的触发指令，根据目标图片的边缘特征对所述目标图片进行分类，以确定所述目标图片的类型；
所述分类模块还用于：提取所述目标图片的边缘特征；根据边缘特征提取结果中的所有边缘特征点的像素值的叠加结果，确定所述目标图片的类型，具体包括：当所有边缘特征点的像素值的叠加结果超过预设阈值时，则确定所述目标图片为文字类图片，否则确定所述目标图片为图像类图片；
所述获取模块，用于根据所述分类模块确定的目标图片的类型，对所述目标图片进行内容识别，以及根据内容识别结果获取与所述内容识别结果对应的多媒体资源；
在所述分类模块确定所述目标图片的类型为文字类图片时，所述获取模块，进一步用于：
对所述目标图片进行文字识别，以获得所述目标图片的文字内容，根据关键词库对获得的文字内容进行匹配，以获取所述文字内容中的匹配词语以及与匹配词语对应的多媒体资源，所述关键词库包括：关键词与多媒体资源的对应的关系；
在所述分类模块确定所述目标图片的类型为图像类图片时，所述获取模块，进一步用于：
对所述目标图片进行图像分割，以获得所述目标图片的图像内容，根据预设图像库对获得的图像内容进行匹配，以获取所述图像内容中的匹配图像以及与匹配图像对应的多媒体资源，所述预设图像库包括：图像与多媒体资源的对应关系；
所述多媒体资源包括特效资源，且所述嵌入单元，进一步用于：将获取的多媒体资源替换所述目标图片中与该多媒体资源对应的匹配词语或匹配图像。
4.根据权利要求3所述的装置，所述多媒体资源还包括音效资源；
所述嵌入单元，进一步用于：将获取的多媒体资源添加至所述目标图片。
5.一种基于浏览器的图片加载装置，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至2任一所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至2任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510971781.3A CN106909547B (zh) | 2015-12-22 | 2015-12-22 | 基于浏览器的图片加载方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510971781.3A CN106909547B (zh) | 2015-12-22 | 2015-12-22 | 基于浏览器的图片加载方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106909547A CN106909547A (zh) | 2017-06-30 |
| CN106909547B true CN106909547B (zh) | 2020-09-04 |
Family
ID=59201038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510971781.3A Active CN106909547B (zh) | 2015-12-22 | 2015-12-22 | 基于浏览器的图片加载方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106909547B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681549A (zh) * | 2018-03-29 | 2018-10-19 | 广州视源电子科技股份有限公司 | 获取多媒体资源的方法和装置 |
| CN109544663B (zh) | 2018-11-09 | 2023-01-06 | 腾讯科技（深圳）有限公司 | 应用程序的虚拟场景识别与交互键位匹配方法及装置 |
| CN114727143A (zh) * | 2020-12-21 | 2022-07-08 | 上海哔哩哔哩科技有限公司 | 多媒体资源展示方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101226729A (zh) * | 2007-01-16 | 2008-07-23 | 索尼爱立信移动通信日本株式会社 | 显示控制器,显示控制方法,显示控制程序,以及移动终端设备 |
| CN101296290A (zh) * | 2008-06-12 | 2008-10-29 | 北京中星微电子有限公司 | 一种数码图像显示方法及设备 |
| CN101719142A (zh) * | 2009-12-10 | 2010-06-02 | 湖南大学 | 基于分类字典的稀疏表示图片文字检测方法 |
| CN102193903A (zh) * | 2010-03-15 | 2011-09-21 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
| CN102713872A (zh) * | 2010-01-18 | 2012-10-03 | 日本鼎意株式会社 | 生成混合显示文字和图画的信息的系统 |
| CN103500186A (zh) * | 2013-09-13 | 2014-01-08 | 北京奇虎科技有限公司 | 一种在浏览器中进行图片加载的方法、装置和浏览器 |
| CN104268547A (zh) * | 2014-08-28 | 2015-01-07 | 小米科技有限责任公司 | 一种基于图片内容播放音乐的方法及装置 |
| CN104318596A (zh) * | 2014-10-08 | 2015-01-28 | 北京搜狗科技发展有限公司 | 一种动态图片的生成方法以及生成装置 |
-
2015
- 2015-12-22 CN CN201510971781.3A patent/CN106909547B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101226729A (zh) * | 2007-01-16 | 2008-07-23 | 索尼爱立信移动通信日本株式会社 | 显示控制器,显示控制方法,显示控制程序,以及移动终端设备 |
| CN101296290A (zh) * | 2008-06-12 | 2008-10-29 | 北京中星微电子有限公司 | 一种数码图像显示方法及设备 |
| CN101719142A (zh) * | 2009-12-10 | 2010-06-02 | 湖南大学 | 基于分类字典的稀疏表示图片文字检测方法 |
| CN102713872A (zh) * | 2010-01-18 | 2012-10-03 | 日本鼎意株式会社 | 生成混合显示文字和图画的信息的系统 |
| CN102193903A (zh) * | 2010-03-15 | 2011-09-21 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
| CN103500186A (zh) * | 2013-09-13 | 2014-01-08 | 北京奇虎科技有限公司 | 一种在浏览器中进行图片加载的方法、装置和浏览器 |
| CN104268547A (zh) * | 2014-08-28 | 2015-01-07 | 小米科技有限责任公司 | 一种基于图片内容播放音乐的方法及装置 |
| CN104318596A (zh) * | 2014-10-08 | 2015-01-28 | 北京搜狗科技发展有限公司 | 一种动态图片的生成方法以及生成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106909547A (zh) | 2017-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106909548B (zh) | 基于服务器的图片加载方法及装置 | |
| US10692480B2 (en) | System and method of reading environment sound enhancement based on image processing and semantic analysis | |
| US10109051B1 (en) | Item recommendation based on feature match | |
| US10049477B1 (en) | Computer-assisted text and visual styling for images | |
| CN110830852B (zh) | 一种视频内容的处理方法及装置 | |
| CN113569088B (zh) | 一种音乐推荐方法、装置以及可读存储介质 | |
| US20190116323A1 (en) | Method and system for providing camera effect | |
| CN108182232B (zh) | 基于电子书的人物展示方法、电子设备及计算机存储介质 | |
| EP2587826A1 (en) | Extraction and association method and system for objects of interest in video | |
| CN111383631B (zh) | 一种语音交互方法、装置及系统 | |
| CN109271542A (zh) | 封面确定方法、装置、设备及可读存储介质 | |
| CN106203286A (zh) | 一种增强现实的内容获取方法、装置及移动终端 | |
| CN106909547B (zh) | 基于浏览器的图片加载方法及装置 | |
| CN116704085B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| WO2023045635A1 (zh) | 多媒体文件的字幕处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| JP6680026B2 (ja) | 情報処理装置及びプログラム | |
| KR20210098997A (ko) | 자동화된 실시간 하이 다이나믹 레인지 콘텐츠 검토 시스템 | |
| CN110347302B (zh) | 一种电子书的显示方法和装置 | |
| CN114758054A (zh) | 光斑添加方法、装置、设备及存储介质 | |
| CN114372172A (zh) | 生成视频封面图像的方法、装置、计算机设备及存储介质 | |
| CN110781327B (zh) | 图像搜索方法、装置、终端设备及存储介质 | |
| CN108388836A (zh) | 一种用于获取视频语义信息的方法与装置 | |
| CN111669657A (zh) | 视频评论方法、装置、电子设备及存储介质 | |
| CN113468351A (zh) | 一种智能设备及图像处理方法 | |
| JPWO2014171046A1 (ja) | 映像受信装置、及び、映像受信装置における情報表示制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220822 Address after: No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science and Technology Park, High-tech Zone, Binhai New District, Tianjin 300000 Patentee after: 3600 Technology Group Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |
|
| TR01 | Transfer of patent right |