CN107578306A - 追踪识别视频图像中的商品并展示商品信息的方法和装置 - Google Patents
追踪识别视频图像中的商品并展示商品信息的方法和装置 Download PDFInfo
- Publication number
- CN107578306A CN107578306A CN201710717770.1A CN201710717770A CN107578306A CN 107578306 A CN107578306 A CN 107578306A CN 201710717770 A CN201710717770 A CN 201710717770A CN 107578306 A CN107578306 A CN 107578306A
- Authority
- CN
- China
- Prior art keywords
- image
- virtualization
- real scene
- merchandise news
- commodity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种追踪识别视频图像中的商品并展示商品信息的方法，所述方法包括：获取实景图像；识别实景图像中的特征图像；当所述特征图像与数据库中的商品特征匹配时，将实景图像中的所述特征图像的区域作为商品图像区域加载商品信息；和显示所述商品信息。本发明还公开了一种追踪识别视频图像中的商品并展示商品信息的装置。
Description
技术领域
本申请涉及图像识别领域，具体涉及一种用于追踪识别视频图像中的商品并展示商品信息的方法和装置。
背景技术
随着个人电脑和手机等终端设备的硬件技术的不断发展，越来越多的人选择使用个人电脑或者手机等终端设备观看由视频网站提供的各种电视节目。所谓视频网站是指在相关的技术平台支持下，让互联网用户在线流畅发布、浏览和分享视频作品的网站，众所周知的视频网站有优酷网、乐视网、爱奇艺等；通常视频网站也会推出自己的视频客户端应用程序(也称视频客户端)，专门用于在手机或者个人电脑等终端设备上播放视频网站提供的视频作品，例如：优酷视频客户端、爱奇艺视频客户端等。
除此之外，随着全景摄像设备的发展，大量自媒体纷纷涌现，各类的视频作品(例如全景视频，全景直播等)在小型的App上分享，吸引了很多爱好者参与。很多赞助商(或广告商)希望将自己的广告投放到这些受众广泛的视频上，但传统的广告模式由于缺乏趣味性和交互性，很难引起观众点击的兴趣，因而转化率很低。
发明内容
有鉴于此，本发明提供了一种新的在视频上加载广告的模式，以期改善广告转化率。
根据本发明的第一方面，本发明提供一种追踪识别视频图像中的商品并展示商品信息的方法，所述方法包括：
获取实景图像；
识别实景图像中的特征图像；
当特征图像与数据库中的商品特征匹配时，将实景图像中的特征图像的区域作为商品图像区域加载商品信息；
显示所述商品信息。
在本发明的一些实施方式中，当特征图像与数据库中的商品特征标识匹配时，对实景图像进行虚拟化处理，形成第一虚拟化图像，所述第一虚拟化图像包括与所述实景图像中特征图像对应的第一虚拟对象；
在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
优选地，按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
优选地，所述第一虚拟化图像位于商品图像区域。
优选地，所述第二虚拟化图像为商品信息。
在本发明的一些实施方式中，所述第二虚拟化图像在视频播放时候显示。由于视频可以看作是由多帧实景图像的组合，因此可以看到第二虚拟化图像追随着视频中的特征图像的位置显示。
在本发明的另一些实施方式中，所述第二虚拟化图像在在视频暂停时候显示。对于一些视频观看者而言，在视频播放中显示商品信息会干扰他们观看视频。为了避免引起这样的观众的不满，可以将第二虚拟化图像设置为在视频播放时为透明的，暂停时显示内容。
根据本发明的第二方面，本发明提供一种追踪识别视频图像中的商品并展示商品信息的装置，其特征在于，包括
图像识别单元，用于获取实景图像并识别实景图像中的特征图像；
显示单元，用于显示视频和商品信息；
特征数据库，用于存储商品特征标识和对应的商品信息；和
商品信息加载单元，用于将实景图像中的所述特征图像的区域作为商品图像区域加载对应的商品信息。
在本发明的一些实施方式中，当特征图像与特征数据库中的商品特征标识匹配时，所述商品信息加载单元对所述图像识别单元获取的实景图像进行虚拟化处理，在商品图像区域形成第一虚拟化图像，所述第一虚拟化图像包含与所述实景图像中特征图像对应的第一虚拟对象；在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成包含商品信息的第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
优选地，图像识别单元按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
优选地，所述商品信息包括URL、商品介绍、和品牌介绍中的一种或多种。
附图说明
下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：
图1是根据本发明的一些实施例的追踪识别视频图像中的商品并展示商品信息的方法的流程图。
图2是根据本发明的一些实施例的追踪识别视频图像中的商品并展示商品信息的装置的示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
图1是根据本发明的一些实施例的追踪识别视频图像中的商品并展示商品信息的方法的流程图。
如图1所示，步骤S110：获取实景图像。
虚拟现实设备或者增强现实设备可以通过自身的图像采集单元对当前场景进行拍摄，产生实景图像。另外，虚拟现实设备也可以接收其他电子设备发送的实景图像。
步骤S120：识别实景图像中的特征图像。
将视频按帧分解成连续的静态图像。针对每一帧静态图像，通过计算图像边缘点和/或计算图像锐度的方式，获取所述静态图像的清晰度。采用图像分割技术把所述静态图像划分成若干个图像区域；针对每一个图像区域，获取用于描述该图像区域性质的特征值，判断所述特征值是否符合预先设定的商品图像区域的特征；若是，则判定该图像区域为商品图像区域，该区域在所述静态图像中的位置即为其中包含的商品在所述静态图像中的位置。
步骤S130：判断所述特征图像与数据库中的商品特征是否匹配。
提取所述商品图像区域中的图像特征，作为基准特征；在预先生成的特征数据库中查找与所述基准特征相匹配的候选商品特征，并获取匹配成功的候选商品特征对应的商品信息。
步骤S140：当特征图像与数据库中的商品特征匹配时，将实景图像中的特征图像的区域作为商品图像区域加载商品信息。
对获取到的实景图像进行虚拟化处理，形成第一虚拟化图像。其中，第一虚拟化图像包含与实景图像中特征图像对应的虚拟对象。
虚拟现实设备对获取到的实景图像进行虚拟化处理，形成第一虚拟化图像，其中该第一虚拟化图像中包含与实景图像中全部或部分对象所对应的虚拟对象。
虚拟对象可以呈现三维立体状态，或平面状态。虚拟现实设备形成的第一虚拟化图像中的虚拟对象，是对实景图像中相应对象的模拟。
增强现实设备对获取到的实景图像进行虚拟化处理，具体是针对实景图像中的全部或部分特征图像添加对应的虚拟对象，添加的虚拟对象构成第一虚拟化图像。
在第一虚拟化图像中第一虚拟对象的预设位置添加标识，形成第二虚拟化图像。其中，标识用于识别所述第一虚拟对象。
第一虚拟对象为与实景图像中特定图像所对应的虚拟对象，第一虚拟对象可以为一个，也可以为多个。例如：第一虚拟对象可以为实景图像中某一对象所对应的虚拟对象，可以为实景图像中某一类对象所对应的虚拟对象，也可以为用户选中的一个或多个对象所对应的虚拟对象。
在第一虚拟对象的预设位置添加标识，该标识用于识别第一虚拟对象，有利于用户区分第一虚拟对象和其他的虚拟对象，便于用户追踪第一虚拟对象。
步骤S150：显示所述商品信息(第二虚拟化图像)。
虚拟现实设备的显示单元通常呈现封闭的显示效果，也就是说用户很难透过虚拟现实设备的显示单元看到真实的环境，往往只能看到虚拟现实设备的显示单元显示的第二虚拟化图像。
增强现实设备的显示单元呈现非封闭的显示效果，也就是说用户可以透过增强现实设备的显示单元观看真实的环境，同时观看增强现实设备通过显示单元显示的图像，对于用户而言真实场景与第二虚拟化图像是叠加显示的，能够产生虚实结合的视觉效果。
基于本发明公开的方法，电子设备对获取的实景图像进行虚拟化处理形成第一虚拟化图像，在第一虚拟化图像中第一虚拟对象的预设位置添加标识形成第二虚拟化图像，并由显示单元显示第二虚拟化图像。通过在第一虚拟化图像中第一虚拟对象的预设位置添加用于识别第一虚拟对象的标识，丰富了电子设备的功能，同时使得用户能够直观地区分第一虚拟对象和其他虚拟对象，便于用户追踪第一虚拟对象，能够提高用户体验。
实施中，在第一虚拟化图像中第一虚拟对象的预设位置添加标识可以为：在第一虚拟化图像中第一虚拟对象的预设位置添加预设的图标。
对于用户而言，通过在第一虚拟对象的预设位置添加的图标，可以直观地区分第一虚拟对象和其他虚拟对象。当实景图像中的对象的位置发生变化时，基于实景图像形成的第一虚拟化图像中，与该对象对应的虚拟对象的位置也发生相应变化，通过该虚拟对象的预设位置处的图标，可以直观地追踪虚拟对象。
在具体应用中，在第一虚拟化图像中第一虚拟对象的数量为多个的情况下，为了进一步区分多个第一虚拟对象，可以对图1所示的方法进行改进。具体的：在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的标识保持一致。
虚拟现实设备或者增强现实设备通常是按照预设时间间隔获取实景图像，并对获取到的实景图像进行虚拟化处理形成第一虚拟化图像，通过设备的显示单元显示第一虚拟化图像，从而向用户呈现出连贯的影像。
本发明上述公开的技术方案中，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，针对同一对象所对应的第一虚拟对象添加的标识保持一致。也就是说，针对同一场景形成的多个第二虚拟化图像中，同一对象对应的虚拟对象的标识是保持不变的。
实施中，还可以进一步设置不同对象对应的虚拟对象的标识是不同的。在这种情况下，用户根据各第一虚拟对象的标识，不仅可以区分各第一虚拟对象，而且根据各第一虚拟对象的标识直观地追踪第一虚拟对象。
图2是根据本发明的一些实施例的追踪识别视频图像中的商品并展示商品信息的装置的示意图。
图像识别单元101，用于获取实景图像并识别实景图像中的特征图像。所述实景图像既可以是通过自身的图像采集单元对当前场景进行拍摄，产生实景图像；也可以是拍摄好的视频图像。
将视频(或实景图像)按帧分解成连续的静态图像。针对每一帧静态图像，通过计算图像边缘点和/或计算图像锐度的方式，获取所述静态图像的清晰度。采用图像分割技术把所述静态图像划分成若干个图像区域；针对每一个图像区域，获取用于描述该图像区域性质的特征值，判断所述特征值是否符合预先设定的商品图像区域的特征；若是，则判定该图像区域为商品图像区域，该区域在所述静态图像中的位置即为其中包含的商品在所述静态图像中的位置。
特征数据库103，用于存储商品特征标识和对应的商品信息。图像识别单元101提取商品图像区域中的图像特征，作为基准特征；在预先生成的特征数据库103中查找与所述基准特征相匹配的候选商品特征，并获取匹配成功的候选商品特征对应的商品信息。
商品信息加载单元104，用于将实景图像中的所述特征图像的区域作为商品图像区域加载对应的商品信息。
当特征图像与特征数据库中的商品特征标识匹配时，所述商品信息加载单元104对所述图像识别单元获取的实景图像进行虚拟化处理，在商品图像区域形成第一虚拟化图像，所述第一虚拟化图像包含与所述实景图像中特征图像对应的第一虚拟对象；在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成包含商品信息的第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
所述商品信息包括URL、商品介绍、和品牌介绍中的一种或多种。
图像识别单元101按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
显示单元102，用于显示视频和商品信息。
虚拟现实设备(例如VR头盔、VR眼镜或VR盒子)的显示单元通常呈现封闭的显示效果，也就是说用户很难透过虚拟现实设备的显示单元看到真实的环境，往往只能看到虚拟现实设备的显示单元显示的第二虚拟化图像。
增强现实设备(例如智能手机、Pad等)的显示单元呈现非封闭的显示效果，也就是说用户可以透过增强现实设备的显示单元观看真实的环境，同时观看增强现实设备通过显示单元显示的图像，对于用户而言真实场景与第二虚拟化图像是叠加显示的，能够产生虚实结合的视觉效果。
本发明不限于上述实施方式，在本发明思想的范围内可以进行各种变更。本发明已通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。
Claims (10)
1.一种追踪识别视频图像中的商品并展示商品信息的方法，所述方法包括：
获取实景图像；
识别实景图像中的特征图像；
当所述特征图像与数据库中的商品特征匹配时，将实景图像中的所述特征图像的区域作为商品图像区域加载商品信息；
显示所述商品信息。
2.如权利要求1所述的方法，其特征在于，当特征图像与特征数据库中的商品特征标识匹配时，对实景图像进行虚拟化处理，形成第一虚拟化图像，所述第一虚拟化图像包括与所述实景图像中特征图像对应的第一虚拟对象；
在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
3.如权利要求2所述的方法，其特征在于，按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
4.如权利要求2或3所述的方法，其特征在于，所述第一虚拟化图像位于商品图像区域。
5.如权利要求4所述的方法，其特征在于，所述第二虚拟化图像为商品信息。
6.如权利要求2或3所述的方法，其特征在于，所述第二虚拟化图像在视频播放时候显示，或在视频暂停时候显示。
7.一种追踪识别视频图像中的商品并展示商品信息的装置，其特征在于，包括
图像识别单元，用于获取实景图像并识别实景图像中的特征图像；
显示单元，用于显示视频和商品信息；
特征数据库，用于存储商品特征标识和对应的商品信息；和
商品信息加载单元，用于将实景图像中的所述特征图像的区域作为商品图像区域加载对应的商品信息。
8.如权利要求7所述的装置，其特征在于，当特征图像与特征数据库中的商品特征标识匹配时，所述商品信息加载单元对所述图像识别单元获取的实景图像进行虚拟化处理，在商品图像区域形成第一虚拟化图像，所述第一虚拟化图像包含与所述实景图像中特征图像对应的第一虚拟对象；在所述第一虚拟化图像中第一虚拟对象的预设位置添加标识，生成包含商品信息的第二虚拟化图像，其中，所述标识用于识别所述第一虚拟对象。
9.如权利要求7所述的装置，其特征在于，所述商品信息包括URL、商品介绍、和品牌介绍中的一种或多种。
10.如权利要求8所述的装置，其特征在于，按照帧将视频分解成多个实景图像，在对多个实景图像进行虚拟化处理形成的多个第一虚拟化图像中，同一对象所对应的第一虚拟对象的所述标识保持一致。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2016107009434 | 2016-08-22 | ||
| CN201610700943 | 2016-08-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107578306A true CN107578306A (zh) | 2018-01-12 |
Family
ID=61035046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710717770.1A Pending CN107578306A (zh) | 2016-08-22 | 2017-08-21 | 追踪识别视频图像中的商品并展示商品信息的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578306A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378361A (zh) * | 2018-11-23 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 一种用于密集拿取物品检测的方法和装置 |
| CN110620955A (zh) * | 2018-06-19 | 2019-12-27 | 宏正自动科技股份有限公司 | 直播系统及其直播方法 |
| CN113761937A (zh) * | 2021-08-26 | 2021-12-07 | 联想(北京)有限公司 | 信息处理方法及装置、设备和存储介质 |
| CN115119004A (zh) * | 2019-05-13 | 2022-09-27 | 阿里巴巴集团控股有限公司 | 数据处理方法、信息显示方法、装置、服务器及终端设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105373938A (zh) * | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及系统 |
| CN105812680A (zh) * | 2016-03-31 | 2016-07-27 | 联想(北京)有限公司 | 图像处理方法及电子设备 |
| CN106162213A (zh) * | 2016-07-11 | 2016-11-23 | 福建方维信息科技有限公司 | 一种基于视频直播购物的商品展示方法及系统 |
-
2017
- 2017-08-21 CN CN201710717770.1A patent/CN107578306A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105373938A (zh) * | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及系统 |
| CN105812680A (zh) * | 2016-03-31 | 2016-07-27 | 联想(北京)有限公司 | 图像处理方法及电子设备 |
| CN106162213A (zh) * | 2016-07-11 | 2016-11-23 | 福建方维信息科技有限公司 | 一种基于视频直播购物的商品展示方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110620955A (zh) * | 2018-06-19 | 2019-12-27 | 宏正自动科技股份有限公司 | 直播系统及其直播方法 |
| CN110620955B (zh) * | 2018-06-19 | 2022-04-12 | 宏正自动科技股份有限公司 | 直播系统及其直播方法 |
| CN110378361A (zh) * | 2018-11-23 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 一种用于密集拿取物品检测的方法和装置 |
| CN115119004A (zh) * | 2019-05-13 | 2022-09-27 | 阿里巴巴集团控股有限公司 | 数据处理方法、信息显示方法、装置、服务器及终端设备 |
| CN115119004B (zh) * | 2019-05-13 | 2024-03-29 | 阿里巴巴集团控股有限公司 | 数据处理方法、信息显示方法、装置、服务器及终端设备 |
| CN113761937A (zh) * | 2021-08-26 | 2021-12-07 | 联想(北京)有限公司 | 信息处理方法及装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018036456A1 (zh) | 追踪识别视频图像中的商品并展示商品信息的方法和装置 | |
| US11405664B2 (en) | System and method for recognition of items in media data and delivery of information related thereto | |
| US11482192B2 (en) | Automated object selection and placement for augmented reality | |
| JP6952763B2 (ja) | メディア表示と同期したコンテンツアイテムの提示 | |
| US9930311B2 (en) | System and method for annotating a video with advertising information | |
| US20190030441A1 (en) | Using a Portable Device to Interface with a Scene Rendered on a Main Display | |
| CN108322788B (zh) | 一种视频直播中的广告展示方法及装置 | |
| US20170085964A1 (en) | Interactive Object Placement in Virtual Reality Videos | |
| US9224156B2 (en) | Personalizing video content for Internet video streaming | |
| EP3425483B1 (en) | Intelligent object recognizer | |
| CN107578306A (zh) | 追踪识别视频图像中的商品并展示商品信息的方法和装置 | |
| CN108683952A (zh) | 基于交互视频的视频内容片段推送方法及装置 | |
| CN106464773A (zh) | 增强现实的装置及方法 | |
| US20160035016A1 (en) | Method for experiencing multi-dimensional content in a virtual reality environment | |
| KR20140068332A (ko) | 증강현실 마커 인식을 이용한 메뉴판광고 서비스시스템 및 그 방법 | |
| WO2018140089A1 (en) | System and method for interactive units within virtual reality environments | |
| KR20160027486A (ko) | 광고 제공 장치, 광고 표시 장치, 광고 제공 방법, 및 광고 표시 방법 | |
| US20150106200A1 (en) | Enhancing a user's experience by providing related content | |
| WO2024001677A1 (zh) | 页面显示方法、装置、计算机设备、存储介质及程序产品 | |
| CN108769831A (zh) | 视频预告的生成方法及装置 | |
| CN112288877A (zh) | 视频播放方法、装置、电子设备及存储介质 | |
| CN111667313A (zh) | 广告展示方法、装置、客户端设备及存储介质 | |
| CN112085532B (zh) | 一种插入广告的方法、装置、计算机设备和介质 | |
| CN116962782A (zh) | 媒体信息的显示方法和装置、存储介质及电子设备 | |
| US20180365268A1 (en) | Data structure, system and method for interactive media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180112 |