CN102566740A - 具有情绪识别功能的电子装置及其输出控制方法 - Google Patents

具有情绪识别功能的电子装置及其输出控制方法 Download PDF

Info

Publication number
CN102566740A
CN102566740A CN2010105912956A CN201010591295A CN102566740A CN 102566740 A CN102566740 A CN 102566740A CN 2010105912956 A CN2010105912956 A CN 2010105912956A CN 201010591295 A CN201010591295 A CN 201010591295A CN 102566740 A CN102566740 A CN 102566740A
Authority
CN
China
Prior art keywords
mood
electronic installation
unit
characteristic parameter
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105912956A
Other languages
English (en)
Inventor
蒋晓群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuzhan Precision Technology Co ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Shenzhen Yuzhan Precision Technology Co ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuzhan Precision Technology Co ltd, Hon Hai Precision Industry Co Ltd filed Critical Shenzhen Yuzhan Precision Technology Co ltd
Priority to CN2010105912956A priority Critical patent/CN102566740A/zh
Publication of CN102566740A publication Critical patent/CN102566740A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

一种具有情绪识别功能的电子装置包括存储单元、操作控制单元、影像感测单元、特征参数提取单元及判断单元，存储单元存储多个特征参数所代表的情绪及为每种情绪预设的电子装置的操作。影像感测单元获取使用者的影像信息；特征参数提取单元从影像信息中提取当前使用者的特征参数；判断单元根据特征参数及存储在存储单元中的相关数据判断当前用户的情绪值；操作控制单元根据所确定的情绪值及存储在存储单元中的相关数据执行相应的操作。本发明还提供一种相应的输出控制方法。通过本发明的电子装置及其输出控制方法，能够自动判断使用者的情绪，并跟据所判断的情绪执行相应的操作，以调节使用者的心情。

Description

具有情绪识别功能的电子装置及其输出控制方法
技术领域
本发明涉及一种具有情绪识别功能的电子装置及方法，特别涉及一种根据所识别的情绪控制输出的电子装置及其输出控制方法。
背景技术
目前，一些电子装置如电脑，个人数字助理(PDA)等，需要进行输入控制操作时，一般需要用手去操作对应的输入装置，如物理键盘、触摸屏等。用户在操作电子装置时，一般会根据自己的情绪去选择一些操作，如播放歌曲或视频，在高兴的时候，播放一些欢快的音乐等，在伤心的时候播放一些搞笑的视频。但目前这些操作都需要用户手动操作。故如果电子装置能够自动识别用户的情绪，并根据所识别的情绪进行不同的输出，不但无需用户手动操作，还可调节用户的心情。
发明内容
本发明提供一种具有情绪识别功能的电子装置及其输出控制方法，能够自动识别用户的情绪，并根据用户的情绪进行相应的输出。
该具有情绪识别功能的电子装置包括一存储单元、一操作控制单元、一影像感测单元、一特征参数提取单元及一判断单元，该存储单元存储多个原始特征参数所代表的情绪及为每种情绪预设的电子装置的操作；该影像感测单元每隔一预定时间或响应使用者的操作获取使用者的影像信息；该特征参数提取单元从该影像感测单元感测的影像信息中提取当前使用者的特征参数；该判断单元根据当前使用者的特征参数及该存储在存储单元中的特征参数所代表的情绪判断当前用户的情绪值；该操作控制单元根据所确定的当前使用者的情绪值及存储在存储单元中的每种情绪值所预设的电子装置的输出操作执行相应的操作。
本发明还提供一种具有表情识别功能的电子装置输出控制方法，用于控制电子装置的输出，该电子装置包括一存储单元，该存储单元存储有多个特征参数所代表的情绪及为每种情绪值预设的电子装置的操作，该输出控制方法包括步骤：感测使用者的影像信息；从感测的影像信息中提取当前使用者的特征参数；根据当前使用者的特征参数及该存储在存储单元中的特征参数所代表的情绪判断当前用户的情绪值；根据所确定的当前使用者的情绪值及存储在存储单元中的每种情绪值所预设的电子装置的输出操作执行相应的操作。
相较于现有技术，本发明的电子装置能够自动判断使用者的情绪，并跟据所判断的情绪执行相应的操作，以调节使用者的心情。
附图说明
图1为本发明一实施方式中一种具有情绪识别功能的电子装置的模块图。
图2为本发明一实施方式中一种具有情绪识别功能的电子装置输出控制方法的流程图。
主要元件符号说明
  具有表情识别功能的电子装置   100
  存储单元   10
  影像感测单元   20
  特征参数提取单元   30
  判断单元   40
  操作控制单元   50
  音频输出单元   60
  显示单元   70
  步骤   S101-S104
具体实施方式
请参阅图1，为具有表情识别功能的电子装置100的模块图。该电子装置100包括一存储单元10、一影像感测单元20、一特征参数提取单元30、一判断单元40及一操作控制单元50。该存储单元10存储多个特征参数所代表的情绪及为每种情绪预设的电子装置100的输出操作。该特征参数为人脸特征参数，用于反映人体面部表情的特征，即为与眉毛、嘴巴、眼睛等脸部结构相关的参数，例如，关于嘴角上翘的高度、两条眉毛间的距离、左嘴角与右嘴角间的距离等。与实际生活中不同使用者在不同表情时的脸部结构相结合，该存储单元10中可预设不同的特征参数代表不同的情绪。本实施方式中，每种特征参数所代表的情绪记录在表1中，而为每种情绪所预设的电子装置100的输出操作记录在表2中。该情绪包括高兴、伤心、生气等。为了判断更加准确，在本实施方式中，该每个情绪对应的参数A均包括至少两个以上相关参数。该不同情绪对应的输出操作可根据使用者的喜好进行设置。
表1
  原始特征参数   情绪值
  参数A1   高兴
  参数A2   伤心
  参数A3   生气
  ......   ......
表2
  情绪值   执行操作
  高兴   操作1
  伤心   操作2
  生气   操作3
  ......   ......
该影像感测单元20每隔一预定时间或响应使用者的操作获取使用者的影像信息；该特征参数提取单元30从该影像感测单元20感测的影像信息中提取当前使用者的特征参数；该判断单元40判断所提取的当前使用者的特征参数是否与记录在存储单元10中表1中的其中一特征参数相匹配，若相匹配，则获取该特征参数对应的情绪值。该操作控制单元50根据当前使用者的情绪值从表2中获取并执行该情绪值对应的电子装置100的输出操作，以调节使用者的情绪。在本实施方式中，该影像感测单元20为照相机，该影像感测单元20感测到的影像信息为使用者的脸部信息。
该具有表情识别功能的电子装置100还包括一音频输出单元60及一显示单元70，该音频输出单元60和该显示单元70分别用来输出音频信息和可视信息。该执行的输出操作包括播放指定的音频文件、视频文件等。例如，当该具有表情识别功能的电子装置100判断出使用者当前的情绪为高兴时，对应播放喜庆的音乐；当判断出使用者当前的情绪为伤心时，对应播放搞笑的视频，以愉悦使用者。
一种具有表情识别功能的电子装置输出控制方法，用于控制电子装置100的输出，该电子装置100包括一存储单元10，该存储单元10存储有多个特征参数所代表的情绪及为每种情绪值预设的电子装置100的操作，该输出控制方法包括以下步骤：
执行S101，感测使用者的影像信息；
执行S102，从感测的影像信息中提取当前使用者的特征参数；
执行S103，根据当前使用者的特征参数及该存储在存储单元中的特征参数所代表的情绪判断当前用户的情绪值；
执行S104，根据所确定的当前使用者的情绪值及存储在存储单元中的每种情绪值所预设的电子装置的输出操作执行相应的操作。
该感测到的影像信息为使用者的脸部信息。该特征参数为人脸特征参数，包括脸部结构的相关参数，如关于嘴角上翘的高度、两条眉毛间的距离、左嘴角与右嘴角间的距离等。该相应的操作包括播放指定的音频文件及视频文件等。
通过本发明的具有情绪识别功能的电子装置及其输出控制方法，该电子装置能够自动识别使用者的情绪，并跟据所识别的情绪执行相应的操作，以调节使用者的心情。

Claims (10)

1.一种具有情绪识别功能的电子装置，包括一存储单元及一操作控制单元，其特征在于，该存储单元存储多个特征参数所代表的情绪及为每种情绪预设的电子装置的操作；
该具有情绪识别功能的电子装置还包括：
一影像感测单元，每隔一预定时间或响应使用者的操作获取使用者的影像信息；
一特征参数提取单元，从该影像感测单元感测的影像信息中提取当前使用者的特征参数；
一判断单元，根据当前使用者的特征参数及该存储在存储单元中的特征参数所代表的情绪判断当前用户的情绪值；
一操作控制单元，根据所确定的当前使用者的情绪值及存储在存储单元中的每种情绪值所预设的电子装置的输出操作执行相应的操作。
2.如权利要求1所述的具有情绪识别功能的电子装置，其特征在于，该具有情绪识别功能的电子装置还包括一音频输出单元和一显示单元，该音频输出单元和该显示单元分别用来输出音频信息和可视信息，该相应的操作包括播放指定的音频文件及视频文件。
3.如权利要求1所述的具有情绪识别功能的电子装置，其特征在于，该特征参数包括人脸特征参数，该人脸特征参数为与脸部结构相关的参数，包括嘴角上翘的高度、两条眉毛间的距离、左嘴角与右嘴角间的距离。
4.如权利要求3所述的具有情绪识别功能的电子装置，其特征在于，该每个情绪对应的特征参数均包括至少两个以上相关参数。
5.如权利要求1所述的具有情绪识别功能的电子装置，其特征在于，该影像感测单元为摄像头。
6.一种具有表情识别功能的电子装置输出控制方法，用于控制电子装置的输出，该电子装置包括一存储单元，该存储单元存储多个特征参数所代表的情绪及为每种情绪值预设的电子装置的操作，其特征在于，该具有表情识别功能的电子装置输出控制方法包括步骤：
感测使用者的影像信息；
从感测的影像信息中提取当前使用者的特征参数；
根据当前使用者的特征参数及该存储在存储单元中的特征参数所代表的情绪判断当前用户的情绪值；
根据所确定的当前使用者的情绪值及存储在存储单元中的每种情绪值所预设的电子装置的输出操作执行相应的操作。
7.如权利要求6所述的具有表情识别功能的电子装置输出控制方法，其特征在于，该电子装置还包括一音频输出单元和一显示单元，该音频输出单元和该显示单元分别用来输出音频信息和可视信息，该相应的操作包括播放指定的音频文件及视频文件。
8.如权利要求6所述的具有表情识别功能的电子装置输出控制方法，其特征在于，该特征参数包括人脸特征参数，该人脸特征参数为与脸部结构相关的参数，包括嘴角上翘的高度、两条眉毛间的距离、左嘴角与右嘴角间的距离。
9.如权利要求8所述的具有表情识别功能的电子装置输出控制方法，其特征在于，该每个情绪对应的特征参数均包括至少两个以上相关参数。
10.如权利要求6所述的具有表情识别功能的电子装置输出控制方法，其特征在于，该影像感测单元为摄像头。
CN2010105912956A 2010-12-16 2010-12-16 具有情绪识别功能的电子装置及其输出控制方法 Pending CN102566740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105912956A CN102566740A (zh) 2010-12-16 2010-12-16 具有情绪识别功能的电子装置及其输出控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105912956A CN102566740A (zh) 2010-12-16 2010-12-16 具有情绪识别功能的电子装置及其输出控制方法

Publications (1)

Publication Number Publication Date
CN102566740A true CN102566740A (zh) 2012-07-11

Family

ID=46412327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105912956A Pending CN102566740A (zh) 2010-12-16 2010-12-16 具有情绪识别功能的电子装置及其输出控制方法

Country Status (1)

Country Link
CN (1) CN102566740A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868815A (zh) * 2012-09-06 2013-01-09 北京天宇朗通通信设备股份有限公司 移动终端的信息分类方法及装置
CN102880387A (zh) * 2012-09-06 2013-01-16 北京天宇朗通通信设备股份有限公司 电子书信息处理方法和装置及移动终端
CN102880388A (zh) * 2012-09-06 2013-01-16 北京天宇朗通通信设备股份有限公司 音乐处理方法和装置及移动终端
CN102902726A (zh) * 2012-09-06 2013-01-30 北京天宇朗通通信设备股份有限公司 电子邮件的分类方法和装置
CN102929476A (zh) * 2012-09-06 2013-02-13 北京天宇朗通通信设备股份有限公司 终端主菜单的控制方法和装置
CN102957743A (zh) * 2012-10-18 2013-03-06 北京天宇朗通通信设备股份有限公司 数据推送方法及装置
CN103126690A (zh) * 2013-01-28 2013-06-05 周万荣 一种基于应用的人体情绪识别及控制方法及设备和系统
CN103136321A (zh) * 2012-09-06 2013-06-05 北京天宇朗通通信设备股份有限公司 多媒体信息处理方法和装置及移动终端
CN103412646A (zh) * 2013-08-07 2013-11-27 南京师范大学 基于脑机交互的音乐情绪化推荐方法
CN103425247A (zh) * 2013-06-04 2013-12-04 深圳市中兴移动通信有限公司 一种基于用户反应的操控终端及其信息处理方法
CN103593049A (zh) * 2013-11-01 2014-02-19 小米科技有限责任公司 一种处理提醒消息的方法、装置及终端设备
CN103654799A (zh) * 2013-12-13 2014-03-26 Tcl集团股份有限公司 一种基于脑电波的婴儿情绪检测方法和装置
CN103826160A (zh) * 2014-01-09 2014-05-28 广州三星通信技术研究有限公司 获取视频的信息的方法及设备及播放视频的方法及设备
CN104615252A (zh) * 2015-02-16 2015-05-13 联想(北京)有限公司 控制方法、控制装置、穿戴式电子设备及电子设备
CN105528705A (zh) * 2014-10-24 2016-04-27 阿里巴巴集团控股有限公司 用于确定用户操作信息的方法及装置
CN105637887A (zh) * 2013-08-15 2016-06-01 真实眼私人有限公司 支持包括交互收集计算机用户数据的视频印象分析的方法
CN105938390A (zh) * 2015-03-03 2016-09-14 卡西欧计算机株式会社 内容输出装置、内容输出方法
CN106293074A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种情绪识别方法和移动终端
CN106845069A (zh) * 2016-12-14 2017-06-13 新乡医学院 一种心理危机电子调整系统及其调整方法
CN107145326A (zh) * 2017-03-28 2017-09-08 浙江大学 一种基于目标面部表情采集的音乐自动播放系统及方法
CN107368777A (zh) * 2017-06-02 2017-11-21 广州视源电子科技股份有限公司 一种微笑动作检测方法和装置及活体识别方法和系统
CN107566612A (zh) * 2017-08-09 2018-01-09 广东欧珀移动通信有限公司 音乐偏好模式设置方法、装置及移动设备
CN110023816A (zh) * 2016-12-01 2019-07-16 黄绅嘉 辨别情绪或心理状态的系统
CN110197677A (zh) * 2019-05-16 2019-09-03 北京小米移动软件有限公司 一种播放控制方法、装置及播放设备
CN111127830A (zh) * 2018-11-01 2020-05-08 奇酷互联网络科技（深圳）有限公司 基于监控设备的报警方法、报警系统和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393599A (zh) * 2007-09-19 2009-03-25 中国科学院自动化研究所 一种基于人脸表情的游戏角色控制方法
CN201289739Y (zh) * 2008-11-18 2009-08-12 天津三星电子有限公司 自动表情识别遥控视频播放机
CN101593465A (zh) * 2009-07-06 2009-12-02 北京派瑞根科技开发有限公司 随表情变化的电子画
CN101674363A (zh) * 2009-09-23 2010-03-17 中兴通讯股份有限公司 移动设备及通话方法
CN101836219A (zh) * 2007-11-01 2010-09-15 索尼爱立信移动通讯有限公司 基于面部表情生成音乐播放列表

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393599A (zh) * 2007-09-19 2009-03-25 中国科学院自动化研究所 一种基于人脸表情的游戏角色控制方法
CN101836219A (zh) * 2007-11-01 2010-09-15 索尼爱立信移动通讯有限公司 基于面部表情生成音乐播放列表
CN201289739Y (zh) * 2008-11-18 2009-08-12 天津三星电子有限公司 自动表情识别遥控视频播放机
CN101593465A (zh) * 2009-07-06 2009-12-02 北京派瑞根科技开发有限公司 随表情变化的电子画
CN101674363A (zh) * 2009-09-23 2010-03-17 中兴通讯股份有限公司 移动设备及通话方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880387A (zh) * 2012-09-06 2013-01-16 北京天宇朗通通信设备股份有限公司 电子书信息处理方法和装置及移动终端
CN102880388A (zh) * 2012-09-06 2013-01-16 北京天宇朗通通信设备股份有限公司 音乐处理方法和装置及移动终端
CN102902726A (zh) * 2012-09-06 2013-01-30 北京天宇朗通通信设备股份有限公司 电子邮件的分类方法和装置
CN102929476A (zh) * 2012-09-06 2013-02-13 北京天宇朗通通信设备股份有限公司 终端主菜单的控制方法和装置
CN103136321A (zh) * 2012-09-06 2013-06-05 北京天宇朗通通信设备股份有限公司 多媒体信息处理方法和装置及移动终端
CN102868815A (zh) * 2012-09-06 2013-01-09 北京天宇朗通通信设备股份有限公司 移动终端的信息分类方法及装置
CN102957743A (zh) * 2012-10-18 2013-03-06 北京天宇朗通通信设备股份有限公司 数据推送方法及装置
CN103126690A (zh) * 2013-01-28 2013-06-05 周万荣 一种基于应用的人体情绪识别及控制方法及设备和系统
CN103425247A (zh) * 2013-06-04 2013-12-04 深圳市中兴移动通信有限公司 一种基于用户反应的操控终端及其信息处理方法
CN103412646B (zh) * 2013-08-07 2016-03-30 南京师范大学 基于脑机交互的音乐情绪化推荐方法
CN103412646A (zh) * 2013-08-07 2013-11-27 南京师范大学 基于脑机交互的音乐情绪化推荐方法
CN105637887A (zh) * 2013-08-15 2016-06-01 真实眼私人有限公司 支持包括交互收集计算机用户数据的视频印象分析的方法
CN105637887B (zh) * 2013-08-15 2020-01-14 真实眼私人有限公司 视频印象分析的方法
US11044534B2 (en) 2013-08-15 2021-06-22 Realeyes Oü Method in support of video impression analysis including interactive collection of computer user data
US10194213B2 (en) 2013-08-15 2019-01-29 Realeyes Oü Method in support of video impression analysis including interactive collection of computer user data
CN103593049A (zh) * 2013-11-01 2014-02-19 小米科技有限责任公司 一种处理提醒消息的方法、装置及终端设备
CN103654799A (zh) * 2013-12-13 2014-03-26 Tcl集团股份有限公司 一种基于脑电波的婴儿情绪检测方法和装置
CN103826160A (zh) * 2014-01-09 2014-05-28 广州三星通信技术研究有限公司 获取视频的信息的方法及设备及播放视频的方法及设备
CN105528705A (zh) * 2014-10-24 2016-04-27 阿里巴巴集团控股有限公司 用于确定用户操作信息的方法及装置
CN104615252B (zh) * 2015-02-16 2019-02-05 联想(北京)有限公司 控制方法、控制装置、穿戴式电子设备及电子设备
CN104615252A (zh) * 2015-02-16 2015-05-13 联想(北京)有限公司 控制方法、控制装置、穿戴式电子设备及电子设备
CN105938390B (zh) * 2015-03-03 2019-02-15 卡西欧计算机株式会社 内容输出装置、内容输出方法
CN105938390A (zh) * 2015-03-03 2016-09-14 卡西欧计算机株式会社 内容输出装置、内容输出方法
CN106293074A (zh) * 2016-07-29 2017-01-04 维沃移动通信有限公司 一种情绪识别方法和移动终端
CN106293074B (zh) * 2016-07-29 2020-02-21 维沃移动通信有限公司 一种情绪识别方法和移动终端
CN110023816A (zh) * 2016-12-01 2019-07-16 黄绅嘉 辨别情绪或心理状态的系统
CN106845069A (zh) * 2016-12-14 2017-06-13 新乡医学院 一种心理危机电子调整系统及其调整方法
CN107145326A (zh) * 2017-03-28 2017-09-08 浙江大学 一种基于目标面部表情采集的音乐自动播放系统及方法
CN107145326B (zh) * 2017-03-28 2020-07-28 浙江大学 一种基于目标面部表情采集的音乐自动播放系统及方法
CN107368777A (zh) * 2017-06-02 2017-11-21 广州视源电子科技股份有限公司 一种微笑动作检测方法和装置及活体识别方法和系统
CN107566612A (zh) * 2017-08-09 2018-01-09 广东欧珀移动通信有限公司 音乐偏好模式设置方法、装置及移动设备
CN111127830A (zh) * 2018-11-01 2020-05-08 奇酷互联网络科技（深圳）有限公司 基于监控设备的报警方法、报警系统和可读存储介质
CN110197677A (zh) * 2019-05-16 2019-09-03 北京小米移动软件有限公司 一种播放控制方法、装置及播放设备

Similar Documents

Publication Publication Date Title
CN102566740A (zh) 具有情绪识别功能的电子装置及其输出控制方法
JP6777201B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10049675B2 (en) User profiling for voice input processing
CN103699547B (zh) 一种应用程序推荐方法及终端
US8909636B2 (en) Lifestyle collecting apparatus, user interface device, and lifestyle collecting method
CN108121490A (zh) 用于处理多模式输入的电子装置、方法和服务器
CN104166689B (zh) 电子书籍的呈现方法及装置
CN105453070B (zh) 基于机器学习的用户行为表征
CN109147826B (zh) 音乐情感识别方法、装置、计算机设备及计算机存储介质
CN109766013A (zh) 诗词语句输入推荐方法、装置和电子设备
CN107480161A (zh) 用于媒体探究的智能自动化助理
CN103207675A (zh) 制作媒体节目集锦或扩充媒体节目
CN107483445A (zh) 一种静默声纹识别注册方法、装置、服务器和存储介质
CN102868830A (zh) 一种移动终端主题的切换控制方法及装置
CN106202073A (zh) 音乐推荐方法及系统
CN108140030A (zh) 对话系统、终端、控制对话的方法及使计算机发挥对话系统功能的程序
CN103164691A (zh) 基于手机用户的情绪识别系统及方法
CN107169920A (zh) 一种智能修图方法及终端
CN101739384A (zh) 多功能电子装置及其使用方法
CN109710799B (zh) 语音交互方法、介质、装置和计算设备
CN103034689A (zh) 电子烟的口数统计方法
CN103092348A (zh) 一种基于用户行为的移动终端广告播放方法
KR20160021132A (ko) 사용자들에 대한 제스처 기반 광고 프로파일들
CN108257596A (zh) 一种用于提供目标呈现信息的方法与设备
KR20190000246A (ko) 감정 기반 사운드 제어 장치 및 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711