CN1896918A - 手持设备上使用面部表情控制输入的方法 - Google Patents
手持设备上使用面部表情控制输入的方法 Download PDFInfo
- Publication number
- CN1896918A CN1896918A CN 200510027798 CN200510027798A CN1896918A CN 1896918 A CN1896918 A CN 1896918A CN 200510027798 CN200510027798 CN 200510027798 CN 200510027798 A CN200510027798 A CN 200510027798A CN 1896918 A CN1896918 A CN 1896918A
- Authority
- CN
- China
- Prior art keywords
- facial expression
- handheld device
- sampling
- user
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种手持设备上使用面部表情控制输入的方法,包括手持设备上的图像识别模块、中央处理模块和存储器模块,所述的图像识别模块和存储器模块均与中央处理模块相连接,其中该方法包括面部表情预先采样和定义操作、面部表情识别处理操作,所述的面部表情预先采用和定义操作包括图像识别模块对面部表情进行采样处理、进行该面部表情的存储和定义处理;所述的面部表情识别处理操作包括图像识别模块对面部表情进行采样处理、进行命令匹配判断处理。采用该种结构的手持设备上使用面部表情控制输入的方法,具备极高的安全性,同时具备了较高的便捷性,在某种程度上解放了人的双手,使其适用的范围较广。
Description
技术领域
本发明涉及手持设备领域,特别涉及手持设备上的控制输入方法领域,具体是指一种手持设备上使用面部表情控制输入的方法。
背景技术
随着科学技术的不断发展,手持设备如PDA,手机的使用越来越普及,控制输入方法也日新月异,从大家所熟悉的键盘按键输入方法到触摸屏输入方法,手持设备的操作控制变得越来越便捷,再到目前最新的语音辨识控制输入方法,用户仅仅需要简单地动动嘴即可命令手持设备完成相应的功能,避免不胜其烦地反复输入。以上这几种方法,各有各的优势。但是,这还不是最简便的方法,对于聋哑人而言,这种输入方法就无法起作用了,这样就限制了手持设备的使用范围,同时也降低了手持设备本身的安全性。
发明内容
本发明的目的是克服了上述现有技术中的缺点,提供一种通过人面部表情进行输入控制、安全稳定有效、方便快捷、适用面较广的手持设备上使用面部表情控制输入的方法。
为了实现上述的目的,本发明的手持设备上使用面部表情控制输入的方法如下:
该手持设备上使用面部表情控制输入的方法,包括手持设备上的图像识别模块、中央处理模块和存储器模块,所述的图像识别模块和存储器模块均与中央处理模块相连接,其主要特点是,所述的方法包括面部表情预先采样和定义操作、面部表情识别处理操作,所述的面部表情预先采用和定义操作包括以下步骤:
(1)手持设备根据用户操作进入面部表情采样功能;
(2)手持设备上的中央处理模块开启图像识别模块;
(3)该图像识别模块对面部表情进行采样处理;
(4)手持设备提示用户是否对当前采样的面部表情满意;
(5)手持设备判断用户的操作,如果是满意,则进行该面部表情的存储和定义处理;
(6)反之,则返回上述步骤(3);
(7)手持设备判断用户操作是否继续面部表情采样;
(8)如果是,则继续面部表情采样;反之,则结束该功能;
所述的面部表情识别处理操作包括以下步骤:
(1)手持设备根据用户操作进行开机过程;
(2)手持设备上的中央处理模块开启图像识别模块;
(3)该图像识别模块对面部表情进行采样处理;
(4)手持设备对采样得到的信息进行命令匹配判断处理;
(5)如果匹配成功,则执行相应的命令;
(6)反之,则判断命令匹配判断处理的次数是否超过预设次数,如果已经超过,则退出;反之则返回上述步骤(3)。
该手持设备上使用面部表情控制输入的方法的对面部表情进行采样处理包括以下步骤:
(1)图像识别模块对外部面部表情图形进行侦测;
(2)对侦测到的图形进行A/D采样。
该手持设备上使用面部表情控制输入的方法的面部表情的存储和定义处理包括以下步骤:
(1)中央处理模块将A/D采样的图形信息存储进入存储器模块中;
(2)手持设备根据用户操作对该面部表情图形信息赋予一个代码。
该手持设备上使用面部表情控制输入的方法的命令匹配判断处理包括以下步骤:
(1)中央处理模块将A/D采样的图形信息与存储器模块中存储的面部表情图形信息相比较判断;
(2)如果比较成功,则将该图形信息转换成为对应的代码;反之则丢弃该图形信息;
(3)如果该对应的代码和相应的命令能够匹配,则匹配成功。
该手持设备上使用面部表情控制输入的方法的命令匹配判断处理的预设次数为3次。
该手持设备上使用面部表情控制输入的方法还包括命令编辑设定操作,该命令编辑设定操作包括以下步骤:
(1)手持设备根据用户操作进入面部表情命令编辑设定功能;
(2)手持设备提示用户是否定义组合表情命令;
(3)手持设备判断用户操作,如果是,则关联组合表情到指定的命令;
(4)如果否,则关联单一表情到指定的命令;
(5)将该表情命令存储进入存储器模块中。
该手持设备上使用面部表情控制输入的方法的面部表情包括预先定义好的面部表情和用户自定义的面部表情,其中预先定义好的面部表情诸如:“笑脸”、“闭一只眼睛”、“吐舌头”、“闭一只眼睛+吐舌头”、“眼睛朝上看”、“张大嘴”、“吃惊”、“生气”和“禁声”,用户可根据个人习惯自行选取定义成为自定义的面部表情。
采用了该发明的手持设备上使用面部表情控制输入的方法,由于在手持设备中增加了图像识别模块,使得手持设备通过该图像识别模块识别外部图像,不同的外部图像对应不同的操控命令,根据识别到的不同图像来完成相应的的任务;同时以人的脸部表情作为识别的主体,因为人脸容易获得,不会丢失,且无需随身携带;不仅如此,该方法具备极高的安全性,用户可以用一个或一组面部表情做为开机密码,每个人的脸部特征均不同,人脸不具备可复制性,大大提高了安全性;同时具备了较高的便捷性,在某种程度上解放了人的双手,使其适用的范围较广。
附图说明
图1为本发明的手持设备上使用面部表情控制输入的方法硬件系统功能模块示意图。
图2为本发明的手持设备上使用面部表情控制输入的方法面部表情预先采用和定义操作流程图。
图3为本发明的手持设备上使用面部表情控制输入的方法面部表情识别处理操作流程图。
图4为本发明的手持设备上使用面部表情控制输入的方法命令编辑设定操作流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容,特举以下实施例详细说明。
请参阅图1所示,该手持设备上使用面部表情控制输入的装置,包括其上的图像识别模块1、中央处理模块2和存储器模块3,所述的图像识别模块1和存储器模块3均与中央处理模块2相连接。
再请参阅图2至图4所示,该手持设备上使用面部表情控制输入的方法包括面部表情预先采样和定义操作、面部表情识别处理操作和命令编辑设定操作,所述的面部表情预先采用和定义操作包括以下步骤:
(1)手持设备根据用户操作进入面部表情采样功能;
(2)手持设备上的中央处理模块2开启图像识别模块1;
(3)该图像识别模块1对面部表情进行采样处理,该采样处理包括以下步骤:
(a)图像识别模块对外部面部表情图形进行侦测;
(b)对侦测到的图形进行A/D采样;
(4)手持设备提示用户是否对当前采样的面部表情满意;
(5)手持设备判断用户的操作,如果是满意,则进行该面部表情的存储和定义处理,该存储和定义处理包括以下步骤:
(a)中央处理模块将A/D采样的图形信息存储进入存储器模块中;
(b)手持设备根据用户操作对该面部表情图形信息赋予一个代码;
(6)反之,则返回上述步骤(3);
(7)手持设备判断用户操作是否继续面部表情采样;
(8)如果是,则继续面部表情采样;反之,则结束该功能;
所述的面部表情识别处理操作包括以下步骤:
(1)手持设备根据用户操作进行开机过程;
(2)手持设备上的中央处理模块2开启图像识别模块1;
(3)该图像识别模块1对面部表情进行采样处理,其处理过程同前述相同;
(4)手持设备对采样得到的信息进行命令匹配判断处理,该手持设备上使用面部表情控制输入的方法的命令匹配判断处理包括以下步骤:
(a)中央处理模块将A/D采样的图形信息与存储器模块中存储的面部表情图形信息相比较判断;
(b)如果比较成功,则将该图形信息转换成为对应的代码;反之则丢弃该图形信息;
(c)如果该对应的代码和相应的命令能够匹配,则匹配成功;
(5)如果匹配成功,则执行相应的命令;
(6)反之,则判断命令匹配判断处理的次数是否超过预设次数,如果已经超过,则退出;反之则返回上述步骤(3),5、该命令匹配判断处理的预设次数通常为3次。
该命令编辑设定操作包括以下步骤:
(1)手持设备根据用户操作进入面部表情命令编辑设定功能;
(2)手持设备提示用户是否定义组合表情命令;
(3)手持设备判断用户操作,如果是,则关联组合表情到指定的命令;
(4)如果否,则关联单一表情到指定的命令;
(5)将该表情命令存储进入存储器模块3中。
在实际使用当中,当使用者启动具备本发明的装置后,中央处理模块2会开启图像识别模块1,图像识别模块1开始对外部物体进行实时地识别,并把采样得到的数据同存储器模块3中预先设定的命令组进行比较,如匹配则中央处理模块2根据识别到的命令完成相应的动作,如三次后仍未匹配,则结束命令。
使用者可以预先采样并定义几中常用的表情,并给他们编号,比如1→
(笑脸),2→
(闭一只眼睛),3→
(吐舌头),4→
(闭一只眼睛+吐舌头),5→
(眼睛朝上看),5→
(张大嘴),6→
(吃惊),7→
(生气),8→
(禁声)等。
所述的面部表情包括预先定义好的面部表情和用户自定义的面部表情,其中预先定义好的面部表情诸如:“笑脸”、“闭一只眼睛”、“吐舌头”、“闭一只眼睛+吐舌头”、“眼睛朝上看”、“张大嘴”、“吃惊”、“生气”和“禁声”,用户可根据个人习惯自行选取定义成为自定义的面部表情。
在实际使用中,有以下实施例:
实例一:
用户开机,提示输入密码,这时中央处理模块2会开启图像识别模块1,图像识别模块1开始对外部物体进行实时地识别,并把采样得到的数据同存储器模块3中预先设定的命令组进行比较,如用户设置本装置开机密码为
(笑脸)
(闭一只眼睛)
(吐舌头),表情代码序列为“123”,用户依次做出上述三种表情,图像识别模块1进行数据采集并进行A/D采样后,如识别到上述表情,则匹配成功,中央处理模块2执行相应的解密开机动作,如三次识别后仍未匹配,则结束命令。仅仅需要做以上三种表情即可完成整个密码验证过程。
实例二:
采用了以上的手持设备上使用面部表情控制输入的方法,由于在手持设备中增加了图像识别模块,使得手持设备通过该图像识别模块识别外部图像,不同的外部图像对应不同的操控命令,根据识别到的不同图像来完成相应的的任务;同时以人的脸部表情作为识别的主体,因为人脸容易获得,不会丢失,且无需随身携带;不仅如此,该方法具备极高的安全性,用户可以用一个或一组面部表情做为开机密码,每个人的脸部特征均不同,人脸不具备可复制性,大大提高了安全性;同时具备了较高的便捷性,在某种程度上解放了人的双手,使其适用的范围较广。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
Claims (7)
1、一种手持设备上使用面部表情控制输入的方法,包括手持设备上的图像识别模块、中央处理模块和存储器模块,所述的图像识别模块和存储器模块均与中央处理模块相连接,其特征在于,所述的方法包括面部表情预先采样和定义操作、面部表情识别处理操作,所述的面部表情预先采用和定义操作包括以下步骤:
(1)手持设备根据用户操作进入面部表情采样功能;
(2)手持设备上的中央处理模块开启图像识别模块;
(3)该图像识别模块对面部表情进行采样处理;
(4)手持设备提示用户是否对当前采样的面部表情满意;
(5)手持设备判断用户的操作,如果是满意,则进行该面部表情的存储和定义处理;
(6)反之,则返回上述步骤(3);
(7)手持设备判断用户操作是否继续面部表情采样;
(8)如果是,则继续面部表情采样;反之,则结束该功能;
所述的面部表情识别处理操作包括以下步骤:
(1)手持设备根据用户操作进行开机过程;
(2)手持设备上的中央处理模块开启图像识别模块;
(3)该图像识别模块对面部表情进行采样处理;
(4)手持设备对采样得到的信息进行命令匹配判断处理;
(5)如果匹配成功,则执行相应的命令;
(6)反之,则判断命令匹配判断处理的次数是否超过预设次数,如果已经超过,则退出;反之则返回上述步骤(3)。
2、根据权利要求1所述的手持设备上使用面部表情控制输入的方法,其特征在于,所述的对面部表情进行采样处理包括以下步骤:
(1)图像识别模块对外部面部表情图形进行侦测;
(2)对侦测到的图形进行A/D采样。
3、根据权利要求2所述的手持设备上使用面部表情控制输入的方法,其特征在于,所述的面部表情的存储和定义处理包括以下步骤:
(1)中央处理模块将A/D采样的图形信息存储进入存储器模块中;
(2)手持设备根据用户操作对该面部表情图形信息赋予一个代码。
4、根据权利要求3所述的手持设备上使用面部表情控制输入的方法,其特征在于,所述的命令匹配判断处理包括以下步骤:
(1)中央处理模块将A/D采样的图形信息与存储器模块中存储的面部表情图形信息相比较判断;
(2)如果比较成功,则将该图形信息转换成为对应的代码;反之则丢弃该图形信息;
(3)如果该对应的代码和相应的命令能够匹配,则匹配成功。
5、根据权利要求1至4中任一项所述的手持设备上使用面部表情控制输入的方法,其特征在于,所述的命令匹配判断处理的预设次数为3次。
6、根据权利要求1至4中任一项所述的手持设备上使用面部表情控制输入的方法,其特征在于,所述的方法还包括命令编辑设定操作,该命令编辑设定操作包括以下步骤:
(1)手持设备根据用户操作进入面部表情命令编辑设定功能;
(2)手持设备提示用户是否定义组合表情命令;
(3)手持设备判断用户操作,如果是,则关联组合表情到指定的命令;
(4)如果否,则关联单一表情到指定的命令;
(5)将该表情命令存储进入存储器模块中。
7、根据权利要求1至4中任一项所述的手持设备上使用面部表情控制输入的方法,其特征在于,所述的面部表情包括预先定义好的面部表情和用户自定义的面部表情,其中预先定义好的面部表情包括:“笑脸”、“闭一只眼睛”、“吐舌头”、“闭一只眼睛+吐舌头”、“眼睛朝上看”、“张大嘴”、“吃惊”、“生气”和“禁声”。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB200510027798XA CN100492258C (zh) | 2005-07-15 | 2005-07-15 | 手持设备上使用面部表情控制输入的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB200510027798XA CN100492258C (zh) | 2005-07-15 | 2005-07-15 | 手持设备上使用面部表情控制输入的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1896918A true CN1896918A (zh) | 2007-01-17 |
CN100492258C CN100492258C (zh) | 2009-05-27 |
Family
ID=37609453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200510027798XA Expired - Fee Related CN100492258C (zh) | 2005-07-15 | 2005-07-15 | 手持设备上使用面部表情控制输入的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100492258C (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101976113A (zh) * | 2010-09-28 | 2011-02-16 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于嘴唇触发的终端控制方法及终端 |
CN102316219A (zh) * | 2011-09-21 | 2012-01-11 | 深圳市同洲电子股份有限公司 | 一种网络终端设备的控制方法、装置和系统 |
CN102637071A (zh) * | 2011-02-09 | 2012-08-15 | 英华达(上海)电子有限公司 | 应用于多媒体输入设备的多媒体输入方法 |
CN102750964A (zh) * | 2012-07-30 | 2012-10-24 | 西北工业大学 | 基于表情的背景音乐控制方法及装置 |
CN102841676A (zh) * | 2011-06-23 | 2012-12-26 | 鸿富锦精密工业(深圳)有限公司 | 网页浏览控制系统及方法 |
CN103164691A (zh) * | 2012-09-20 | 2013-06-19 | 深圳市金立通信设备有限公司 | 基于手机用户的情绪识别系统及方法 |
CN103186326A (zh) * | 2011-12-27 | 2013-07-03 | 联想(北京)有限公司 | 一种应用对象操作方法及电子设备 |
CN103259796A (zh) * | 2013-05-15 | 2013-08-21 | 金硕澳门离岸商业服务有限公司 | 认证系统和方法 |
CN103399630A (zh) * | 2013-07-05 | 2013-11-20 | 北京百纳威尔科技有限公司 | 表情录音方法和装置 |
CN103576839A (zh) * | 2012-07-24 | 2014-02-12 | 广州三星通信技术研究有限公司 | 基于面部识别来控制终端操作的设备和方法 |
CN103677226A (zh) * | 2012-09-04 | 2014-03-26 | 北方工业大学 | 表情识别输入方法 |
CN105528080A (zh) * | 2015-12-21 | 2016-04-27 | 魅族科技(中国)有限公司 | 一种对移动终端进行控制的方法及装置 |
CN105700880A (zh) * | 2016-01-08 | 2016-06-22 | 广东小天才科技有限公司 | 应用程序的操作引导方法及装置 |
CN109240759A (zh) * | 2018-08-01 | 2019-01-18 | Oppo广东移动通信有限公司 | 应用程序启动方法、装置、终端设备和可读存储介质 |
CN110232549A (zh) * | 2019-06-14 | 2019-09-13 | 陌享(上海)网络科技有限公司 | 一种便于仓库管理的快速拣货方法及系统 |
-
2005
- 2005-07-15 CN CNB200510027798XA patent/CN100492258C/zh not_active Expired - Fee Related
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101976113A (zh) * | 2010-09-28 | 2011-02-16 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于嘴唇触发的终端控制方法及终端 |
CN102637071A (zh) * | 2011-02-09 | 2012-08-15 | 英华达(上海)电子有限公司 | 应用于多媒体输入设备的多媒体输入方法 |
CN102841676A (zh) * | 2011-06-23 | 2012-12-26 | 鸿富锦精密工业(深圳)有限公司 | 网页浏览控制系统及方法 |
CN102316219A (zh) * | 2011-09-21 | 2012-01-11 | 深圳市同洲电子股份有限公司 | 一种网络终端设备的控制方法、装置和系统 |
CN103186326A (zh) * | 2011-12-27 | 2013-07-03 | 联想(北京)有限公司 | 一种应用对象操作方法及电子设备 |
CN103186326B (zh) * | 2011-12-27 | 2017-11-03 | 联想(北京)有限公司 | 一种应用对象操作方法及电子设备 |
CN103576839A (zh) * | 2012-07-24 | 2014-02-12 | 广州三星通信技术研究有限公司 | 基于面部识别来控制终端操作的设备和方法 |
CN103576839B (zh) * | 2012-07-24 | 2019-03-12 | 广州三星通信技术研究有限公司 | 基于面部识别来控制终端操作的设备和方法 |
CN102750964B (zh) * | 2012-07-30 | 2014-10-29 | 西北工业大学 | 基于表情的背景音乐控制方法及装置 |
CN102750964A (zh) * | 2012-07-30 | 2012-10-24 | 西北工业大学 | 基于表情的背景音乐控制方法及装置 |
CN103677226B (zh) * | 2012-09-04 | 2016-08-03 | 北方工业大学 | 表情识别输入方法 |
CN103677226A (zh) * | 2012-09-04 | 2014-03-26 | 北方工业大学 | 表情识别输入方法 |
CN103164691A (zh) * | 2012-09-20 | 2013-06-19 | 深圳市金立通信设备有限公司 | 基于手机用户的情绪识别系统及方法 |
CN103259796A (zh) * | 2013-05-15 | 2013-08-21 | 金硕澳门离岸商业服务有限公司 | 认证系统和方法 |
CN103399630A (zh) * | 2013-07-05 | 2013-11-20 | 北京百纳威尔科技有限公司 | 表情录音方法和装置 |
CN105528080A (zh) * | 2015-12-21 | 2016-04-27 | 魅族科技(中国)有限公司 | 一种对移动终端进行控制的方法及装置 |
CN105700880A (zh) * | 2016-01-08 | 2016-06-22 | 广东小天才科技有限公司 | 应用程序的操作引导方法及装置 |
CN109240759A (zh) * | 2018-08-01 | 2019-01-18 | Oppo广东移动通信有限公司 | 应用程序启动方法、装置、终端设备和可读存储介质 |
CN110232549A (zh) * | 2019-06-14 | 2019-09-13 | 陌享(上海)网络科技有限公司 | 一种便于仓库管理的快速拣货方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN100492258C (zh) | 2009-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1896918A (zh) | 手持设备上使用面部表情控制输入的方法 | |
CN100345163C (zh) | 虹膜编码方法、个人认证方法、虹膜编码登录装置、虹膜认证装置 | |
US8791914B2 (en) | Input method applied in electronic devices | |
CN1881994A (zh) | 一种用于移动设备的手写输入及手势识别的方法和装置 | |
US20090153366A1 (en) | User interface apparatus and method using head gesture | |
CN102193633B (zh) | 一种数据手套动态手语识别方法 | |
CN1625766A (zh) | 手运动跟踪和笔迹识别设备与方法 | |
US20100090945A1 (en) | Virtual input system and method | |
CN1447955A (zh) | 根据面部图像的形态信息生成合成面部图像的装置和方法 | |
CN1648841A (zh) | 通用计算设备 | |
CN1591569A (zh) | 语音通信系统和方法、及机器人装置 | |
CN1834986A (zh) | 面部认证装置、控制方法、程序、电子设备及记录介质 | |
CN1445663A (zh) | 手写签名鉴定程序、方法和设备 | |
CN1617166A (zh) | 信息处理设备和签名数据输入程序 | |
CN1737902A (zh) | 文字语音互转装置 | |
CN101034481A (zh) | 一种肖像画的自动生成方法 | |
CN106293102A (zh) | 一种基于用户心情变化情绪的机器人情感交流方法 | |
CN1933553A (zh) | 数码相机中基于人脸识别与tts结合的位置调整提示的方法 | |
CN105205380A (zh) | 一种移动终端的解锁方法及装置 | |
CN1141666C (zh) | 利用标准笔划识别输入字符的在线字符识别系统 | |
CN101067803A (zh) | 一种图像处理系统及其方法 | |
CN1841280A (zh) | 一种便携式键盘及其指纹特征信息提取方法 | |
CN1892527A (zh) | 嵌入式指纹加密识别设备及其指纹加密识别方法 | |
CN1470975A (zh) | 一种汉字输入方法和使用该方法的系统 | |
CN1801180A (zh) | 基于眉毛识别的身份鉴别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090527 Termination date: 20210715 |