CN1392825A - 机器人设备及其控制方法 - Google Patents

机器人设备及其控制方法 Download PDF

Info

Publication number
CN1392825A
CN1392825A CN01803024A CN01803024A CN1392825A CN 1392825 A CN1392825 A CN 1392825A CN 01803024 A CN01803024 A CN 01803024A CN 01803024 A CN01803024 A CN 01803024A CN 1392825 A CN1392825 A CN 1392825A
Authority
CN
China
Prior art keywords
shooting
behavior
user
video recording
prior notice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN01803024A
Other languages
English (en)
Inventor
尾暮聪子
野间英树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1392825A publication Critical patent/CN1392825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00Computerized interactive toys, e.g. dolls

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

一种机器人设备包括用于对目标进行摄像的摄像装置,和用于警告摄像装置在对目标进行摄像的通警告装置。一种用于控制该机器人设备的方法,包括在摄像前警告摄像装置在对目标进行摄像的步骤。从而,可以防止不顾用户意图的偷拍,并且因此可以保护用户的隐私。

Description

机器人设备及其控制方法
                        技术领域
本发明涉及一种机器人设备及其控制方法,并且例如特别适合应用于宠物机器人。
                        背景技术
根据用户命令和周围环境行动的四腿行走宠物机器人已由本发明的申请者提出并开发出来。这种类型的宠物机器人看起来象养在一般家庭的狗或猫,并且根据用户命令和周围环境自主行动。注意,一组动作被定义为在本描述中使用的行为。
附带地,可能将出现这种情况:如果用户对一个宠物机器人非常喜爱,他/她可能想要保留宠物机器人通常所见的场景图或宠物机器人在成长过程中的回忆场景图。
因此,如果宠物机器人在它的头上有一个摄像机设备,并且偶尔地对宠物机器人实际所见的场景进行摄像,那么即使宠物机器人将来不在用户的身边,用户也能从这些场景图或作为“图片日记”显示在个人计算机的监视器上的场景图感到更满意和熟悉,对于这一点是值得考虑的。
然而,如果恶意的用户使用这种集成摄像机的宠物机器人作为偷拍设备,来偷看别人或别人的隐私,这必定对目标人产生大的麻烦。
另一方面,即使是诚实用户,他/她遵照指示,将作为摄像结果的视频数据存储到安装在宠物机器人的存储介质中,当宠物机器人离开用户时,例如当他/她将宠物机器人送去维修,或将它送别人时,视频数据可以从存储介质进行取出并且流失。
因此,如果在他人或自己的隐私得以保护的必要条件下可以实现通过使用具有这种摄像机功能的宠物机器人创建“图片日记”的方法,用户会感到更加满意和熟悉,并且娱乐性会得到提高。
                          发明内容
鉴于上述情况,本发明的目的是提供一种可以提高娱乐性的机器人设备及其控制方法。
本发明的上述目的和其它目的通过提供一种机器人设备来进行实现,该机器人设备包括用于对主体进行摄像的摄像装置,和用于对使用摄像装置进行摄像作通知的通知装置。从而,机器人设备可以通知用户它马上将要进行实时摄像。因此,这样可以防止不顾用户意图的偷拍,以便保护用户的隐私。
而且,本发明提供一种用于该机器人设备的控制方法,包括:第一步骤,通知要对主体进行摄像;和第二步骤,对主体进行摄像。从而,该机器人设备的控制方法可以通知用户马上将要进行实时摄像。因此,这样可以防止不顾用户意图的偷拍,以便保护用户的隐私。
                        附图说明
图1是示出应用本发明的宠物机器人的外部结构的透视图;
图2是示出宠物机器人电路结构的方框图;
图3是示出LED部分的构造的部分截面图;
图4是说明控制器处理的方框图;
图5是说明情感/本能模型部分的数据处理的概念图;
图6是示出概率自动化的概念图;
图7是示出状态变换表的概念图;
图8是说明有向图(directed graph)的概念图;
图9是说明整个身体有向图的概念图;
图10是说明头部有向图的概念图;
图11是说明腿部有向图的概念图;
图12是说明尾部有向图的概念图;
图13是示出摄像处理过程的流程图;
图14是说明输出释放快门(shutter-releasing)声音时的状态的示意图;和
图15是说明存储在外部存储器中的二进制文件内容的表。
                        具体实施方式
将参照附图对本发明的优选实施例进行描述:
(1)本发明的宠物机器人1的结构
参照图1,参考号1表示本发明的宠物机器人,它通过如下方式形成:将腿部单元3A到3D接合到身体单元2的左前、右前、左后和右后部分,并且将头部单元4和尾部单元5接合到身体单元2的前端和后端。
在这种情况下,如图2所示,身体单元2包含:控制器10,用于控制宠物机器人1的整个操作;电池11,用作宠物机器人1的能源;和内部传感器部分15,包括电池传感器12、温度传感器13和加速传感器14。
另外,头部单元4具有外部传感器19,该传感器在各个位置包括对应于宠物机器人1“耳朵”的麦克风16,对应于“眼睛”的CCD(charge coupleddevice,电荷耦合器件)摄像机17和触摸传感器18,由用作外表“眼睛”的多个LED(light emitting diode,发光二级管)组成的LED部分20和用作真实“嘴巴”的扬声器21。
而且,尾部单元5提供有具有LED(下面称作精神状态显示LED)5AL的可移动尾巴5A,该LED可以发蓝色和橙色光来表示宠物机器人1的精神状态。
而且,具有自由度的调节器221到22n连到腿部单元3A到3D的关节部分、腿部单元3A到3D与身体单元2的连接部分、头部单元4和身体单元2的接触部分、和尾部单元5的尾巴5A的关节部分,并且将每个自由度设为适合于对应相连部分。
而且,外部传感器单元19的麦克风16采集外部声音,包括从用户给出的话语,用户使用声音命令器(未示出)发出音节、音乐和声音等,如“行走”、“躺下”和“追球”。然后麦克风16将所获得的采集音频信号S1A输出到音频处理部分23。
音频处理部分23根据从麦克风16提供的采集音频信号S1A,识别利用麦克风16采集的话语等的意义,并且将识别结果作为音频信号S2A输出到控制器10。音频处理部分23在控制器10的控制下生成合成声音,并且将它们作为音频信号S2B输出到扬声器21。
另一方面,外部传感器19的CCD摄像机17对它的周围进行摄像,并且将所获得的视频信号S1B传输到视频处理部分24。视频处理部分24根据从CCD摄像机17获得的视频信号S1B,识别使用CCD摄像机17进行摄像的周围环境。
而且,视频处理部分24在控制器10的控制下对来自CCD摄像机17的视频信号S3A执行预定信号处理,并且将所获得的视频信号S3B存储在外部存储器25中。外部存储器25是安装在身体单元2中的可移动存储介质。
在本实施例中,外部存储器25可以用来通过普通个人计算机(未示出)存入数据和读出数据。用户先前在他自己的个人计算机中安装预定应用软件,通过置上(put on)/取消一个标志来自由地确定是否将摄像功能(如后所述)设为活动状态,然后将置上/取消该标志的该设置存储到外部存储器25中。
而且,从图1可以看到,触摸传感器18置于头部单元4的顶部,来检测通过用户的物理刺激如“抚摸”和“击打”而获得的压力,并且将检测结果作为压力检测信号S1C输出到控制器10。
另一方面,内部传感器部分15的电池传感器12检测电池11的电量,并且将检测结果作为电池电量检测信号S4A输出到控制器10。温度传感器13检测宠物机器人1的内部温度,并且将检测结果作为温度检测信号S4B输出到控制器10。加速传感器14检测三轴(X轴、Y轴和Z轴)上的加速,并且将检测结果作为加速检测信号S4C输出到控制器10。
控制器10根据分别从外部传感器19的CCD摄像机17、麦克风16和触摸传感器18提供的视频信号S1B、音频信号S1A和压力检测信号S1C(下面统称作外部传感器信号S1),和分别从内部传感器15的电池传感器12、温度传感器13和加速传感器14提供的电池电量检测信号S4A、温度检测信号S4B和加速检测信号S4C(下面统称作内部传感器信号S4),判断周围环境和宠物机器人1的内部状态、用户命令、存在或不存在用户刺激。
然后控制器10根据判断结果和先前存储在存储器10A中的控制程序确定下一行为,并且根据确定结果驱动必要的调节器221到22n,以向上、向下、向右和向左移动头部单元4、移动尾部单元5的尾巴5A,或移动腿部单元3A到3D行走。
此时,控制器10根据情况将预定音频信号S2B输出到扬声器21,以根据音频信号S2B将声音输出到外界,将LED驱动信号S5输出到充当外表“眼睛”的LED部分20,以根据判断结果发出预定发光模式的光,并且/或者将LED驱动信号S6输出到尾部单元5的精神状态显示LED 5AL,以发出与精神状态对应的发光模式的光。
如上所述,宠物机器人1可以根据它的周围和内部状态、用户命令和是否存在来自用户的刺激,自主行动。
图3示出在外表上具有宠物机器人1的“眼睛”功能的LED部分20的特定构造。从图3可以看到,LED部分20具有发射红光的一对第一红色LED20R11和20R12和一对第二红色LED 20R21和20R22,与发射蓝绿光的一对蓝绿光LED 20BG1和20BG2,这些LED用于表达情感。
在本实施例中,每个第一红色LED 20R11、20R12均具有固定长度的直线发射部件,并且它们在头部单元4的前后方向上的大约中间位置,沿如箭头a所示的头部单元4的向前方向逐渐变细。
而且,每个第二红色LED 20R21、20R22均具有固定长度的直线发射部件,并且它们在头部单元4的中间,沿头部单元4的向后方向逐渐变细,从而这些LED和第一红色LED 20R11、20R12呈放射状排列。
结果,宠物机器人1同时点亮第一红色LED 20R11和20R12来表达“气愤”,它的眼睛朝上,好像它真感到气愤似的,或表达“憎恨”,好像它真感到憎恨似的,同时点亮第二红色LED 20R21和20R22来表达“悲伤”,好像它真感到悲伤似的,或者进一步同时打开所有第一和第二红色LED 20R11、20R12、20R21和20R22来表达“恐惧”,好像它真感到恐惧似的或表达“惊奇”,好像它真感到惊奇似的。
相反,每个蓝绿色LED 20BG1、20BG2均为具有预定长度的曲线箭头形状的发射部件,并且它们排列在沿向前方向(箭头a)的曲线内,位于头部单元4的对应第一红色LED 20R11、20R12之下。
结果,宠物机器人1同时点亮蓝绿色LED 20BG1和20BG2来表达“快乐”,好像它真在微笑似的。
另外,在宠物机器人1中,头部单元4从前端到触摸传感器18的下面提供有由合成树脂构成的黑色半透明外罩26(图1),来覆盖第一和第二红色LED 20R11、20R12、20R21和20R22和蓝绿色LED 20BG1和20BG2
从而,在宠物机器人1中,当没有点亮第一和第二红色LED 20R11、20R12、20R21和20R22和蓝绿色LED 20BG1和20BG2时,它们对外界不可见,并且相反,当点亮第一和第二红色LED 20R11、20R12、20R21和20R22和蓝绿色LED 20BG1和20BG2时,它们一定对外界可见,因此使有效防止由于三种类型的“眼睛”而造成的奇怪情感成为可能。
除了这种结构之外,宠物机器人1的LED部分20具有当宠物机器人1系统处于如下所述的状态时进行点亮的绿色LED 20G。
该绿色LED 20G是可以发射绿光的具有预定长度的直线发射部件的LED,并且置放在头部单元4的第一红色LED 20R11、20R12的略高处,并且也被覆盖在半透明外罩26之下。
结果,在宠物机器人1中,用户可以根据能够通过半透明外罩26看到的绿色LED 20G的发光状态,容易地识别宠物机器人1的系统状态。
(2)控制器10的处理
下一步,将对宠物机器人1的控制器10的处理进行说明。
控制器10的处理内容从功能上分为用于识别外部和内部状态的状态识别机构部分30、用于根据来自状态识别机构部分30的识别结果确定情感和本能状态的情感/本能模型部分31、用于根据来自状态识别机构部分30的识别结果和来自情感/本能模型部分31的输出确定下一动作和行为的行为确定机构部分32、用于为宠物机器人1制定行为计划来做由行为确定机构部分32确定的动作和行为的姿态变换机构部分33、和用于根据由姿态变换机构部分33制定的行为计划控制调节器211到21n的装置控制部分34,如图4所示。
下面,将对状态识别机构部分30、情感/本能模型部分31、行为确定机构部分32、姿态变换机构部分33和装置控制机构部分34进行详细描述。
(2-1)状态识别机构部分30的结构
状态识别机构部分30根据从外部传感器部分19(图2)给出的外部信息信号S1和从内部传感器部分15给出的内部信息信号S4识别特定状态,并且将识别结果作为状态识别信息S10提供情感/本能模型部分31和行为确定机构部分32。
实际上,状态识别机构部分30总是检查从外部传感器19的麦克风16(图2)给出的音频信号S1A,并且当检测到音频信号S1A的频谱与从用于如“行走”、“躺下”或“追球”等命令的声音命令器输出的命令声音具有相同数值范围时,识别命令已被给出,并将识别结果提供  情感/本能模型部分31和行为确定机构部分32。
而且,状态识别机构部分30总是检查从CCD摄像机17(图2)给出的视频信号S1B,并且当根据视频信号S1B在图象中检测到“红色的某东西”或“与地面垂直并且高于预定高度的平面”时,识别“存在一个球”或“存在一面墙”,然后将识别结果提供情感/本能模型部分31和行为确定机构部分32。
而且,状态识别机构部分30总是检查从触摸传感器18(图2)给出的压力检测信号S1C,并且当根据压力检测信号S1C在短时间内(例如,低于两秒)检测到具有比预定阀值更高值的压力时,识别“它被击打(斥责)”,并且另一方面,当在长时间内(例如,两秒或更长)检测到具有比预定阀值更低值的压力时,识别“它被抚摸(赞扬)”。然后,状态识别机构部分3 0将识别结果提供情感/本能模型部分31和行为确定机构部分32。
而且,状态识别机构部分30总是检查从内部传感器15的加速传感器14(图2)给出的加速检测信号S4C,并且当根据加速检测信号S4C检测到具有比预设级别更高级别的加速时,识别“它接收到大的震动”,或者当检测到更大的加速,如地心引力加速,识别“它(从桌子等)掉下来”。然后状态识别机构部分30将识别结果提供情感/本能模型部分31和行为确定机构部分32。
而且,状态识别机构部分30总是检查从温度传感器13(图2)给出的温度检测信号S4B,并且当根据温度检测信号S4B检测到比预设级别更高的温度时,识别“内部温度升高”,然后将识别结果提供  情感/本能模型部分31和行为确定机构部分32。
(2-2)情感/本能模型部分31的操作
如图5所示,情感/本能模型部分31,包括:一组基本情感40,由作为对应于六种情感“快乐”、“悲伤”、“惊奇”、“恐惧”、“憎恨”和“气愤”的情感模型的情感单元40A到40F组成;一组基本欲望41,由作为对应于四种欲望“食欲”、“喜爱”、“睡眠”和“锻炼”的欲望模型的欲望单元41A到41D组成;和强度变动功能(function)42A到42J,用于各个情感单元40A到40F和欲望单元41A到41D。
每个情感单元40A到40F通过范围在级别0到级别100之间的其强度表达对应情感的强度,并且时时地根据从对应强度变动功能42A到42F给出的强度信息S11A到S11F改变强度。
另外,每个欲望单元41A到41D通过范围在级别0到级别100之间的其强度表达对应欲望的强度,并且时时地根据从对应强度变动功能42G到42J给出的强度信息S12G到S12J改变强度。
然后,情感/本能模型部分31通过组合这些情感单元40A到40F的强度确定情感,并且还通过组合这些欲望单元41A到41D的强度确定本能,然后将所确定的情感和本能作为情感/本能信息S12输出到行为确定机构部分32。
注意,强度变动功能42A到42J是用来生成和输出强度信息S11A到S11J的功能,这些强度信息用于根据从状态识别机构部分30给出的状态识别信息S10和表示从如后所述的行为确定机构部分32给出的宠物机器人1本身的当前或过去行为的行为信息S13,如上所述按照预设参数提高或降低情感单元40A到40F和欲望单元41A到41D的强度。
结果,通过对各个动作和行为模型(婴儿1、儿童1、儿童2、青年1到青年3、成年1到成年4)将这些强度变动功能42A到42J的参数设为不同的值,宠物机器人1可以具有它的性格,如“主动型”或“羞怯型”。
(2-3)行为确定机构部分32的操作
行为确定机构部分32在存储器10A中具有多个行为模型。行为确定机构部分32根据从状态识别机构部分30给出的状态识别信息10、情感/本能模型部分31的情感单元40A到40F和欲望单元41A到41D的强度和对应行为模型,确定下一动作和行为,并且将确定结果作为行为确定信息S14输出到姿态变换机构部分33和成长控制机构部分35。
在此时,行为确定机构部分32使用称作概律自动的算法作为确定下一动作和行为的技术,该算法使用概率,根据为连接在节点NDA0到NDAn之间的弧NDA0到NDAn设置的变换概率P0到Pn(如图6所示),确定从一个节点(状态)NDA0变换到NDA0到NDAn中的哪个节点(同一节点或其它节点)。
更具体地说,存储器10A存储如图7所示的状态变换表50作为每个节点NDA0到NDAn的行为模型,从而行为确定机构部分32根据该状态变换表50确定下一动作和行为。
在该状态变换表50中,作为用于从节点NDA0到NDAn进行变换的条件的输入事件(识别结果)通过优先次序写入在“输入事件名称”  列中,并且用于变换的进一步条件写入在“数据名称”和“数据范围”列的相应行中。
对于在图7的状态变换表50中定义的节点ND100,在获得“检测到一个球”的识别结果的情况下,或在获得“检测到一个障碍物”的识别结果的情况下,变换到另一节点的条件是识别结果还表示球的“大小”在“0到1000之间(0,1000)”或识别结果表示到障碍物的“距离”在“0到100之间(0,100)”。
另外,如果没有输入任何识别结果,当由行为确定机构部分进行周期性参考的情感单元40A到40F和欲望单元41A到41D的强度中,“快乐”、“惊奇”和“悲伤”中的任何情感单元40A到40F的强度在“50到100之间(50,100)”时,也可以从该节点ND100变换到另一节点。
另外,在状态变换表50中,从节点NDA0到NDAn进行变换的目标节点名称写入在“到另一节点的变换概率”列的“变换目标节点”行中,并且当写入在“输入事件名称”、“数据名称”和“数据限制”中的所有条件满足时,可以变换到另一节点NDA0到NDAn的变换概率写入在“到另一节点的变换概率”列的“输出行为”行中。需要注意的是,在“到另一节点的变换概率”列的每一行中,变换概率的总和为100[%]。
从而,对于节点NODE100这个例子,在获得“检测到一个球”和表示球的“大小”在“0到1000之间(0,1000)”的识别结果的情况下,可以变换到“节点NODE120(节点120)”的概率为30[%],并且在此时,输出“动作(action)1”的动作和行为。
每个行为模型由节点NDA0到NDAn组成,这些节点写入在这种状态变换表50中,每个节点连接到其它节点。
如上所述,行为确定机构部分32,当从状态识别机构部分30接收状态识别信息S10时,或当在执行最后一个动作之后过去预定时间时,通过参考与存储在存储器10A中的对应行为模型的对应节点NDA0到NDAn相关的状态变换表50,可能确定下一动作和行为(写入在“输出动作”行中的动作和行为),并且将确定结果作为行为命令信息S14输出到姿态变换机构部分33和成长控制机构部分35。
(2-4)姿态变换机构部分33的处理
姿态变换机构部分33,当从行为确定机构部分32接收行为确定信息S14时,制定如何使宠物机器人根据行为确定信息S14执行动作和行为的计划,然后根据行为计划将行为命令信息S15提供控制机构部分34。
在此时,姿态变换机构部分33使用如图8所示的有向图作为制定行为计划的技术,在该有向图中,宠物机器人1可以采取的姿态如节点NDB0到NDB2所示,可以在它们之间进行变换的节点NDB0到NDB2用表示行为的有向弧ARB0到ARB3进行连接,并且可以在一个节点NDB0到NDB2中完成的行为用自身行为弧ARC0到ARC2进行表示。
因此,存储器10A采用数据库的形式存储作为这种有向图来源的文件数据,以表示可以由宠物机器人1做出的所有行为的第一个姿态和最后一个姿态(下面,该文件称作网络定义文件)。姿态变换机构部分33根据网络定义文件为身体单元、头部单元、腿部单元、或尾部单元创建各个有向图60到63,如图9到图12所示。
注意,从图9到图1 2可以看到,姿态大致分为“站立(oStanding)”、“坐下(oSitting)”、“躺下(oSleeping)”和“充电(station(oStation))”(坐在电池充电器(未示出)上用来对电池11(图2)进行充电的姿态)。每个姿态包括对“成长状态”都共同的基础姿态(双圆圈),和“婴儿期”、“儿童期”、“青年期”和“成年期”的一个或多个正常姿态(单圆圈)。
例如,图9到图12中用虚线包括的部分表示“婴儿期”的正常姿态,并且从图9可以看到,“婴儿期“的“躺下”正常姿态包括“oSleeping b(婴儿)”、“oSleeping b2到oSleeping b5”,并且“坐下”的正常姿态包括“oSitting b”和“oSitting b2”。
姿态变换机构部分33,当从行为确定机构部分32接收作为行为命令信息S14的行为命令如“站立”、“行走”、“抬起一条前腿”、“摇头”或“摆尾”时,沿着有向弧的方向搜索从当前节点到对应于指定姿态的节点,或对应于指定行为的有向或自身行为弧的路径,并且将这些行为命令作为行为命令信息S15顺序输出到控制机构部分34,从而顺序输出对应于所搜索路径的有向弧的行为。
例如,当宠物机器人1的当前节点为身体有向图60的“oSitting b”,并且行为确定机构部分32将用于在“oSleeping b4”节点所做的行为(对应于自身行为弧a1的行为)的行为命令提供姿态变换机构部分,姿态变换机构部分33搜索身体有向图60中从“oSitting b”到“oSleeping b4”的路径,并且顺序将用于从“oSitting b”节点到“oSleeping b5”节点改变姿态的行为命令、用于从“oSitting b5”节点到“oSleeping b3”节点改变姿态的行为命令和用于从“oSitting b3”节点到“oSleeping b4”节点改变姿态的行为命令,并且最后将用于通过对应于指定行为的自身行为弧a1从“oSleeping b4”节点返回到“oSleeping b4”节点的行为命令,作为行为命令信息S15输出到控制机构部分34。
在此时,多个弧可以连接两个可传输节点来根据宠物机器人1的“成长阶段”和“性格”改变行为(“主动型”行为,“羞怯型”行为等)。在这种情况下,姿态变换机构部分33在如后所述的成长控制机构部分35的控制下选择适合宠物机器人1的“成长阶段”和“性格”的有向弧作为路径。
与此类似,可以提供多个自身行为弧来从一个节点返回到同一节点,以根据“成长阶段”和“性格”改变行为。在这种情况下,姿态变换机构部分33,类似于前述情况,选择适合宠物机器人1的“成长阶段”和“性格”的有向弧作为路径。
在前述姿态变换中,由于不需要采取路径中所经过的姿态,因此可以在姿态变换的中间经过在其它“成长阶段”中使用的节点。因此,当姿态变换机构部分33搜索从当前节点到目标节点或有向弧或自身行为弧的路径时,它搜索最短的路径,而不管当前“成长阶段”。
而且,姿态变换机构部分33,当接收到头部、腿部或尾部的行为命令时,根据身体有向图60将宠物机器人1的姿态返回到对应于行为命令的基础姿态(用双圆圈表示),然后输出行为命令信息S15,以使用头部、腿部或尾部有向图61到63变换头部、腿部或尾部的位置。
(2-5)装置控制机构部分34的处理
控制机构部分34根据从姿态变换机构部分33给出的行为命令信息S15生成控制信号S16,并且根据控制信号S16驱动和控制各个调节器211到21n,以使宠物机器人1执行指定动作和行为。
(3)摄像处理过程RT1
控制器10根据图13所示的摄像处理过程RT1按照用户指令进行摄像,从而保护用户的隐私。
也就是,当控制器10通过麦克风16采集从用户给出的例如“摄像”语言声音时,它在步骤SP1启动摄像处理过程RT1,并且在随后步骤SP2,使用音频处理部分对利用麦克风16采集的那个语言执行语音判断处理和内容分析处理的音频识别处理,以判断它是否从用户接收到摄像命令。
具体地说,控制器10先前将特定用户的语音印记(print)存储到存储器10A中,并且音频处理部分通过将利用麦克风16所采集的语言的语音印记与存储在存储器10A中的特定用户的语音印记进行比较,执行语音判断处理。另外,控制器10先前将用来让宠物机器人1作出动作和行为的高概率使用的语言和语法存储在存储器10A中,并且音频处理部分通过逐词地分析利用麦克风16采集的语言,然后参考从存储器10A读出的相应语言和语法,对所采集的语言执行内容分析处理。
在这种情况下,在外部存储器25中设置一个表示是否激活摄像功能的标志的用户先前将他/她自己的声音印记存储在控制器10的存储器10A中,以在实际的音频识别处理中对它进行识别。因此,特定用户使用他/她自己的个人计算机(未示出)置上/取消外部存储器25中的标志集,以允许数据写入/不写入外部存储器中。
控制器10在步骤SP2等待要获得的肯定结果,也就是,等待要获得的表示所采集语言与从特定用户给出的语言相同的音频识别处理结果,然后继续到步骤SP3,根据外部存储器25中所设置的标志,判断摄像是否设置为可能。
如果在步骤SP3获得肯定结果,它意味着当前摄像设置为可能,然后控制器10继续到步骤SP4,上下移动头部单元4来做出“点头”的行为,在“点头”行为开始时开始使用定时器(未示出)进行计时,然后继续到步骤SP5。
另一方面,如果在步骤SP3获得否定结果,它意味着当前摄像设置为不可能,然后控制器10继续到步骤SP11,执行例如“失望”的行为,头低着,好像它真感到难过似的,然后返回到步骤SP2,等待来自特定用户的摄像指令。
然后,在步骤SP5,控制器10根据定时器的计时结果和触摸传感器18的传感器输出,判断用户是否在预设持续时间内(例如,一秒内)抚摸它的头部,并且如果获得肯定结果,它意味着用户想要开始摄像。在这种情况下,控制器10继续到步骤SP6,例如采取前腿弯曲,并且头略微朝上的姿态(下面,该姿态称作最佳摄像姿态),从而将CCD摄像机17的摄像范围聚焦在主体上,避免头部单元的CCD摄像机17发生摇晃。
另一方面,如果在步骤SP5获得否定结果,它意味着用户不想在预设持续时间内(例如,一秒内)进行摄像,那么控制器10再次返回到步骤SP2,等待从特定用户给出摄像命令。
然后,控制器10继续到步骤SP7,从第二红色LED 20R12开始到关灭最后一个第一红色LED 20R11,顺时针逐个地顺序关灭置于头部单元4的外表“眼睛”位置的LED部分20的第一和第二红色LED 20R11、20R12、20R21和20R22和蓝绿色LED 20BG1、20BG2,通知用户摄像马上就要开始。
在这种情况下,当顺序关灭LED部分20的LED 20R11、20R12、20R21、20R22、20BG1和20BG2时,从扬声器21越来越快地输出“噼噼噼…”的警告音,并且尾部单元5的精神状态显示LED 5AL在发出警告音的同时以蓝色进行闪烁。
顺序地,控制器10继续到步骤SP8,就在关灭最后一个第一红色LED20R11之后,在预定时间内使用CCD摄像机17进行摄像。此时,尾部单元5的精神状态显示LED 5AL瞬间点亮为强橙黄色。另外,当摄像时(当释放快门时),可以输出人工摄像音“喀”,从而可以识别它在摄像,因此避免偷拍。
然后,在步骤SP9,控制器10判断使用CCD摄像机17进行摄像是否成功,也就是,利用CCD摄像机17所拍摄的视频信号S3是否可以存储在外部存储器25中。
如果在步骤SP9获得肯定结果,它意味着摄像成功,然后控制器10继续到步骤SP10,通过抬高两条前腿,做出“好心情”的行为,然后返回到步骤SP2,等待来自特定用户的摄像命令。
相反,如果在步骤SP9获得否定结果,它意味着例如由于外部存储器25中缺少文件容量或出现写入错误而导致摄像失败。在这种情况下,控制器10继续到步骤SP11,并且执行“失望”的行为,头低着好像它真感到难过似的,然后返回到步骤SP2,等待特定用户发出摄像指令。
如上所述,宠物机器人1可以进行摄像,确认特定用户对摄像开始的意图,以响应来自用户的摄像命令。
在这种情况中,通过前述音频识别处理得以认证的用户可以通过自己的个人计算机根据来自从宠物机器人1移走的外部存储器25的图象数据读出图象,以将它显示在监视器上,并且还可以删除从外部存储器25读出的图象数据。
实际上,作为摄像结果所获得的图象数据作为二进制文件(Binary File,BF)存储在外部存储器25中,该二进制文件包括摄像日期、触发信息(有关摄像原因的信息)和情感级别。该二进制文件BF包括文件魔术(magic)字段F1、版本字段F2、摄像时间字段F3、触发信息字段F4、情感级别字段F5、图象数据头标F6和图象数据字段F7,如图15所示。
写入在文件魔术(magic)字段F1中的为由“A”、“P”、“H”和“T”组成的ASCII字母,每个字母由七位码组成。写入在版本字段F2中的为主版本区“VERMJ”和次版本区“VERMN”,其中每个的值设为0到65535之间的值。
而且,写入在摄像时间字段F3中的顺序为表示摄像日期年度信息的“YEAR”、表示月份信息的“MONTH”、表示日期信息的“DAY”、表示小时信息的“HOUR”、表示分信息的“MIN”、表示秒信息的“SEC”和表示偏离以英国格林威治为标准的世界标准时间的时差的时间信息的“TZ”。触发信息字段F4最多包含16字节的数据,来表示代表摄像触发条件的触发信息“TRIG”。
而且,写入在情感级别字段F5中的顺序为表示摄像时“锻炼欲”强度的“EXE”、表示摄像时“喜爱欲”强度的“AFF”、表示摄像时“食欲”强度的“APP”、表示摄像时“好奇”强度的“CUR”、表示摄像时“快乐”强度的“JOY”、表示摄像时“气愤”强度的“ANG”、表示摄像时“悲伤”强度的“SAD”、表示摄像时“惊奇”强度的“SUR”、表示摄像时“厌恶”强度的“DIS”、表示摄像时“害怕”强度的“FER”、表示摄像时“唤醒级别”强度的“AWA”和表示摄像时“交互级别”强度的“INT”。
而且,写入在图象数据头标F6中的为表示图象宽度方向上象素数的象素信息“IMGWIDTH”、表示图象高度方向上象素数的象素信息“IMGHEIGHT”。而且,写入在图象数据字段F7中的为:“COMPY”,表示图象亮度成分的数据;“COMPCB”,表示图象色差成分Cb的数据,和“COMPCR”,表示图象色差成分Cr的数据,并且这些数据对于一个象素使用一个字节,设为0到255之间的值。
(4)本实施例的操作和效果
在前述结构下,当宠物机器人1采集从用户给出的“摄像”语言时,它通过语音印记判断和内容分析对该语言执行音频识别处理。结果,如果该用户为需要经过认证并且发出摄像命令的特定用户,宠物机器人1在摄像功能设为活动状态的条件下,等待用户发出摄像开始命令。
从而,宠物机器人1可以忽略不允许发摄像命令的非特定用户的摄像命令,并且还可以通过让已被允许发摄像命令的用户再次确认他/她是否想要摄像,预先避免用户的错误操作。
然后,当用户发出摄像开始命令时,宠物机器人1采取最佳摄像姿态,从而可以避免CCD摄像机17在摄像时摇晃,并且作为主体(subject)的用户还被设为处于CCD摄像机17的摄像区域之内。
然后,宠物机器人1保持该最佳摄像姿态,在预定时刻顺时针逐个地关灭置于头部单元的外表“眼睛”位置的LED部分20的20R11、20R12、20R21、20BG1、20BG2,这向作为主体的用户显示进行摄像的倒计时。该LED部分20置于CCD摄像机17的附近,从而作为主体的用户在观看CCD摄像机17时,可以确认LED部分20的关灭操作。
此时,随着LED部分20的前述关灭操作,宠物机器人1在以预定发光模式闪烁尾部单元5的精神状态显示LED 5AL的同时,利用扬声器21输出警告音,与闪烁时间保持同步。当LED部分20的关灭操作临近结束时,从扬声器21输出的警告音的间隔将变得越来越短,并且精神状态显示LED部分5AL的闪烁速度变得越来越快,从而不仅从视觉而且从听觉,让用户确认表示现在就要进行摄像的倒计时结束。因此,可以进行给人更深刻印象的确认。
然后,宠物机器人1瞬间打开尾部单元5的精神状态显示LED 5AL,与结束LED部分20的关灭操作保持同步,并且同时使用CCD摄像机17进行摄像,从而用户可以知道摄像时刻。
然后,宠物机器人1判断作为使用CCD摄像机17摄像结果的图象是否能够存储在外部存储器25中,以判断摄像是否成功,并且当成功时,执行“好心情”行为,并且另一方面,当失败时执行“失望”行为,从而用户可以容易地识别摄像是成功还是失败。
而且,通过摄像获得的图象数据存储在插入到宠物机器人1中的可移动外部存储器25中,并且用户可以使用他/她自己的个人计算机任意地删除存储在外部存储器25中的图象数据,从而在用户将它送去维修,送出或借出它之前,可以删除表示不让任何人看到的数据的图象数据。因此,可以保护用户的隐私。
根据上述结构,当宠物机器人1从允许发摄像命令的用户接收摄像开始命令时,它采取最佳摄像姿态来将用户捕获在摄像区域之内,并且通过在摄像开始之前在预定时刻关灭置于头部单元4的外表“眼睛”位置的LED部分20,向作为主体的用户显示倒计时,直到摄像时间为止,从而用户可以识别马上将要进行实时摄像。因此,可以防止不顾用户意图的偷拍,以保护用户的隐私。从而,宠物机器人1保留宠物机器人1过去经常见到的场景,成长环境的回忆场景作为图象,从而用户可以感到更加满意和熟悉,因此实现可以提供娱乐性得以进一步提高的宠物机器人成为可能。
而且,根据上述结构,当在摄像之前关灭LED部分20时,精神状态显示LED 5AL以随着LED部分20的关灭操作临近结束闪烁速度越来越快的方式进行闪烁,并且同时,以声音间隔越来越短的方式从扬声器21输出警告音,从而用户可以识别用于强调摄像的倒计时结束,因此实现可以提供可以提高娱乐性的宠物机器人成为可能。
(5)其它实施例
注意,在前述实施例中,本发明应用于如图1所示生产的四腿行走宠物机器人1。然而,本发明不限于此,并且可以广泛地应用于其它类型的宠物机器人。
而且,在前述实施例中,在宠物机器人1的头部单元4提供的CCD摄像机17用作对主体进行摄像的摄像装置。然而,本发明不限于此,并且可以广泛地应用于其它类型的摄像装置,如视频摄像机和静止摄像机。
在这种情况下,在身体单元2的视频处理部分24(图2),可以在根据“唤醒级别”的级别将平滑滤波器应用于图象的亮度数据,从而当宠物机器人1的“唤醒级别”低时,图象发生散焦,并且因此,宠物机器人1的“变化(caprice)级别”可以应用于该图象,从而提供进一步提高的娱乐性成为可能。
而且,在前述实施例中,用作外表“眼睛”的LED部分20、用作“嘴巴”的扬声器21和在尾部单元5上提供的精神状态显示LED 5AL用作对使用CCD摄像机(摄像装置)17进行摄像作提前通知的通知装置。然而,本发明不限于此,并且可以使用除此之外和不同于此的各种类型的通知装置作为通知装置。例如,可以通过使用宠物机器人1的所有腿部、头部和尾部的各种行为表达摄像的提前通知。
而且,在前述实施例中,用于控制宠物机器人1的整个操作的控制器10作为用于闪烁第一和第二红色LED 20R11、20R12、20R21和20R22和蓝绿色LED20BG1和20BG2和精神状态显示LED 5AL的控制装置进行提供。然而,本发明不限于此,并且用于控制发光装置闪烁的控制装置可以与控制器10分别进行提供。
而且,在前述实施例中,在控制下依次顺序关灭用作外表“眼睛”的LED部分20的第一和第二红色LED 20R11、20R12、20R21和20R22和蓝绿色LED 20BG1和20BG2。然而,本发明不限于此,并且只要用户可以识别摄像的提前通知,就可以采用其它发光模式在其它发光时刻执行发光。
而且,在前述实施例中,置于尾部外表的精神状态显示LED 5AL的闪烁间隔在控制下逐渐变得越来越短。然而,本发明不限于此,并且只要用户可以识别摄像的提前通知,就可以采用其它发光模式执行发光。
而且,在前述实施例中,用于控制宠物机器人1的整个操作的控制器10作为用于控制扬声器(警告音生成装置)21的控制装置进行提供,从而作为摄像提前通知的警告音的间隔变得越来越短。然而,本发明不限于此,并且用于控制警告音生成装置的控制装置可以与控制器10分别进行提供。
工业应用
该机器人装置及其控制方法可以应用于娱乐机器人和保姆(care)机器人。

Claims (12)

1.一种机器人设备,包括:
摄像装置,用于对主体(subject)进行摄像;和
通知装置,用于对使用所述摄像装置进行摄像作提前通知。
2.如权利要求1所述的机器人设备,其中
所述通知装置包括:
发光装置,用于发光;和
控制装置,用于控制所述发光装置的闪烁作为摄像的提前通知。
3.如权利要求2所述的机器人设备,其中:
所述发光装置包括多个用作外表“眼睛”的发光部件;和
所述控制装置控制所述发光部件依次逐渐进行关灭,作为摄像的提前通知。
4.如权利要求2所述的机器人设备,其中:
所述发光装置包括一个安放在外表尾部上的发光部件;和
所述控制装置控制所述发光部件,从而逐渐缩短它的闪烁间隔,作为摄像的提前通知。
5.如权利要求1所述的机器人设备,其中
所述通知装置包括:
警告音生成装置,用于生成警告音;和
控制装置,用于控制所述警告音生成装置,从而警告音的间隔逐渐缩短,作为摄像的提前通知。
6.一种自主行动的机器人设备,包括:
摄像装置,用于对主体进行摄像;和声音输出装置,并且其中
当要对主体进行摄像时,从所述声音输出装置输出人工摄像音。
7.一种机器人设备的控制方法,包括:
第一步骤,提前通知要对主体进行摄像;和
第二步骤,对主体进行摄像。
8.如权利要求7所述的机器人设备的控制方法,其中,
所述第一步骤控制发光装置的闪烁,作为摄像的提前通知。
9.如权利要求8所述的机器人设备的控制方法,其中,
在所述第一步骤中,
所述发光装置包括多个用作外表眼睛的发光部件;和
对所述发光部件进行控制,从而依次进行关灭,作为摄像的提前通知。
10.如权利要求8所述的机器人设备的控制方法,其中,
在所述第一步骤中,
所述发光装置包括一个安放在外表尾部的发光部件;和
对所述发光部件进行控制,从而缩短它的闪烁间隔,作为摄像的提前通知。
11.如权利要求7所述的机器人设备的控制方法,其中,
所述第一步骤控制警告音生成装置,从而缩短警告音的间隔,作为摄像的提前通知。
12.一种机器人设备的控制方法,其中,
当对主体进行摄像时,输出人工摄像音。
CN01803024A 2000-10-11 2001-10-11 机器人设备及其控制方法 Pending CN1392825A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP350274/2000 2000-10-11
JP2000350274 2000-10-11
JP366201/2000 2000-11-30
JP2000366201 2000-11-30

Publications (1)

Publication Number Publication Date
CN1392825A true CN1392825A (zh) 2003-01-22

Family

ID=26604124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN01803024A Pending CN1392825A (zh) 2000-10-11 2001-10-11 机器人设备及其控制方法

Country Status (5)

Country Link
US (1) US6684130B2 (zh)
KR (1) KR20020067695A (zh)
CN (1) CN1392825A (zh)
TW (1) TW546874B (zh)
WO (1) WO2002030628A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501407A (zh) * 2013-09-16 2014-01-08 北京智谷睿拓技术服务有限公司 隐私保护装置和方法
CN103752019A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 娱乐机器犬
CN103752018A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 娱乐机器猩猩
CN113419543A (zh) * 2021-07-20 2021-09-21 广东工业大学 一种轮距轮向可变移动机器人构形变换规划方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004071718A1 (ja) * 2002-01-18 2004-08-26 Honda Giken Kogyo Kabushiki Kaisha 移動ロボットの異常検知装置
US20060137018A1 (en) * 2004-11-29 2006-06-22 Interdigital Technology Corporation Method and apparatus to provide secured surveillance data to authorized entities
TWI285742B (en) 2004-12-06 2007-08-21 Interdigital Tech Corp Method and apparatus for detecting portable electronic device functionality
US7574220B2 (en) 2004-12-06 2009-08-11 Interdigital Technology Corporation Method and apparatus for alerting a target that it is subject to sensing and restricting access to sensed content associated with the target
US20060227640A1 (en) * 2004-12-06 2006-10-12 Interdigital Technology Corporation Sensing device with activation and sensing alert functions
JP4791533B2 (ja) * 2006-03-16 2011-10-12 パナソニック株式会社 端末装置
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
CN101596368A (zh) * 2008-06-04 2009-12-09 鸿富锦精密工业(深圳)有限公司 互动式玩具系统及其方法
US8224516B2 (en) 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
US20110153338A1 (en) * 2009-12-17 2011-06-23 Noel Wayne Anderson System and method for deploying portable landmarks
US8635015B2 (en) * 2009-12-17 2014-01-21 Deere & Company Enhanced visual landmark for localization
US9656392B2 (en) * 2011-09-20 2017-05-23 Disney Enterprises, Inc. System for controlling robotic characters to enhance photographic results
US9211645B2 (en) * 2012-12-13 2015-12-15 Korea Institute Of Industrial Technology Apparatus and method for selecting lasting feeling of machine
US9324245B2 (en) * 2012-12-13 2016-04-26 Korea Institute Of Industrial Technology Apparatus and method for creating artificial feelings
CN108697938B (zh) * 2016-01-06 2020-07-10 埃沃洛夫有限公司 具有可变角色的机器人
KR102577571B1 (ko) * 2016-08-03 2023-09-14 삼성전자주식회사 로봇 장치 및 로봇 장치의 감정 표현 방법
KR20180062267A (ko) 2016-11-30 2018-06-08 삼성전자주식회사 무인 비행 장치 및 무인 비행 장치의 비행 제어방법
TWI675592B (zh) * 2017-09-27 2019-10-21 群光電子股份有限公司 攝影裝置隱私保護系統與電子裝置
USD916160S1 (en) * 2017-10-31 2021-04-13 Sony Corporation Robot
JP1622873S (ja) 2017-12-29 2019-01-28 ロボット
USD985645S1 (en) * 2021-04-16 2023-05-09 Macroact Inc. Companion robot

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53148432A (en) * 1977-05-30 1978-12-25 Canon Inc Back cover for cameras provided with sounding body
JPS5421331A (en) * 1977-07-18 1979-02-17 Hitachi Ltd Method and circuit for displaying of timers
JPH0634863B2 (ja) * 1986-03-17 1994-05-11 株式会社タイト− 催事用ロボツト装置
JP2808328B2 (ja) * 1989-10-19 1998-10-08 旭光学工業株式会社 カメラのストロボ制御装置
JP3156930B2 (ja) * 1989-11-20 2001-04-16 オリンパス光学工業株式会社 カメラ
JPH1031265A (ja) * 1996-07-15 1998-02-03 Matsushita Electric Ind Co Ltd 盗撮防止装置
JP4366617B2 (ja) * 1999-01-25 2009-11-18 ソニー株式会社 ロボット装置
JP2000231145A (ja) * 1999-02-10 2000-08-22 Nikon Corp カメラのストロボ制御装置
US6385506B1 (en) * 1999-03-24 2002-05-07 Sony Corporation Robot

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501407A (zh) * 2013-09-16 2014-01-08 北京智谷睿拓技术服务有限公司 隐私保护装置和方法
CN103752019A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 娱乐机器犬
CN103752018A (zh) * 2014-01-24 2014-04-30 成都万先自动化科技有限责任公司 娱乐机器猩猩
CN113419543A (zh) * 2021-07-20 2021-09-21 广东工业大学 一种轮距轮向可变移动机器人构形变换规划方法

Also Published As

Publication number Publication date
US20020183896A1 (en) 2002-12-05
KR20020067695A (ko) 2002-08-23
TW546874B (en) 2003-08-11
WO2002030628A1 (fr) 2002-04-18
US6684130B2 (en) 2004-01-27

Similar Documents

Publication Publication Date Title
CN1392825A (zh) 机器人设备及其控制方法
CN1301830C (zh) 机器人装置
CN1309535C (zh) 机器人设备、用于控制机器人设备运动的方法以及用于控制机器人设备运动的系统
CN1304516A (zh) 机器人装置及其控制方法和记录介质
CN104094590B (zh) 用于无人值守图像俘获的方法及设备
CN1284400C (zh) 便携无线通信终端和呼叫中心设备
US6684127B2 (en) Method of controlling behaviors of pet robots
CN1392826A (zh) 机器人设备及其控制方法
CN108811271A (zh) 一种灯光调节方法、装置、智能台灯和存储介质
CN1396857A (zh) 机器人装置及其行为控制方法
CN1126647C (zh) 机器人装置
CN1590038A (zh) 机器人设备、机器人设备的控制方法和机器人设备用玩具
CN1293605A (zh) 机器人装置、机器人装置的主体单元和连接单元
US20030088336A1 (en) Robot and control method for controlling the robot's motions
CN1522052A (zh) 摄影装置
CN1764238A (zh) 摄像装置
CN1337887A (zh) 遥控玩具
US11675360B2 (en) Information processing apparatus, information processing method, and program
CN113244009A (zh) 基于人工智能图像识别调整电动牙刷的口腔健康管理系统
JP2003071763A (ja) 脚式移動ロボット
CN107680432A (zh) 一种用于员工电器设备操作培训的智能设备及操作方法
CN1254904A (zh) 用于拍摄/识别脸孔的方法和装置
JPWO2019235067A1 (ja) 情報処理装置、情報処理システム、プログラム、及び情報処理方法
CN1392828A (zh) 机器人设备、信息显示系统和信息显示方法
CN108521546A (zh) 一种模拟摄影师创作思维和情绪影像风格的手机拍照机能的实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned