CN112771517A - 聚类分类装置、环境生成装置和环境生成系统 - Google Patents

聚类分类装置、环境生成装置和环境生成系统 Download PDF

Info

Publication number
CN112771517A
CN112771517A CN201980062696.1A CN201980062696A CN112771517A CN 112771517 A CN112771517 A CN 112771517A CN 201980062696 A CN201980062696 A CN 201980062696A CN 112771517 A CN112771517 A CN 112771517A
Authority
CN
China
Prior art keywords
environment
cluster
unit
clusters
environmental condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980062696.1A
Other languages
English (en)
Other versions
CN112771517B (zh
Inventor
中山奈帆子
香川早苗
佐藤数行
上田隆太
高桥英之
石黑浩
高间碧
吉川雄一郎
中村泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Publication of CN112771517A publication Critical patent/CN112771517A/zh
Application granted granted Critical
Publication of CN112771517B publication Critical patent/CN112771517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

聚类分类装置(50、60)具有环境条件取得部(51、61)、分类部(52、62)和存储部(54、64)。环境条件取得部(51、61)取得用于在对象空间(S)生成规定的环境的环境条件。分类部(52、62)根据环境条件取得部(51、61)取得的多个环境条件,基于环境条件的特征生成聚类。存储部(54、64)将聚类和聚类的特征关联起来进行存储。

Description

聚类分类装置、环境生成装置和环境生成系统
技术领域
本发明涉及用于在对象空间生成环境的聚类分类装置、环境生成装置和环境生成系统。
背景技术
以往,开发了对自己体验过的环境进行再现的装置。例如,在专利文献1(日本特开2003-299013号公报)中公开了以具有临场感的方式再次体验体验者体验过的事件为目的的体验信息再现装置。
发明内容
发明要解决的课题
但是,针对环境的感受存在较大的个人差异。因此,在专利文献1记载的技术中,有时不一定能够充分地再现产生群体共享的感觉的环境。
用于解决课题的手段
第1观点的聚类分类装置具有环境条件取得部、分类部和存储部。环境条件取得部取得用于在对象空间生成规定的环境的环境条件。分类部根据环境条件取得部取得的多个环境条件,基于环境条件的特征生成聚类。存储部将聚类和聚类的特征关联起来进行存储。因此,能够提供存储根据产生人的感觉的特征被分类的聚类的聚类分类装置。
第2观点的聚类分类装置在第1观点的聚类分类装置中,还具有设定部,该设定部设定聚类的特征。根据这种结构,在被分类为多个聚类的环境条件中,能够事后设定聚类的特征。
第3观点的聚类分类装置在第2观点的聚类分类装置中,还具有反应取得部,该反应取得部取得存在于对象空间中的人的反应。此外,设定部根据由反应取得部取得的反应,设定聚类的特征。根据这种结构,能够设定反映了对象空间内的人的反应的聚类的特征。
第4观点的聚类分类装置在第1观点的聚类分类装置中,环境条件取得部取得用于在对象空间生成预先定义了概念的已定义环境的环境条件。根据这种结构,能够与已定义环境相关联地对环境条件进行聚类。
第5观点的聚类分类装置在第4观点的聚类分类装置中,还具有反应取得部,该反应取得部取得存在于对象空间中的人的反应。此外,分类部根据已定义环境的概念和由反应取得部取得的反应,将环境条件分类为规定的聚类。根据这种结构,能够设定不仅反映了已定义环境的概念、还反映了对象空间内的人的反应的聚类的特征。
第6观点的聚类分类装置在第1观点~第5观点中的任意一个观点的聚类分类装置中,环境条件是表征对人的身体和/或心境带来特定的影响的物理量的参数。通过使用这种环境条件,能够生成对人的身体和/或心境带来特定的影响的环境。
第7观点的聚类分类装置在第1观点~第6观点中的任意一个观点的聚类分类装置中,聚类由利用n维信息表示的空间中的环境条件的集合或包含环境条件的区域构成。
第8观点的环境生成装置使用由第1观点~第7观点中的任意一个观点的聚类分类装置分类的环境条件,在对象空间生成规定的环境。因此,能够提供能够在对象空间生成与聚类的特征对应的环境的环境生成装置。
第9观点的环境生成系统具有第1观点~第7观点中的任意一个观点的聚类分类装置以及控制装置。控制装置对在对象空间生成规定的环境的环境生成装置进行控制。控制装置具有输入部和控制部。输入部受理与聚类的特征对应的输入。控制部根据从输入部受理的与聚类的特征对应的聚类中选择出的环境条件,对环境生成装置进行控制。由于具有这种结构,因此,控制装置能够构建对人的身体和/或心境带来特定的影响的环境。
第10观点的环境生成系统在第9观点的环境生成系统中,控制装置还具有选择部,该选择部选择属于聚类的环境条件中的一个环境条件。控制部根据选择部选择出的环境条件对环境生成装置进行控制。根据这种结构,控制装置能够构建不统一的环境。
第11观点的环境生成系统在第10观点的环境生成系统中,选择部以规定的条件选择属于同一聚类内的其它环境条件。根据这种结构,控制装置能够避免对象空间内的用户习惯于规定的环境。
第12观点的环境生成系统在第11观点的环境生成系统中,控制装置还具有反应取得部,该反应取得部取得存在于对象空间中的人的反应。选择部在由反应取得部取得的反应不满足预先设定的条件的情况下,选择其它环境条件。根据这种结构,控制装置能够将对象空间的环境变更为与用户的反应对应的环境。
第13观点的环境生成系统在第10观点~第12观点中的任意一个观点的环境生成系统中,控制装置还具有优先级决定部。优先级决定部根据选择部的选择次数和/或存在于对象空间中的人的反应,决定属于聚类的环境条件的优先级。选择部根据优先级选择环境条件。根据这种结构,能够实现反映了用户的意向和/或身体状况等的环境。
附图说明
图1是用于说明环境生成系统1的结构的示意图。
图2是用于说明控制装置20的结构的示意图。
图3是用于说明存储部21中存储的信息的示意图。
图4是用于说明环境生成系统1的动作的流程图。
图5是用于说明变形例B的环境生成系统1的结构的示意图。
图6是用于说明变形例B的控制装置20的结构的示意图。
图7是用于说明优先级的示意图。
图8A是用于说明决定优先级的处理的流程图。
图8B是用于说明决定优先级的处理的流程图。
图9是用于说明第1聚类分类装置50的结构的示意图。
图10是用于说明聚类的概念的示意图。
图11是用于说明第1聚类分类装置50的动作的流程图。
图12是用于说明第1聚类分类装置50的变形例的结构的示意图。
图13是用于说明第2聚类分类装置60的结构的示意图。
图14是用于说明第2聚类分类装置60的动作的流程图。
图15是用于说明第2聚类分类装置60的变形例的结构的示意图。
图16是用于说明作为环境识别装置的触感选择装置80的结构的示意图。
图17是用于说明作为环境识别装置的触感选择装置80的外观的一例的示意图。
图18是示出操作装置85的结构的示意图。
图19是示出输入辅助装置的界面的一例的示意图。
图20是示出使用了输入辅助装置的实验结果的图。
图21是示出通过自动生成的聚类的评价实验得到的结果的图。
图22是示出通过自动生成的聚类的评价实验得到的结果的图。
具体实施方式
(1)环境生成系统
(1-1)环境生成系统的结构
如图1所示,本实施方式的环境生成系统1具有环境生成装置10和控制装置20。
(1-1-1)环境生成装置
环境生成装置10是能够使对象空间S的环境变化而生成规定的环境的任意设备。作为环境生成装置10使环境变化的结果,对对象空间S内的用户5的感觉带来特定的影响。具体而言,作为环境生成装置10的结构设备,举出空调装置、照明装置、投影仪、扬声器、气味发生器等。例如,在图1中,示出作为环境生成装置10的投影仪向对象空间S的壁面投影大量显示物R而成为新的外观的状况。换言之,在图1所示的例子中,通过投影映射使房间的内装变化。此外,作为环境生成装置10,也可以将机器人配置于对象空间S,该情况下,机器人至少使发光的颜色、动作、形状、声音变化。
详细地讲,环境生成装置10根据与后述的聚类对应的环境条件,在对象空间S生成规定的环境。
“环境条件”是表征对人的身体和/或心境带来特定的影响的物理量的参数。例如,环境条件由温度、湿度、风、图像、影像、声音、频率等物理量(环境条件的特征的例子)来定义,与其对应地,环境生成装置10的结构设备进行动作。然后,环境生成装置10使环境变化,由此对人的感觉带来特定的影响。
“特定的影响”是指用户5的五感被唤起规定的感觉的作用。例如,作为特定的影响,举出被唤起迷人感(增加了对日常生活中可能忘记的感觉的敏感性的感觉)、紧张感(做某事时被人看着而有干劲的感觉)、拥抱感(拥抱心灵的充满温暖和平静的感觉)、开放感(在宽敞的场所中进行深呼吸的感觉)、起航感(迈出新的一步时被贴心地支持的感觉)、旅行感(稍微寂寞但是浪漫的感觉)等感觉的任意的环境变化。此外,特定的影响能够由任意的语言来表达,可以利用“快乐的环境”、“能够集中的环境”、“具有开放感的环境”这样的一般观念的用语来表达。此外,特定的影响也可以利用“被毛毯包围的空气流动的环境”、“派对的空气流动的环境”、“彩虹颜色的空气流动的环境”、光滑感(Tsurutsuru)、粗糙感(Zarazara)、柔软感(Fuwafuwa)等与触感有关的拟声词/拟态词这样的概念不一定明确的用语来表达。
另外,通过对存在于对象空间S内的用户5抱有的印象等进行累计,能够定义特定的影响与环境条件的对应关系。
(1-1-2)控制装置
控制装置20对环境生成装置10进行控制。控制装置20能够由任意的计算机实现,如图2所示,具有存储部21、输入部22、处理部23、控制部24和输出部25。这里,通过在计算机的CPU、GPU等中读入存储装置(ROM、RAM等)中存储的程序,实现上述各功能。但是不限于此,控制装置20也可以使用LSI(Large Scale Integration:大规模集成电路)、ASIC(Application Specific Integrated Circuit:专用集成电路)、FPGA(Field-Programmable Gate Array:现场可编程门阵列)等而作为硬件来实现。
存储部21存储各种信息,由存储器和硬盘等任意的存储装置实现。这里,存储部21将聚类的特征和环境条件关联起来进行存储。详细地讲,聚类由利用n维(n是环境条件的参数的数量)信息表示的空间中的环境条件的集合构成。或者,聚类由利用n维信息表示的空间中的包含环境条件的区域构成。而且,各聚类设定有固有的特征。例如,如图3所示,在存储部21中存储有温度、湿度、风、图像、影像、声音、频率等信息作为n维信息。这些值通过规定的聚类的方法被群组化为一个聚类,设定聚类的特征。此外,这里所说的聚类的特征对应于上述特定的影响。在图3所示的例子中,设定“快乐的环境”作为聚类1的特征,设定“能够集中的环境”作为聚类2的特征,设定“具有开放感的环境”作为聚类3的特征等。此外,多个环境条件属于各聚类。在图3所示的例子中,环境条件1~3属于聚类1,环境条件4~6属于聚类2,环境条件7~9属于聚类3。此外,还能够进一步对聚类进行细分来定义新的聚类。此外,在图3所示的例子中,例如当追加新的环境条件10时,也可以利用聚类3的环境条件7~9中的环境条件7、8以及新的环境条件10定义新的聚类。该新的聚类可以标注“明亮的环境”等新的特征的标签。
输入部22经由具有键盘、鼠标、触摸面板等的任意的终端装置30受理各种信息的输入。这里,输入部22受理与聚类的特征对应的输入。例如,输入部22从以任意形式显示的列表中,受理与一个聚类的特征对应的输入。终端装置30也可以是图16~图18所示的触感选择装置80或应用了触感选择装置80的操作装置85。
处理部23执行各种信息处理,由CPU或GPU这样的处理器和存储器实现。具体而言,处理部(选择部)23具有选择属于聚类的环境条件中的一个环境条件的功能。更详细地讲,处理部23以规定的条件随机地选择属于同一聚类内的其它环境条件。此外,当满足规定的条件时,处理部23将当前的环境条件变更为同一聚类内的其它环境条件。另外,规定的条件例如是指经过了规定时间的状态、或未从对象空间S内的用户5得到规定的反应的状态。
控制部24对环境生成装置10进行控制。具体而言,控制部24根据上述的聚类的特征,从存储部21中提取用于对环境生成装置10进行控制的环境条件,根据该环境条件对环境生成装置10进行控制。
输出部25根据输出目的地来输出用于对环境生成装置10进行控制的控制信息。例如,输出部25在输出目的地是用户5的终端装置30的情况下,转换为与该终端装置30的用户界面对应的显示方式而输出控制信息。
(1-2)环境生成系统的动作
图4是用于说明本实施方式的环境生成系统1的动作的流程图。
首先,经由输入部22受理与用于生成对象空间S的环境的聚类的特征对应的输入(S1)。这里,在用户5的终端装置30中显示预先定义了多个与聚类的特征对应的输入信息的下拉菜单形式等的列表。接着,用户5经由终端装置30从该列表中选择与一个聚类的特征对应的输入信息。如果是与图3对应的例子,则在列表上以能够选择的状态显示“快乐的环境”、“能够集中的环境”、“具有开放感的环境”等。这里,假设用户5经由终端装置30选择“快乐的环境”。由此,通过输入部22输入“快乐的环境”作为聚类的特征。
接着,响应于输入部22进行的与聚类的特征对应的输入的受理,通过处理部23选择属于该聚类的环境条件中的一个环境条件(S2)。在与图3对应的例子中,“环境条件1”、“环境条件2”、“环境条件3”属于“快乐的环境”即聚类1,通过处理部23从它们中随机地选择一个环境条件。这里,假设通过处理部23选择“环境条件1”。
接着,根据由处理部23选择出的环境条件,通过控制部24执行环境生成装置10的控制(S3)。由此,在对象空间S生成规定的环境。如果是图3所示的例子,则根据环境条件1对环境生成装置10进行控制。
然后,对环境生成装置10进行控制,直到环境生成装置10的控制结束为止(S4)。这里,在环境生成装置10的控制结束前经过了规定时间的情况下,通过处理部23选择属于同一聚类的其它环境条件(S4-否、S5-是、S6)。如果是与图3对应的例子,则通过处理部23随机地选择属于同一聚类1的其它“环境条件2”、“环境条件3”中的一个环境条件。其结果是,这里假设通过处理部23选择“环境条件2”。
然后,根据由处理部23选择出的其它环境条件,通过控制部24执行环境生成装置10的控制(S7)。如果是与图3对应的例子,则根据环境条件2对环境生成装置10进行控制。另外,在进一步经过了规定时间的情况下,从环境条件2变更为环境条件3,根据环境条件3对环境生成装置10进行控制。
(1-3)特征
如以上说明的那样,本实施方式的控制装置20将用于构建对人的身体和/或心境带来特定的影响的环境的环境条件所属的多个聚类和聚类的特征关联起来存储在存储部21中。进而,控制装置20响应于与聚类的特征对应的输入的受理,对将对象空间S生成为规定的环境的环境生成装置10进行控制。其结果是,控制装置20能够构建使用户5产生各种感情的环境。
此外,本实施方式的控制装置20根据以规定的条件选择出的环境条件对环境生成装置10进行控制,因此,能够构建不统一的环境。特别地,处理部(选择部)23以规定的条件选择属于同一聚类内的其它环境条件,因此,能够避免对象空间S内的用户5习惯于规定的环境。
例如,通过使用本实施方式的控制装置20,在生成“提升感高的环境”的环境条件1和生成“幸福感高的环境”的环境条件2属于“快乐的环境”的聚类的情况下,控制装置20通过适当变更环境条件1和环境条件2,能够提供不仅快乐、而且提升感高、或幸福感高的环境。
(1-4)变形例
(1-4-1)变形例A
在上述说明中,在输入部22受理与聚类的特征对应的输入时,利用以任意形式显示的列表,但是,本实施方式的控制装置20不限于此。例如,输入部22在受理与聚类的特征对应的输入时,也可以受理用户5进行的文本的输入。该情况下,处理部23通过规定的算法进行文本解析,根据用户5进行的文本的输入来设定聚类的特征。
此外,输入部22也可以受理包含与触感有关的拟声词/拟态词在内的拟声词/拟态词等与人的感觉相关的表达的输入。该情况下,处理部23通过规定的算法进行解析,根据用户5进行的与拟声词/拟态词对应的感觉的输入来设定聚类的特征。
(1-4-2)变形例B
在上述说明中,当经过规定时间时,处理部(选择部)23随机地变更环境条件,但是,本实施方式的控制装置20不限于此。本实施方式的控制装置20也可以代替规定时间而在不满足规定的条件的情况下变更环境条件。
例如,如图5所示,将由任意的活体传感器、摄像装置、录音装置、接触装置、机器人中的任意一方或它们的任意组合等构成的环境识别装置70设置于对象空间S。进而,如图6所示,控制装置20的计算机还作为反应取得部26发挥功能,该反应取得部26从环境识别装置70收集存在于对象空间S的用户5的身体状况、表情、行动、言行等信息,取得表示存在于对象空间S中的用户5的反应的反应信息。解析部28根据由反应取得部26取得的反应信息进行用户的表情分析等解析。然后,处理部23根据解析部28的解析结果来变更环境条件。
具体而言,假设聚类的特征为“快乐的环境”。此外,假设通过解析部28进行对象空间S内的用户5的表情解析。进而,在解析部28的解析结果中笑脸的图像量超过规定量的情况下,处理部23判定为以当前的环境条件生成的环境对该对象空间S内的用户5带来期待的影响,以维持当前的环境条件的方式进行控制。根据这种结构,能够生成与存在于对象空间S的用户5的反应对应的环境。
另外,环境识别装置70不需要固定于对象空间S,也可以是健身追踪器等佩戴于用户5的装置。
(1-4-3)变形例C
在上述说明中,当经过规定时间时,处理部(选择部)23随机地变更为下一个环境条件,但是,本实施方式的控制装置20不限于此。例如,控制装置20的处理部23也可以是,当经过了规定时间时,根据优先级而变更为下一个环境条件。另外,如图7所示,优先级按照每个聚类来设定。此外,优先级还能够随时下载并更新。
此外,也可以根据用户5的使用状况而适当地学习优先级。进而,也可以根据用户5的个人信息而适当地学习优先级。
(1-4-4)变形例D
本实施方式的控制装置20的处理部23也可以具有决定上述环境条件的优先级的功能。具体而言,控制装置20还具有上述反应取得部26。此外,处理部(优先级决定部)23还具有如下功能:根据由反应取得部26取得的反应信息(表示存在于对象空间S中的用户5的反应的信息),决定属于各聚类的环境条件的优先级。
关于优先级的决定,使用图8所示的流程图进行说明。
首先,在控制装置20中,选择优先级决定模式(T1)。接着,受理与聚类的特征对应的输入(T2)。这里,假设输入“快乐的环境”作为聚类的特征。然后,以规定的环境条件N对环境生成装置10进行控制(T3、T4、T5)。在优先级设定模式时,通过反应取得部26取得对象空间S内的用户5的表情等作为反应信息(T6)。然后,通过解析部28进行反应信息的解析(T7)。这里,通过解析部28进行用户5的表情解析。处理部23根据表情解析的结果判定是否满足规定的条件(T8)。这里,处理部23根据表情解析的结果,例如在笑脸的图像量超过规定量的情况下(T8-是),判定为以当前的环境条件N生成的环境对该对象空间S内的用户5带来特定的影响,以优先级的值变高的方式进行更新(T9)。另一方面,处理部23根据表情解析的结果,在笑脸的图像量未超过规定量的情况下(T8-否),判定为以当前的环境条件N生成的环境未对该对象空间S内的用户5带来特定的影响,不变更优先级的值,或者以降低优先级的值的方式进行更新(T10)。然后,在优先级决定模式的状态下经过规定时间时,以下一个环境条件N+1对环境生成装置10进行控制(T11-否、T12-是、T13、T4)。然后,对环境条件的优先级进行更新,直到优先级决定模式被解除为止。然后,优先级根据优先级决定模式的时间的长度而收敛。
另外,优先级的决定或更新可以是实时处理,也可以是定期地对由反应取得部26取得的反应信息进行解析的批处理。
(1-4-5)变形例E
在上述说明中,当经过规定时间时,处理部(选择部)23随机地变更环境条件,但是,本实施方式的控制装置20不限于此。例如,也可以通过用户5对输入部22的操作,在任意的定时变更环境条件。
进而,本实施方式的控制装置20也可以是,处理部(优先级决定部)23根据环境条件的选择次数,决定属于聚类的环境条件的优先级。由此,优先级收敛,以便根据用户5对控制装置20的使用时间,选择与用户5的意向相应的环境条件。另外,优先级的决定或更新可以是实时处理,也可以是定期地对由反应取得部26取得的信息进行解析的批处理。
(1-4-6)变形例F
在上述存储部21中,被存储的聚类的特征和环境条件能够随时更新。此外,能够根据被更新的信息对环境生成装置10进行控制。
具体而言,存储部21中存储的信息能够随时下载并更新。例如,在新定义了针对“派对的空气流动的环境”等特定的影响的环境条件的集合的情况下,能够将这些信息下载到存储部21进行利用。
(1-4-7)变形例G
在上述说明中,环境生成装置10和控制装置20为分体部件的装置,但是,它们也可以一体地组入同一装置中。
(2)聚类分类装置
上述的环境生成系统1所使用的环境条件能够使用聚类分类装置进行分类。下面,对事后设定聚类的特征的第1聚类分类装置50和事前设定聚类的特征的第2聚类分类装置60进行说明。
(2-1)第1聚类分类装置
(2-1-1)第1聚类分类装置的结构
首先,进行第1聚类分类装置50的说明。作为前提,假设通过控制装置20X对环境生成装置10进行控制,在对象空间S生成规定的环境。另外,控制装置20X具有与上述控制装置20相同的功能,但是,输入部22X还具有输入规定的环境条件的功能。为了便于说明,对控制装置20X中的与控制装置20不同的结构标注后缀X。
图9是用于说明第1聚类分类装置50的结构的示意图。第1聚类分类装置50能够由任意的计算机实现,具有环境条件取得部51、分类部52、设定部53和存储部54。这里,通过在计算机的CPU、GPU等中读入存储装置(ROM、RAM等)中存储的程序,实现上述各功能。但是不限于此,第1聚类分类装置50也可以使用LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等而作为硬件来实现。
另外,第1聚类分类装置50和控制装置20X也可以不是分别独立的装置,而是一体地组入同一装置中。
环境条件取得部51取得用于在对象空间S生成规定的环境的环境条件。这里,通过终端装置30的操作,经由控制装置20X的输入部22X适当地输入环境条件,对环境生成装置10进行控制。因此,环境条件取得部51取得由控制装置20X的输入部22X输入的环境条件。
分类部52根据环境条件的特征对由环境条件取得部51取得的环境条件进行聚类,生成多个聚类。聚类包含环境条件的范围或多个环境条件的集合。关于聚类,能够适当地采用最佳的聚类方法(例如K-means法)。具体而言,分类部52对环境条件的多个参数(这里设为n个物理量)分别进行加权,在被加权的各参数生成的n维空间上,设定处于规定范围内的距离的环境条件作为同一聚类。例如,为了便于说明,在设为存在2个环境条件的参数时,如图10所示,在二维空间上描绘各环境条件1~9。在图10所示的例子中,通过分类部52进行分类,以使这些环境条件1~9属于多个聚类1~3。
设定部53经由任意的终端装置30等受理信息的输入,根据受理的信息,设定由分类部52分类的聚类的特征。这里,设定者能够自由地定义聚类的特征。例如,在存在聚类1、2、3时,通过设定部53的功能,设定者能够如聚类1的特征为“快乐的环境”、聚类2的特征为“能够集中的环境”、聚类3的特征为“具有开放感的环境”那样设定各聚类的特征。此外,也可以通过光滑感(Tsurutsuru)、粗糙感(Zarazara)、柔软感(Fuwafuwa)等与触感有关的拟声词/拟态词的表达来设定聚类的特征。这里,通过贴上语言标签作为标签来进行聚类的特征的设定。另外,在各聚类的特征的设定中,仅贴上一个标签也没有问题,但是,也可以对1个聚类贴上多个标签。例如,1个聚类的特征也可以通过“快乐”这样的标签和“开放的”这样的标签来设定。
存储部54将聚类和聚类的特征关联起来进行存储。通过将该存储部54中存储的信息写入任意的存储装置,能够构建上述环境生成系统1中的控制装置20的存储部21。
(2-1-2)第1聚类分类装置的动作
图11是用于说明第1聚类分类装置50的动作的流程图。
首先,环境生成装置10和控制装置20X在规定期间被多个用户无制约地使用。各用户使用终端装置30自由地变更环境条件,使用环境生成装置10和控制装置20X使对象空间S的环境变化(X1)。另外,也可以通过后述触感选择装置80或应用了触感选择装置80的操作装置85自由地变更环境条件。
接着,进行使用环境生成装置10和控制装置20X的期间内使用的环境条件的解析。具体而言,通过分类部52对多个环境条件进行聚类,生成一个以上的聚类(X2)。
然后,设定者使用终端装置30等输入表示各聚类的特征的信息。各聚类的特征由设定者来定义。接受该信息,设定部53设定各聚类的特征(X3)。
由此,构建将聚类的特征和环境条件关联起来的数据库并将其存储在存储部54中(X4)。
如上所述,第1聚类分类装置50具有环境条件取得部51、分类部52、设定部53和存储部54。环境条件取得部51取得用于在对象空间S生成规定的环境的环境条件。分类部52将环境条件分类为多个聚类。设定部53设定聚类的特征。存储部54将聚类的特征和环境条件关联起来进行存储。总之,在第1聚类分类装置50中,将环境条件分类为多个聚类,受理分类后的聚类的特征的设定。而且,由于具有上述结构,因此,在第1聚类分类装置50中,设定者能够事后设定聚类的特征。而且,能够基于此构建将聚类的特征和环境条件关联起来的数据库。
若进行补充,在第1聚类分类装置50中,将环境条件分类为规定的聚类并进行模型评价,并且,在环境条件被分类为新的聚类时,进行模型生成。换言之,在用户生成了无法分类为任意的现有聚类的环境条件的情况下,第1聚类分类装置50的分类部52追加新的聚类。
(2-1-3)变形例
在上述步骤X3中,代替设定者定义聚类的特征,还可以根据存在于对象空间S的用户5的反应来定义聚类的特征。具体而言,将由任意的活体传感器、摄像装置、录音装置、接触装置、机器人中的任意一方或它们的任意组合等构成的环境识别装置70设置于对象空间S。进而,如图12所示,第1聚类分类装置50的计算机还作为反应取得部55发挥功能,该反应取得部55取得表示存在于对象空间S的用户5的反应的反应信息。此外,第1聚类分类装置50的计算机还作为解析部56发挥功能,该解析部56根据由反应取得部55取得的反应信息进行用户5的表情分析等。还作为处理部的一部分发挥功能的设定部53根据解析部56的解析结果,例如在笑脸的图像量超过规定量的情况下,表征与此时的环境条件对应的聚类是“快乐的环境”。然后,设定部53将聚类的特征和环境条件关联起来存储于存储部54中。另外,环境识别装置70不需要固定于对象空间S,也可以是健身追踪器等佩戴于用户5的装置。
另外,控制装置20X也可以与图6所示的控制装置20同样地设置反应取得部26,根据基于由反应取得部26取得的反应信息的解析结果对环境条件进行变更,或者对环境条件的优先级进行变更。另一方面,上述的从第1聚类分类装置50的反应取得部55取得的反应信息的解析结果被用于聚类的表征。
此外,在上述步骤X3中,在设定者定义聚类的特征时,也可以受理用户5进行的文本的输入。该情况下,设定部53通过规定的算法进行文本解析,根据文本确定用户5接受的印象。然后,设定部53将该确定的印象设定为聚类的特征。
此外,在上述步骤X3中,在设定者定义聚类的特征时,还可以反映对象空间S的属性来定义聚类的特征。例如,在对象空间S的用途预先能够识别为会议室、餐厅、安养院等的情况下,这些用途的信息反映到聚类的特征中。总之,作为聚类的特征,能够设定为“快乐的会议室的环境”等。此外,也可以通过光滑感(Tsurutsuru)、粗糙感(Zarazara)、柔软感(Fuwafuwa)等与触感有关的拟声词/拟态词的表达来设定聚类的特征。
(2-2)第2聚类分类装置
(2-2-1)第2聚类分类装置的动作
接着,进行第2聚类分类装置60的说明。作为前提,假设通过控制装置20Y对环境生成装置10进行控制,在对象空间S生成规定的环境。另外,控制装置20Y具有与上述控制装置20相同的功能,但是,不同之处在于输入部22Y能够输入规定的环境条件。为了便于说明,对控制装置20Y中的与控制装置20不同的结构标注后缀Y。
图13是用于说明第2聚类分类装置60的结构的示意图。第2聚类分类装置60能够由任意的计算机实现,具有环境条件取得部61、分类部62和存储部64。这里,通过在计算机的CPU、GPU等中读入存储装置(ROM、RAM等)中存储的程序,实现上述各功能。但是不限于此,第2聚类分类装置60也可以使用LSI(Large Scale Integration)、ASIC(ApplicationSpecific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等而作为硬件来实现。
另外,第2聚类分类装置60和控制装置20Y也可以不是分别独立的装置,而是一体地组入同一装置中。
环境条件取得部61取得用于在对象空间S生成预先定义了概念的已定义环境的环境条件。作为“已定义环境”,举出“快乐的环境”、“能够集中的环境”、“具有开放感的环境”、光滑感(Tsurutsuru)、粗糙感(Zarazara)、柔软感(Fuwafuwa)等与触感有关的拟声词/拟态词等。该环境条件取得部61从上述的控制装置20的输入部22Y取得环境条件。这里,对用户提示已定义环境的概念,指示环境条件的输入,以实现该已定义环境。接受该指示,用户操作终端装置30,经由输入部22Y输入环境条件,对环境生成装置10进行控制,尝试在对象空间S生成已定义环境。此时,环境条件取得部61适当地取得通过上述终端装置30的操作而输入的环境条件。
分类部62与已定义环境的概念对应地将环境条件分类为规定的聚类。例如,将对多个用户指示生成“快乐的环境”作为已定义环境时的、各用户经由输入部22Y输入的环境条件的集合或包含环境条件的区域分类为同一聚类。另外,分类部62按照规定的算法排除异常值。
存储部64将已定义环境的概念和环境条件关联起来进行存储。这里,已定义环境的概念作为聚类的特征来处理。因此,存储部64将聚类的特征和环境条件关联起来进行存储。通过将该存储部64中存储的信息写入任意的存储装置,能够构建上述环境生成系统1中的控制装置20的存储部21。
(2-2-2)第2聚类分类装置的动作
图14是用于说明第2聚类分类装置60的动作的流程图。
首先,对多个用户提示已定义环境的概念,指示实现该环境这样的环境条件的输入(Y1)。然后,环境生成装置10和控制装置20Y在规定期间被各用户使用。这里,各用户经由控制装置20Y,以与已定义环境的概念一致的方式使用终端装置30变更环境条件,尝试使用环境生成装置10在对象空间S生成已定义环境(Y2)。
接着,进行使用环境生成装置10的期间所使用的环境条件的解析。具体而言,分类部62按照规定的算法排除异常值,按照每个已定义环境的概念对由多个用户设定的多个环境条件进行聚类(Y3)。
然后,分类部62将已定义环境视为聚类的特征,将聚类的特征和环境条件关联起来。由此,构建将聚类的特征和环境条件关联起来的数据库并将其存储在存储部64中(Y4)。
如上所述,第2聚类分类装置60具有环境条件取得部61、分类部62和存储部64。环境条件取得部61取得用于在对象空间S生成预先定义了概念的已定义环境的环境条件。分类部62根据已定义环境的概念将环境条件分类为规定的聚类。存储部64将已定义环境的概念和环境条件关联起来进行存储。总之,在第2聚类分类装置60中,与已定义环境相关联地对环境条件进行聚类。而且,由于具有上述结构,因此,在第2聚类分类装置60中,在事前定义了聚类的特征的状况下,能够收集多个环境条件来进行聚类。而且,能够基于此构建将聚类的特征和环境条件关联起来的数据库。
(2-2-3)变形例
在上述步骤Y3中,通过组合第1聚类分类装置50,能够设定在已定义环境中进一步增加了规定的维度的特征而得到的定义。具体而言,第1聚类分类装置50的分类部52将第2聚类分类装置60的分类部62聚类的属于已定义环境的概念的多个环境条件分类为新的多个聚类。然后,第1聚类分类装置50的设定部53对这些聚类设定新的聚类的特征。由此,例如,已定义环境是“快乐的环境”,能够将分类为该“快乐的环境”的多个环境条件分类为“提升感高的环境”“幸福感高的环境”等新的聚类。
换言之,通过将第1聚类分类装置50组合于第2聚类分类装置60,在提示了模糊地定义的环境(“快乐的环境”等)后,能够收集与更细致地定义的环境(“提升感高的环境”“幸福感高的环境”等)对应的环境信息。进而,能够基于此构建将聚类的特征和环境条件关联起来的数据库。
此外,在上述步骤X3中,不仅是已定义环境的概念,还能够反映存在于对象空间S的用户5的反应来定义聚类的特征。具体而言,将由任意的活体传感器、摄像装置、录音装置、接触装置、机器人中的任意一方或它们的任意组合等构成的环境识别装置70设置于对象空间S。而且,如图15所示,第2聚类分类装置60的计算机还作为反应取得部65发挥功能,该反应取得部65取得表示存在于对象空间S的用户5的反应的反应信息。此外,第2聚类分类装置60的计算机还作为解析部66发挥功能,该解析部66根据由反应取得部65取得的反应信息进行用户5的表情分析等。处理部68根据解析部66的解析结果,在已定义环境的概念是“快乐的环境”、且笑脸的图像量超过规定量的情况下,表征与此时的环境条件对应的聚类是对“快乐的环境”进行细分类化的“幸福感高的环境”。然后,处理部68将聚类的特征和环境条件关联起来存储于存储部64中。另外,环境识别装置70不需要固定于对象空间S,也可以是健身追踪器等佩戴于用户5的装置。
另外,控制装置20Y也可以与图6所示的控制装置20同样地设置反应取得部26,根据基于由反应取得部26取得的反应信息的解析结果对环境条件进行变更,或者对环境条件的优先级进行变更。另一方面,上述的从第2聚类分类装置60的反应取得部65取得的反应信息的解析结果被用于聚类的表征(再分类化等)。
(2-2-4)实验例1
下面,对与聚类的特征量的提取有关的实验例1进行说明。另外,在以下的说明中,“空气感”是指人对环境主观感觉到的印象或感觉。
<实验例1的方法>
对象者:18岁~42岁的52名参加者参加了实验。其中,2名参加者无法保存所生成的空气感,因此,最终,50名参加者(男性30名、平均年龄22.82岁、SD(标准差)为6.16岁)成为分析对象。
过程:对参加者给出如下教示:“现在请您使用投影映射生成器(输入部的一例)创建使该房间的空气感变化的3种影像。请设想您创建的影像被投影到4面由墙壁包围的投影映射的房间。在将使用投影映射生成器创建的影像投影到4面由墙壁包围的投影映射的房间时,请营造感觉到有活力的空气感、感觉到被拥抱的空气感、具有紧张感的空气感这3种空气感”。
然后,参加者在个人电脑画面(23英寸)上创建“感觉到有活力的空气感”、“感觉到被拥抱的空气感”、“具有紧张感的空气感”这3种空气感。参加者能够自由地操作画面上的12个要素(投影到墙壁的圆的随机性、圆的数量、圆的尺寸、圆移动的方向(X)、圆移动的方向(Y)、圆移动的速度、圆的颜色(R)、圆的颜色(G)、圆的颜色(B)、墙壁的颜色(R)、墙壁的颜色(G)、墙壁的颜色(B))。在3种空气感的创建结束的时点,实验结束。
<实验例1的结果>
首先,关于参加者创建的3种空气感,进行对应的单因素方差分析,以研究12个要素是否彼此存在差异。另外,关于p值,进行了邦费罗尼(Bonferroni)的修正。表1中示出其结果。
【表1】
Figure BDA0002989983160000171
根据表1,作为3种空气感的特征,“感觉到有活力的空气感”示出:与其它空气感相比,被投影到墙壁的圆向上移动更多,与其它空气感相比,圆的颜色和背景的颜色的红色(R)均较高。此外,“感觉到被拥抱的空气感”示出:与其它空气感相比,被投影到墙壁的圆随机地配置,此外,圆移动的速度较慢。此外,“具有紧张感的空气感”示出:与其它空气感相比,被投影到墙壁的圆的数量较多,圆的尺寸较小,此外,圆移动的速度较快。如上所述,收集50名参加者创建的空气感的数据并进行分析,由此,能够详细地示出各个空气感的要素具有的特征。
<3种空气感的特征量的提取>
接着,为了从这些数据中提取3种空气感的特征量,对12个要素进行主成分分析。另外,式子如下所述。
【数式1】
将y称为12维要素,将其投影到低维特征向量。
projection f
f:y→x=(WPCA)y
其结果是,如表2所示,提取4个固有值为1.0以上的成分。
【表2】
Figure BDA0002989983160000181
第1成分的贡献率为21.06%(固有值=2.53),第2成分的贡献率为15.17%(固有值=1.82),第3成分的贡献率为12.68%(固有值=1.52),第四成分的贡献率为9.40%(固有值=1.13)。累积贡献率为58.31%。
接着,针对通过主成分分析而提取出的特征空间,实施基于K-means法的聚类分析。其结果是,得到4个聚类。接着,针对4个聚类的每一个,参加者标注为“感觉到有活力的空气感”、“感觉到被拥抱的空气感”、“具有紧张感的空气感”的标签包含多少,计算出其含有率。另外,将含有率高(56.0%以上)的空气感标签作为聚类名进行分配。其结果是,对聚类1分配“具有紧张感的空气感”这样的聚类名。此外,对聚类3分配“感觉到有活力的空气感”的聚类名,对聚类4分配“感觉到被拥抱的空气感”的聚类名。另外,关于聚类2,包含3种空气感的比例没有偏差,因此未给出标签。如上所述,针对3种空气感,能够提取其特征量并进行类别化。作为下一个过程,根据得到的特征量来安装自动生成各空气感的系统。
(2-2-5)各聚类的参数的自动生成
接着,叙述根据各聚类自动生成参数的过程。首先,针对4个聚类中的任意一方,根据平均值和SD(标准差)生成12个要素各自的参数。另外,参数是利用随机数生成的。接着,对生成的12个要素各自的参数进行归一化,取得固有向量的内积,由此投影到进行了聚类的特征空间。但是,并不保证这里生成的参数在进行了聚类处理的空间内属于某个特定的聚类,因此,判定是否包含在特征空间内。判定的基准是在特征空间内是否进入±1SD。在被投影的参数属于4维空间(通过主成分分析而导出的4个成分)内的某个特定的聚类的情况下,认为所生成的参数包含在聚类中并加以采用。如果不是这样,则拒绝,通过相同的过程重新生成。
针对通过上述方法生成的各聚类的参数,进行参加者抱有什么样的印象的评价实验(以下的实验例2)。
(2-2-6)实验例2
下面,对自动生成的各聚类的评价实验进行说明。
<实验方法>
对象者:18岁~25岁的14名参加者参加了实验(男性8名、平均年龄21.21岁、SD(标准差)为2.04岁)。另外,全部参加者未参加实验例1的实验。
过程:对参加者给出“现在,进入4面由墙壁包围的被投影了投影映射的房间,针对该房间的空气感回答问题。请观看房间,直到响起声音暗号为止。在声音响起后,请回答问题”这样的教示后,向实验室移动。
在实验中,针对1名参加者,随机地提示自动生成的8个聚类(各提示2个根据4个聚类生成的参数)的投影映射的影像。此外,使参加者坐在实验室的中央,观看30秒的投影映射的影像。在30秒后,在声音暗号响起后,回答问题项目。
问题项目:
SD(Sematic differential:语义差异)法问题:进行“针对该房间的印象,请分别选择适当的数字”这样的教示,针对“不舒服-舒服”、“无聊-美丽”、“疲劳-有活力”、“安静-嘈杂”、“紧张-放松”、“浑浊-澄清”、“通风差-通风好”合计7个项目,利用7点量表进行询问。
基于象声词(这里为与触感有关的拟态词/拟声词)对的问题:进行“请选择以下2个成对的语言(象声词)中的、更符合该房间的印象的一方”这样的教示,针对“Pasapasa-Purupuru”、“Subesube-Kasakasa”、“Tsurutsuru-Shakashaka”、“Mosamosa-Pokopoko”、“Zarazara-Fukafuka”、“Surusuru-Shorishori”、“Howahowa-Funifuni”、“Chikuchiku-Gasagasa”、“Mokomoko-Tsubutsubu”、“Fuwafuwa-Sarasara”合计10个项目,利用2点量表进行询问。
身体图:进行“在位于该房间时,认为你的身体的哪个部位的活动较强或者较弱。请触摸相应的部位(红心表示心脏)。”这样的教示,按照活性/不活性来计算出参加者触摸人型的插图的次数。另外,使用身体部位中的左胸(心脏)的活性/不活性的值作为空气感的指标。
空间综合问题:进行“在该房间内想做什么。请从下述内容中选择一个。”这样的教示,从“家务”、“用餐”、“会话”、“睡眠”、“学习”、“运动”、“休闲活动”这7个项目的选择项中选择一个。此外,进行“认为该房间的空间适合于什么样的店。请从下述内容中选择一个。”这样的教示,从“咖啡厅”、“家庭餐厅”、“学生食堂”、“快餐”、“居酒屋”、“烤肉屋”、“酒吧”这7个项目的选择项中选择一个。
在本实验中,使用以上的指标进行与空气感有关的评价。此外,为了确认自动生成的参数是否反映各聚类的空气感,还要求针对空气感问题进行(“请从下述内容中选择一个最符合该房间的氛围的空气感。”这样的教示,从“像被人看着那样干劲十足的空气感(具有紧张感的空气感)”、“有活力的空气感”、“进行深呼吸的空气感”、“寂寞但是浪漫的空气感”、“迈出新的一步的空气感”、“仿佛被拥抱一样的安静的空气感(感觉到被拥抱的空气感)”、“提高针对日常生活的容易忘记的感觉的敏感性的空气感”这7个项目的选择项中选择一方)一并进行回答。
<实验结果>
首先,为了确认自动生成的参数是否能够反映各聚类的空气感,对空气感问题进行了分析。关于各聚类,关于选择出的空气感的比例是否超过机会水平,进行二项检验。其结果是,聚类3以显著高于机会水平的方式选择了“有活力的空气感”(p=.04)。此外,聚类4以显著高于机会水平的方式选择了“仿佛被拥抱一样的安静的空气感”(p=.0001)。根据该结果,关于聚类3、4,示出自动生成的参数能够反映各聚类的空气感。但是,关于聚类1,示出不是选择“感觉到紧张的空气感”、而是选择了“日提高针对日常生活的容易忘记的感觉的敏感性的空气感”的比例显著地高(p=.04)。
接着,针对SD法问题项目进行主成分分析。其结果是,提取2个固有值为1.0以上的成分(表3)。第1成分的贡献率为54.32%(固有值=3.80),第2成分的贡献率为20.54%(固有值=1.44)。累积贡献率为74.86%。关于主成分得分,进行将4个聚类设为独立变量的对应的单因素的方差分析。其结果是,仅成分1看到聚类的主效果(F(3,81)=10.61、p=.0001、η2=.28)。进行多重比较的结果是,示出“感觉到被拥抱的空气感”与“感觉到紧张感的空气感”相比成为显著高的值(p=.0001),此外,与“感觉到有活力的空气感”相比成为显著高的值(p=.0001)。即,揭示了参加者最舒服地感觉到被提示的“感觉到被拥抱的空气感聚类”。
接着,叙述新的指标即基于象声词对的问题的结果。针对基于象声词的问题进行了主成分分析的结果是,提取3个固有值为1.0以上的成分。第1成分的贡献率为32.44%(固有值=3.24),第2成分的贡献率为14.79%(固有值=1.48),第3成分的贡献率为10.48%(固有值=1.05)。累积贡献率为57.71%。
【表3】
Figure BDA0002989983160000211
计算出象声词对的成分和SD法项目的成分的相关性的结果是,在第1成分间看到中等程度的正相关(r=.50、p=.0001)。即,示出使用象声词对也可以测出“不舒服-舒服”。另一方面,关于第2成分、第3成分,未看到与SD法项目的成分之间的关联。即,通过象声词对,可能能够提取现有的SD法无法捕捉的轴。此外,计算出象声词对的3个成分和12个要素的参数的相关性的结果是,示出第1成分与参数的圆的移动的随机性(r=-.24、p=.01)相关联,第2成分与圆的数量(r=.20、p=.03)、圆的颜色(B)(r=-.20、p=.04)相关联。
接着,针对身体图进行了分析。在分析中,使用参加者触摸左胸(心脏)的次数。按照每个聚类,针对认为活动较强(以下为活性)的情况下触摸的次数/认为活动较弱(以下为不活性)的情况下触摸的次数,在参加者内进行标准化,进行将聚类作为独立变量的单因素的方差分析。表4示出左胸的各聚类的活性/不活性的值。
首先,将活性的值作为从属变量的单因素方差分析的结果是,在聚类间未看到显著的主效果(F(3,39)=.33、ns)。接着,进行将不活性的值作为从属变量的单因素方差分析的结果是,在聚类间看到显著的主效果(F(3,39)=7.11、p=.001、η2=.35)。进行多重比较后,在“感觉到有活力的空气感”即聚类3与“感觉到被拥抱的空气感”即聚类4之间看到显著的差异(p=.01)。即,示出在聚类间,左胸的活性没有差异,但是,关于不活性,通过提示自动生成的聚类,对身体部位带来的影响不同。
【表4】
Figure BDA0002989983160000221
接着,针对空间综合进行分析。在空间综合中,询问“在该空间中想做什么。请从下述内容中选择一个”、“认为该房间的空间适合于什么样的店。请从下述内容中选择一个”这2个问题项目。首先,关于“在该空间中想做什么”,图21示出每个聚类的选择率。
关于选择出的空气感的比例是否超过机会水平,进行二项检验。其结果是,在“希望运动”的情况下,显著高地选择“感觉到有活力的空气感”即聚类3(p=.0001)。此外,在“希望会话/交流/沟通”的情况下,显著高地选择“感觉到被拥抱的空气感”即聚类4(p=.04)。
接着,关于“认为该空间适合于什么样的店”,同样进行二项检验。其结果是,关于“感觉到有活力的空气感”即聚类3,显著高地选择快餐店(p=.0001)。此外,关于“感觉到被拥抱的空气感”即聚类4,显著高地选择咖啡店或家庭餐厅(依次为p=.004;p=.04)。进而,关于“感觉到紧张的空气感”即聚类1,显著高地选择酒吧(p=.0001;图22)。
根据这些结果,示出根据自动生成的参数,关于每个空气感,参加者受到的印象不同,进而,符合空气感的日常活动或餐饮店存在差异。
(3)触感选择装置
(3-1)结构
作为上述环境识别装置70的一部分或全部,可以使用以下的触感选择装置80。
如图16所示,触感选择装置80具有提供部81和识别部82。提供部81具有多个接触部81a、81b、81c、81d、81e、81f…。具体而言,如图17所示,触感选择装置80具有长方体形状的外壳80c,在各面具有多个接触部81a、81b、81c、81d、81e、81f…。另外,图17是用于说明触感选择装置80的外观的一例的示意图。
提供部81在用户5接触时,单独提供不同的触感。作为不同的触感的例子,举出光滑感(Tsurutsuru感)、粗糙感(Zarazara感)、柔软感(Fuwafuwa感)等。这些触感例如能够通过配置蛇皮、草垫、羽毛等来实现。总之,提供部81中的至少2个接触部由不同的材料构成。但是,接触部的结构不限于此,也可以是,多个接触部81中的至少2个接触部使接触面产生不同的振动。例如,如果是具有将电压转换为力的压电元件的接触部,则能够使接触面产生振动。此外,也可以是,多个接触部81中的至少2个接触部使接触面产生不同的温度和/或湿度。例如,如果是具有帕尔帖元件的接触部,则能够改变接触面的温度。此外,也可以是,多个接触部81中的至少2个接触部使接触面产生不同的电压和/或电流。例如,能够采用具有施加电压的电极的接触部。此外,也可以是,多个接触部81中的至少2个接触部通过进入部件的磁粉进行运动等而使接触面产生不同的磁力。此外,也可以是,多个接触部81中的至少2个接触部使接触面产生不同的磁力。例如,能够采用具有刚性根据外部磁场而变化的磁性弹性体或磁场生成装置的接触部。另外,接触部81也可以具有上述结构的任意组合。
在图17所示的例子中,在第1面F1、第2面F2、第3面F3分别设置有产生2种不同的触感的接触部81a、81b、81c、81d、81e、81f。这里,针对规定的感觉的评价轴按照每个面来决定,在配置于同一面的2个接触部中,强弱不同。例如,在第1面F1中,实现粗糙感,右侧的接触部81a的粗糙感强,左侧的接触部81b的粗糙感弱。此外,在第2面F2中,实现光滑感,右侧的接触部81c的光滑感强,左侧的接触部81d的光滑感弱。此外,在第3面F3中,实现柔软感,近前侧的接触部81e的柔软感强,里侧的接触部81f的柔软感弱。
识别部82识别用户5选择的触感。这里,识别部82根据用户5接触的接触部,识别用户5的触感。由此,能够识别与用户5所在的对象空间S的环境的状态相当的触感。若进行补充,则在表达个人的感觉时,与利用语言进行表达相比,通过触感的选择进行表达有时准确地反映个人内在具有的感觉意向性(针对感觉的意向的个人差异)。例如,即使用户5根据周围的环境被唤起“温暖”感情,有时本人也不能感觉到该“温暖”感情是类似于触摸毛毯时感觉到的“温暖”感情,还是类似于触摸热水时感觉到的“温暖”感情,利用语言,有时只能表达为“温暖”。这种情况下,通过多个触感的选择来表达“温暖”感情时,有时能够准确地表达本人的感情。根据这种知识和见解,在本实施方式的识别部82中,根据对象空间S内的用户5对接触部的接触次数和/或接触时间等,对用户5针对哪个接触部81a、81b、81c、81d、81e、81f…如何接触进行解析,由此,识别与对象空间S的环境的状态相当的触感。另外,识别部82由任意的处理器和存储器构成。
图18是示出操作装置85的结构的示意图。而且,表示由识别部82决定的触感的信息经由任意的通信接口输出到第1聚类分类装置50和第2聚类分类装置60。
此外,利用识别部82对触感的解析结果,能够构建控制装置20、20X、20Y的操作装置85。该情况下,由任意的处理器和存储器构成的处理部83根据用户5对多个接触部81的接触情况和其它信息来决定触感。然后,将表示所决定的触感的信息经由任意的通信接口即通信部84发送到控制装置20、20X、20Y,对环境生成装置10进行控制。
(3-2)特征
如上所述,在触感选择装置80中,根据用户接触的接触部来识别触感。此外,通过使用这种触感选择装置80作为环境识别装置70的一部分或全部,能够根据触感的差异来识别对象空间S的环境的状态。特别地,通过利用不同的材料构成接触部,能够根据基于材料的触感的差异来识别对象空间S的环境的状态。此外,通过使至少2个接触部的接触面产生不同的振动,能够根据基于振动的触感的差异来识别对象空间S的环境的状态。此外,通过使至少2个接触部的接触面产生不同的温度和/或湿度,能够根据基于温度和/或湿度的触感的差异来识别对象空间S的环境的状态。此外,通过使至少2个接触部的接触面产生不同的电压和/或电流,能够根据基于电压和/或电流的触感的差异来识别对象空间S的环境的状态。此外,通过使至少2个接触部的接触面产生不同的磁力,能够根据基于磁力的触感的差异来识别对象空间S的环境的状态。
进而,还可以应用触感选择装置80,作为对用于根据环境条件在对象空间S生成规定的环境的控制装置20、20X、20Y进行操作的操作装置85。具体而言,操作装置85根据用户5接触的接触部来识别触感,决定与该触感对应的环境条件。然后,操作装置85经由通信部84将表示触感的信息发送到控制装置20、20X、20Y,由此,根据触感在对象空间S生成规定的环境。
(4)输入辅助装置(环境生成装置的控制)
如果存在用户自身创建自我感觉刺激来表达“现在有接受这种感觉刺激的心情”这样的手段,则能够生成更加接近用户的感觉的刺激。因此,需要如下设计:将用户创建的感觉刺激蓄积在始终利用网络共享的数据库中,用于获得新的生成模型。但是,要求专业性低的一般用户从头开始生成复杂的感觉刺激的系统是不现实的。因此,在设定了整体上相通的感觉刺激的协议后,作为生成感觉刺激的手段,考虑如下手段。例如,考虑能够非常缜密地生成感觉刺激的正规的计算机上的生成器应用、以孩子和老人也能够操作的方式在触摸面板上在GUI中进行简化的手段、能够通过更加直观地接触而无意识地生成感觉刺激的触感界面等广泛的种类。通过准备这些生成感觉刺激的手段,能够将用户参与创造活动的障碍降低到极限。而且,通过构建多种用户经由网络共享贴近的代理(生成模型组)的生态系统,尝试持续地在代理的内部增加生成模型。优选如下形式:理想情况下,在用户没有意识到进行自我创作活动的状态下,实际上由用户在生态系统中生成新的感觉刺激,将其机械地收集并存储在数据库中。在这种在群体中共享代理的设计中,通过代理而接触不认识的他人生成的新类型的感觉刺激,由此,激发用户中潜在的创造性。如果能够构建在这里发生产生新的创造种子这样的巧妙联系的开放性高的生态系统,则代理能够持续地获得新的生成模型。
基于上述内容,以具有在上述终端装置30中在控制装置20X、20Y输入环境条件时能够直观操作的界面的输入辅助装置为例进行说明。另外,输入辅助装置可以通过在终端装置30安装程序来实现。以下示出能够直观操作的界面的例子。
(4-1)第1例
作为第1例,输入辅助装置构成为,经由构成环境生成装置10的投影仪,能够决定用于在对象空间S的壁面移动规定的显示物的环境条件。例如,通过用户5对终端装置30的操作,环境生成装置10在对象空间S的壁面显示显示物R(参照图1、5)。这里,构成为在终端装置30安装有输入辅助装置的功能,受理用于对显示物R的点的数量、移动方向、移动速度、大小、色彩、形状、点的配置、周期运动等进行调整的调整信息。因此,用户5通过在终端装置(输入辅助装置)30输入上述调整信息,能够对对象空间S的壁面中显示的显示物R的显示方式进行变更。
另外,认为与下方向相比,显示物R越向上方向移动,则给人越积极的印象。此外,认为与左方向相比,显示物R越向右方向移动,则给人越积极的印象。
终端装置30也可以包含触感选择装置80。该情况下,如上所述,能够根据用户5对触感选择装置80的多个接触部81的接触情况,对环境条件的参数进行变更。接触情况例如包含用户5触摸了接触部81的哪个面、触摸面时的触摸方式的强弱、触摸的面的方向、触摸的频度等。根据这些接触情况对环境条件的参数进行变更,能够对显示物R的点的数量、移动方向、大小、色彩、形状等进行变更。
(4-2)第2例
(4-2-1)画面界面
作为第2例,输入辅助装置构成为能够在画面上移动规定的显示物,对应于该显示物的移动来决定环境条件。此外,构成为能够以所决定的环境条件对环境生成装置10进行控制。
例如,输入辅助装置采用图19所示的结构的界面。这里,在输入辅助装置的画面的右侧的区域G1显示圆显示物Z1。进而,在该界面中,当用户5在图19所示的画面的左侧的区域G2中利用鼠标或触摸屏幕等描绘曲线Z2时,与该曲线Z2对应地,右侧的区域G1中显示的圆显示物Z1以一个自由度上下移动规定时间。另外,图19所示的左侧的区域G2的纵轴示出上下运动,横轴示出时间。此外,通过变更下部的滚动条G3的长度,能够随时变更圆显示物Z1移动的时间。如果是这种界面,则谁都能直观地创造各种移动。其结果是,通过使用利用这种界面的输入辅助装置,能够进行反映了群体中共享的感觉的环境条件的提取和生成。
(4-2-2)实验例
关于输入辅助装置进行的环境条件的分类,使用实验例进行补充。
在本实验中,指示各种背景的53名成人参加者分别以如下方式生成曲线:不给出成见,以自由发挥的方式,使用输入辅助装置,利用曲线表达“P1:幸福的生物的移动”、“P2:悲伤的生物的移动”、“P3:放松的生物的移动”、“P4:紧张的生物的移动”、“P5:非生物的移动”这5种移动。
然后,将各参加者绘画5种移动而生成的曲线视为波形,分别单独地执行傅里叶变换。在按照各个移动的种类求出53名参加者的功率谱的平均时,得到图20所示的结果。根据该结果可知,虽然各人完全自由地、没有成见地、与规定的图像对应地设计了移动,但是,按照移动的种类,在功率谱上观测到参加者间共通的特征。这揭示了在大量参加者进行直观设计的过程中,能够提取个人间共享的感觉意向性。
因此,通过利用上述这种使用直观界面的输入辅助装置,容易设定用于生成反映了个人间共享的感觉意向性的环境的环境条件的聚类。
<其它实施方式>
以上说明了实施方式,但是,能够理解到可以在不脱离权利要求书的主旨和范围的情况下进行方式和详细情况的多种变更。
本发明不限于上述各实施方式。本发明能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。此外,本发明通过上述各实施方式所公开的多个结构要素的适当组合,能够形成各种发明。例如,也可以从实施方式所示的全部结构要素中删除若干个结构要素。进而,也可以在不同实施方式中适当组合结构要素。
标号说明
1:环境生成系统;5:用户;10:环境生成装置;20、20X、20Y:控制装置;21:存储部;22、22X、22Y:输入部;23:处理部(选择部)(优先级决定部);24:控制部;25:输出部;26:反应取得部;28:解析部;30:终端装置;50:第1聚类分类装置;51:环境条件取得部;52:分类部;53:设定部;54:存储部;55:反应取得部;56:解析部;60:第2聚类分类装置;61:环境条件取得部;62:分类部;64:存储部;65:反应取得部;66:解析部;68:处理部;70:环境识别装置;80:触感选择装置;80c:外壳;81:提供部;81a、81b、81c、81d、81e、81f:接触部;82:识别部;83:处理部;84:通信部;85:操作装置;S:对象空间;R:显示物。
现有技术文献
专利文献
专利文献1:日本特开2003-299013号公报

Claims (13)

1.一种聚类分类装置(50、60),该聚类分类装置(50、60)具有:
环境条件取得部(51、61),其取得用于在对象空间(S)生成规定的环境的环境条件;
分类部(52、62),其根据所述环境条件取得部取得的多个环境条件,基于所述环境条件的特征生成聚类;以及
存储部(54、64),其将所述聚类和所述聚类的特征关联起来进行存储。
2.根据权利要求1所述的聚类分类装置(50),其中,
所述聚类分类装置(50)还具有设定部(53),该设定部(53)设定所述聚类的特征。
3.根据权利要求2所述的聚类分类装置(50、60),其中,
所述聚类分类装置(50、60)还具有反应取得部(55),该反应取得部(55)取得存在于所述对象空间中的人的反应,
所述设定部根据由所述反应取得部取得的反应,设定所述聚类的特征。
4.根据权利要求1所述的聚类分类装置(60),其中,
所述环境条件取得部(61)取得用于在所述对象空间生成预先定义了概念的已定义环境的环境条件。
5.根据权利要求4所述的聚类分类装置(60),其中,
所述聚类分类装置(60)还具有反应取得部(65),该反应取得部(65)取得存在于所述对象空间中的人的反应,
所述分类部根据所述已定义环境的概念和由所述反应取得部取得的反应,将所述环境条件分类为规定的聚类。
6.根据权利要求1~5中的任意一项所述的聚类分类装置(50、60),其中,
所述环境条件是表征对人的身体和/或心境带来特定的影响的物理量的参数。
7.根据权利要求1~6中的任意一项所述的聚类分类装置(50、60),其中,
所述聚类由利用n维信息表示的空间中的环境条件的集合或包含环境条件的区域构成。
8.一种环境生成装置(10),其使用由权利要求1~7中的任意一项所述的聚类分类装置分类的环境条件,在所述对象空间生成规定的环境。
9.一种环境生成系统(1),该环境生成系统(1)具有:
权利要求1~7中的任意一项所述的聚类分类装置;以及
控制装置(20),其对在所述对象空间生成规定的环境的环境生成装置(10)进行控制,
所述控制装置(20)具有:输入部(22),其受理与所述聚类的特征对应的输入;以及控制部(24),其根据从所述输入部受理的与所述聚类的特征对应的聚类中选择出的环境条件,对所述环境生成装置进行控制。
10.根据权利要求9所述的环境生成系统(1),其中,
所述控制装置(20)还具有选择部(23),该选择部(23)选择属于所述聚类的环境条件中的一个环境条件,
所述控制部根据所述选择部选择出的环境条件对所述环境生成装置进行控制。
11.根据权利要求10所述的环境生成系统(1),其中,
所述选择部以规定的条件选择属于同一聚类内的其它环境条件。
12.根据权利要求11所述的环境生成系统(1),其中,
所述控制装置(20)还具有反应取得部(26),该反应取得部(26)取得存在于所述对象空间中的人的反应,
所述选择部在由所述反应取得部取得的反应不满足预先设定的条件的情况下,选择其它环境条件。
13.根据权利要求10~12中的任意一项所述的环境生成系统(1),其中,
所述控制装置(20)还具有优先级决定部(23),该优先级决定部(23)根据所述选择部的选择次数和/或存在于所述对象空间中的人的反应,决定属于所述聚类的环境条件的优先级,
所述选择部根据所述优先级选择所述环境条件。
CN201980062696.1A 2018-09-28 2019-09-30 聚类分类装置、环境生成装置和环境生成系统 Active CN112771517B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2018184268 2018-09-28
JP2018-184268 2018-09-28
JP2019003123 2019-01-11
JP2019003122 2019-01-11
JP2019-003123 2019-01-11
JP2019-003122 2019-01-11
JP2019-141942 2019-08-01
JP2019141942A JP6631746B1 (ja) 2018-09-28 2019-08-01 クラスタ分類装置、環境生成装置及び環境生成システム
PCT/JP2019/038450 WO2020067562A1 (ja) 2018-09-28 2019-09-30 クラスタ分類装置、環境生成装置及び環境生成システム

Publications (2)

Publication Number Publication Date
CN112771517A true CN112771517A (zh) 2021-05-07
CN112771517B CN112771517B (zh) 2023-03-24

Family

ID=69146694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980062696.1A Active CN112771517B (zh) 2018-09-28 2019-09-30 聚类分类装置、环境生成装置和环境生成系统

Country Status (6)

Country Link
US (1) US11328174B2 (zh)
EP (1) EP3859565A4 (zh)
JP (1) JP6631746B1 (zh)
CN (1) CN112771517B (zh)
BR (1) BR112021005225A2 (zh)
WO (1) WO2020067562A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021214967A1 (ja) * 2020-04-24 2021-10-28 日本電信電話株式会社 食感提示装置、食感提示方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299013A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd 体験情報再現装置
CN102067128A (zh) * 2009-04-27 2011-05-18 松下电器产业株式会社 数据处理装置、数据处理方法、程序及集成电路
JP2013128649A (ja) * 2011-12-21 2013-07-04 Chuo Univ 環境最適化装置
JP2014214975A (ja) * 2013-04-25 2014-11-17 大成建設株式会社 快適環境選択支援装置および快適環境選択支援方法
CN104428600A (zh) * 2012-07-09 2015-03-18 松下知识产权经营株式会社 空调管理装置和空调管理系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3094590B2 (ja) * 1991-12-06 2000-10-03 松下電器産業株式会社 空気調和機の制御装置
US5682573A (en) * 1995-03-01 1997-10-28 Fuji Xerox Co., Ltd. Image quality control in image forming apparatus
US5995644A (en) * 1997-06-30 1999-11-30 Siemens Corporate Research, Inc. Robust and automatic adjustment of display window width and center for MR images
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
US8503768B2 (en) * 2010-12-22 2013-08-06 Sony Corporation Shape description and modeling for image subscene recognition
IL219795A0 (en) * 2012-05-15 2012-08-30 D V P Technologies Ltd Detection of foreign objects in maritime environments
JP6053345B2 (ja) * 2012-06-20 2016-12-27 キヤノン株式会社 送信装置、映像表示装置、送信方法、映像表示方法、及びプログラム
JP2014146248A (ja) * 2013-01-30 2014-08-14 Sony Corp 表示制御装置、表示制御方法およびプログラム
JP2014167761A (ja) * 2013-02-28 2014-09-11 Toshiba Corp 環境評価装置、方法およびプログラム
US20150302123A1 (en) * 2014-04-18 2015-10-22 Alcatel Lucent X-maps with flexible tiles
JP6308466B2 (ja) 2014-07-24 2018-04-11 パナソニックIpマネジメント株式会社 環境制御装置、プログラム
CN104238376B (zh) 2014-09-30 2017-02-15 东南大学 基于数据的低温低气压环境发电机组运行仿真系统
US20170316329A1 (en) * 2015-01-21 2017-11-02 Mitsubishi Electric Corporation Information processing system and information processing method
US10259466B2 (en) * 2015-11-19 2019-04-16 Depura Partners, Llc System for monitoring and classifying vehicle operator behavior
CN105517222B (zh) 2015-12-01 2018-10-19 小米科技有限责任公司 灯光调节方法和装置
US10754334B2 (en) * 2016-05-09 2020-08-25 Strong Force Iot Portfolio 2016, Llc Methods and systems for industrial internet of things data collection for process adjustment in an upstream oil and gas environment
JP6418211B2 (ja) * 2016-09-15 2018-11-07 オムロン株式会社 識別情報付与システム、識別情報付与装置、識別情報付与方法及びプログラム
US11215840B2 (en) * 2018-10-18 2022-01-04 International Business Machines Corporation Testing a biological sample based on sample spectrography and machine learning techniques

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003299013A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd 体験情報再現装置
CN102067128A (zh) * 2009-04-27 2011-05-18 松下电器产业株式会社 数据处理装置、数据处理方法、程序及集成电路
JP2013128649A (ja) * 2011-12-21 2013-07-04 Chuo Univ 環境最適化装置
CN104428600A (zh) * 2012-07-09 2015-03-18 松下知识产权经营株式会社 空调管理装置和空调管理系统
JP2014214975A (ja) * 2013-04-25 2014-11-17 大成建設株式会社 快適環境選択支援装置および快適環境選択支援方法

Also Published As

Publication number Publication date
US20210312226A1 (en) 2021-10-07
BR112021005225A2 (pt) 2021-06-15
EP3859565A1 (en) 2021-08-04
WO2020067562A1 (ja) 2020-04-02
JP2020113241A (ja) 2020-07-27
CN112771517B (zh) 2023-03-24
US11328174B2 (en) 2022-05-10
JP6631746B1 (ja) 2020-01-15
EP3859565A4 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
KR101680995B1 (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
CN109789550B (zh) 基于小说或表演中的先前角色描绘的社交机器人的控制
US20190196576A1 (en) Virtual reality device and a virtual reality server
WO2019169854A1 (zh) 一种人机交互方法及交互机器人
CN109804389A (zh) 从设备数据提取情绪状态
CN102902704B (zh) 信息处理设备、短语输出方法
McColl et al. Classifying a person’s degree of accessibility from natural body language during social human–robot interactions
KR20180062221A (ko) 게임플레이어의 얼굴 인식을 통한 게임운영 방법
CN112771517B (zh) 聚类分类装置、环境生成装置和环境生成系统
Mishra et al. Nadine robot in elderly care simulation recreational activity: using computer vision and observations for analysis
Mohd Tuah et al. The characteristics and application of anthropomorphic interface: A design spectrum
Bourahmoune et al. Owro: A Novel Robot For Sitting Posture Training Based On Adaptive Human Robot Interaction
JP7415139B2 (ja) 環境条件記憶装置、環境条件記憶方法、操作装置、及び環境認識装置
US11609635B2 (en) Environmental condition storage device, environmental condition storage method, operation device, and environment recognition device
JP7189434B2 (ja) 空間制御システム
JP2018055232A (ja) コンテンツ提供装置、コンテンツ提供方法、及びプログラム
KR20220009090A (ko) 감성인지 아바타 서비스 시스템
Kozel ‘Revealing Practices’ Heidegger's techne interpreted through performance in responsive systems
Pakrasi Towards expressive mobile robots
JP2019207286A (ja) 行動誘引支援システム及びプログラム
Emi et al. Pose generation system expressing feelings and state
Ward Virtual Synaesthesia: Crossmodal Correspondences and Synesthetic Experiences
Designing If Computers Could Shrug
Robinson An Intelligent Social Robot for Assisting With Multiple Daily Activities
Zomer Shaping proactivity: Designing interactions with proactive ambient artefacts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant