CN113284255A - 一种面向教育场景的ar系统 - Google Patents

一种面向教育场景的ar系统 Download PDF

Info

Publication number
CN113284255A
CN113284255A CN202110568869.6A CN202110568869A CN113284255A CN 113284255 A CN113284255 A CN 113284255A CN 202110568869 A CN202110568869 A CN 202110568869A CN 113284255 A CN113284255 A CN 113284255A
Authority
CN
China
Prior art keywords
module
control
geometric
object tracking
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110568869.6A
Other languages
English (en)
Inventor
冯桂焕
周扬
宗琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110568869.6A priority Critical patent/CN113284255A/zh
Publication of CN113284255A publication Critical patent/CN113284255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开一种面向教育场景的AR系统,包括系统本体，所述系统本体采用MVC架构,所述系统本体包括画板模块、物体跟踪模块、图表可视化模块、摄像机控制模块和AR控制模块,通过画板模块、物体跟踪模块、图表可视化模块、摄像机控制模块和AR控制模块之间的相互配合，以在增强现实的界面中绘制交互图形，为课堂教学实验添加动态辅助线，并将实验场景中物体运动变化的真实数据直观的展现出来，继而可以弥补传统教学手段的不足，增强课堂的互动性，提高教学质量，以更自然的方式与学习环境中的物体交互，帮助学生直观地理解学习中抽象的内容，并且理解物理现象的本质。

Description

一种面向教育场景的AR系统
技术领域
本发明涉及教育技术领域，尤其涉及一种面向教育场景的AR系统。
背景技术
为了增加教学内容的直观性，提升课堂教学质量，学校课堂中会使用教学辅助工具来帮助学生理解知识，大多数中学课堂中，内容的演示基于黑板，使用粉笔在黑板上绘制草图、标识符号，使用大的尺子、圆规等绘制辅助线条，在可触及的范围内使用实体演示物体的运动。随着多媒体的普及和应用，部分课堂的教师会使用投影仪投影演示文稿，采用PPT等多媒体工具来授课和讲解内容；
现阶段教学方式以黑板、纸笔为主，部分课程的教学中会采用多媒体的投影仪、演示文稿等形式，这种教学形式有一定模拟效果，但无法动态、实时地与真实世界互动，缺少直观性和生动性，使得教学质量较低，
而AR为增强现实技术，能够实时地计算摄影机影像的位置及它的角度，让屏幕上的虚拟世界能够与现实世界中的场景进行结合与交互的技术，因此本发明提出一种面向教育场景的AR系统以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明的目的在于提出一种面向教育场景的AR系统，该种面向教育场景的AR系统通过画板模块、物体跟踪模块、图表可视化模块、摄像机控制模块和AR控制模块之间的相互配合，以在增强现实的界面中绘制交互图形，为课堂教学实验添加动态辅助线，并将实验场景中物体运动变化的真实数据直观的展现出来，继而可以弥补传统教学手段的不足，增强课堂的互动性，提高教学质量，以更自然的方式与学习环境中的物体交互，帮助学生直观地理解学习中抽象的内容，并且理解物理现象的本质。
为实现本发明的目的，本发明通过以下技术方案实现：一种面向教育场景的AR系统，包括系统本体，所述系统本体采用MVC架构，所述系统本体包括画板模块、物体跟踪模块、图表可视化模块、摄像机控制模块和AR控制模块，且画板模块与图表可视化模块交互，所述画板模块用于绘制几何形状，并将几何形状通过图表可视化模块可视化在界面上，所述物体跟踪模块与画板模块交互，且物体跟踪模块用于实时跟踪物体的运动变化，所述图表可视化模块用于将绘制或绑定的线段长度、夹角度数、几何图形面积的实时参数值以条形图的形式呈现，所述摄像机控制模块与用于控制摄像机并显示摄像机拍摄的内容，所述AR控制模块用于控制AR物体的放大缩小和旋转。
进一步改进在于：所述MVC架构包括模型层、视图层和控制层，所述模型层用于管理几何绘制和物体跟踪的行为和数据，并响应数据请求更新模型内容，所述视图层为界面UI层，所述控制层用于接收视图层发送的处理指令并执行基本的业务处理逻辑，计算几何图形相关数据信息并更新所述视图层的视图。
进一步改进在于：所述控制层包括物体跟踪控制、绘图控制、摄像机控制、可视化控制和AR控制，所述视图层包括摄像机视图、几何图形视图和UI视图，所述模型层包括几何模型和AR模型。
进一步改进在于：所述画板模块包括绘图模块、几何形状控制模块、物体绑定模块和录制模块，所述绘图模块用于绘制几何图形元素并提供编辑功能，所述几何形状控制模块用于控制管理几何形状的颜色、大小、样式，所述物体绑定模块与物体跟踪模块交互，并从物体跟踪模块内获得物体位置，同时将预跟踪物体相近的线段绑定到物体上，所述录制模块用于绘制跟踪物体的运动轨迹。
进一步改进在于：所述物体跟踪模块采用OpenCV跟踪算法实现，以提升物体跟踪模块的实时性和准确率。
进一步改进在于：所述图表可视化模块采用Unity中的XCharts插件，所述XCharts插件可将数据通过不同种类图表显示出来，并保证较高的更新同步速率。
进一步改进在于：所述AR控制模块为AR应用场景下设计的模块，用于提供根据绘制线段的长度不断修改AR物体的大小。
本发明的有益效果为：该种面向教育场景的AR系统通过画板模块、物体跟踪模块、图表可视化模块、摄像机控制模块和AR控制模块之间的相互配合，以在增强现实的界面中绘制交互图形，为课堂教学实验添加动态辅助线，并将实验场景中物体运动变化的真实数据直观的展现出来，继而可以弥补传统教学手段的不足，增强课堂的互动性，提高教学质量，以更自然的方式与学习环境中的物体交互，帮助学生直观地理解学习中抽象的内容，并且理解物理现象的本质，适合推广入中学课堂的使用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明系统本体架构示意图。
图2是本发明MVC架构示意图。
图3是本发明物体跟踪模块流程示意图。
图4是本发明物体绑定模块流程示意图。
图5是本发明录制模块流程示意图。
图6是本发明摄像机控制模块流程示意图。
图7是本发明AR控制模块流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
根据图1-图7所示，本实施例提出了一种面向教育场景的AR系统，包括系统本体，所述系统本体采用MVC架构，所述系统本体包括画板模块、物体跟踪模块、图表可视化模块、摄像机控制模块和AR控制模块，且画板模块与图表可视化模块交互，所述画板模块用于绘制几何形状，并将几何形状通过图表可视化模块可视化在界面上，所述物体跟踪模块与画板模块交互，且物体跟踪模块用于实时跟踪物体的运动变化，所述图表可视化模块用于将绘制或绑定的线段长度、夹角度数、几何图形面积的实时参数值以条形图的形式呈现，所述摄像机控制模块与用于控制摄像机并显示摄像机拍摄的内容，所述AR控制模块用于控制AR物体的放大缩小和旋转。
所述MVC架构包括模型层、视图层和控制层，所述模型层用于管理几何绘制和物体跟踪的行为和数据，并响应数据请求更新模型内容，所述视图层为界面UI层，所述控制层用于接收视图层发送的处理指令并执行基本的业务处理逻辑，计算几何图形相关数据信息并更新所述视图层的视图。
所述控制层包括物体跟踪控制、绘图控制、摄像机控制、可视化控制和AR控制，所述视图层包括摄像机视图、几何图形视图和UI视图，所述模型层包括几何模型和AR模型。
所述画板模块包括绘图模块、几何形状控制模块、物体绑定模块和录制模块，所述绘图模块用于绘制几何图形元素并提供编辑功能，所述几何形状控制模块用于控制管理几何形状的颜色、大小、样式，所述物体绑定模块与物体跟踪模块交互，并从物体跟踪模块内获得物体位置，同时将预跟踪物体相近的线段绑定到物体上，所述录制模块用于绘制跟踪物体的运动轨迹。
所述物体跟踪模块采用OpenCV跟踪算法实现，以提升物体跟踪模块的实时性和准确率，OpenCV是一个基于BSD许可(开源)发行的跨平台计算视觉和机器学习软件库。
所述图表可视化模块采用Unity(实时3D互动内容创作和运营平台)中的XCharts插件，所述XCharts插件可将数据通过不同种类图表显示出来，并保证较高的更新同步速率。
所述AR控制模块为AR应用场景下设计的模块，用于提供根据绘制线段的长度不断修改AR物体的大小。
如图3所示，通过触屏选择跟踪起始点和跟踪终点、通过起始点和终点形成的四边形画出跟踪的区域，并因此生成物体跟踪器，将生成的跟踪器添加到跟踪器数组中，然后判断是否继续添加，是否清除跟踪点并继续添加。
如图4所示，制图在绘形界面中判定绘制或编辑的线段是否与绑定的跟踪点距离相近，并判断是否满足绑定的条件，如果满足绑定条件，绘制图形界面向绑定点-线映射列表中添加绑定点和线的映射关系。
如图5所示，整体界面包括摄像机界面、物体跟踪界面、绘制图形界面和录制轨迹，录制轨迹的位置在绘制图形界面的Canvas上，且轨迹层级在绘制图形之上，用户点击UI上的开始录制按钮，向绘制图形界面发送录制指令，绘制图形界面开始绘制生成录制轨迹，点击停止按钮后不继续生成新的点，录制轨迹仍然显示在界面上，点击清除按钮后清除所有的录制轨迹。
如图6所示，摄像机控制模块的运行状态有关闭摄像机、摄像机运行、暂停摄像机、重启摄像机和停止摄像机，运行程序即打开摄像机使得摄像机运行，运行时按点击按钮暂停摄像机，按停止按钮停止摄像机，取消暂停时直接恢复摄像机运行，与暂停前的运行状态一致，停止摄像机无法直接回到停止前的运行状态，需要点击重启按钮重启摄像机，重启摄像机时跟踪物体列表也会删除。
该种面向教育场景的AR系统通过画板模块、物体跟踪模块、图表可视化模块、摄像机控制模块和AR控制模块之间的相互配合，以在增强现实的界面中绘制交互图形，为课堂教学实验添加动态辅助线，并将实验场景中物体运动变化的真实数据直观的展现出来，继而可以弥补传统教学手段的不足，增强课堂的互动性，提高教学质量，以更自然的方式与学习环境中的物体交互，帮助学生直观地理解学习中抽象的内容，并且理解物理现象的本质，适合推广入中学课堂的使用。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种面向教育场景的AR系统，包括系统本体，所述系统本体采用MVC架构，其特征在于：所述系统本体包括画板模块、物体跟踪模块、图表可视化模块、摄像机控制模块和AR控制模块，且画板模块与图表可视化模块交互，所述画板模块用于绘制几何形状，并将几何形状通过图表可视化模块可视化在界面上，所述物体跟踪模块与画板模块交互，且物体跟踪模块用于实时跟踪物体的运动变化，所述图表可视化模块用于将绘制或绑定的线段长度、夹角度数、几何图形面积的实时参数值以条形图的形式呈现，所述摄像机控制模块与用于控制摄像机并显示摄像机拍摄的内容，所述AR控制模块用于控制AR物体的放大缩小和旋转。
2.根据权利要求1所述的一种面向教育场景的AR系统，其特征在于：所述MVC架构包括模型层、视图层和控制层，所述模型层用于管理几何绘制和物体跟踪的行为和数据，并响应数据请求更新模型内容，所述视图层为界面UI层，所述控制层用于接收视图层发送的处理指令并执行基本的业务处理逻辑，计算几何图形相关数据信息并更新所述视图层的视图。
3.根据权利要求2所述的一种面向教育场景的AR系统，其特征在于：所述控制层包括物体跟踪控制、绘图控制、摄像机控制、可视化控制和AR控制，所述视图层包括摄像机视图、几何图形视图和UI视图，所述模型层包括几何模型和AR模型。
4.根据权利要求1所述的一种面向教育场景的AR系统，其特征在于：所述画板模块包括绘图模块、几何形状控制模块、物体绑定模块和录制模块，所述绘图模块用于绘制几何图形元素并提供编辑功能，所述几何形状控制模块用于控制管理几何形状的颜色、大小、样式，所述物体绑定模块与物体跟踪模块交互，并从物体跟踪模块内获得物体位置，同时将预跟踪物体相近的线段绑定到物体上，所述录制模块用于绘制跟踪物体的运动轨迹。
5.根据权利要求1所述的一种面向教育场景的AR系统，其特征在于：所述物体跟踪模块采用OpenCV跟踪算法实现，以提升物体跟踪模块的实时性和准确率。
6.根据权利要求1所述的一种面向教育场景的AR系统，其特征在于：所述图表可视化模块采用Unity中的XCharts插件，所述XCharts插件可将数据通过不同种类图表显示出来，并保证较高的更新同步速率。
7.根据权利要求1所述的一种面向教育场景的AR系统，其特征在于：所述AR控制模块为AR应用场景下设计的模块，用于提供根据绘制线段的长度不断修改AR物体的大小。
CN202110568869.6A 2021-05-25 2021-05-25 一种面向教育场景的ar系统 Pending CN113284255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110568869.6A CN113284255A (zh) 2021-05-25 2021-05-25 一种面向教育场景的ar系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110568869.6A CN113284255A (zh) 2021-05-25 2021-05-25 一种面向教育场景的ar系统

Publications (1)

Publication Number Publication Date
CN113284255A true CN113284255A (zh) 2021-08-20

Family

ID=77281300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110568869.6A Pending CN113284255A (zh) 2021-05-25 2021-05-25 一种面向教育场景的ar系统

Country Status (1)

Country Link
CN (1) CN113284255A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069051A1 (en) * 2008-09-11 2012-03-22 Netanel Hagbi Method and System for Compositing an Augmented Reality Scene
CN110889788A (zh) * 2019-10-31 2020-03-17 广西七三科技有限公司 一种基于增强现实技术的智慧课堂
CN112396875A (zh) * 2020-10-16 2021-02-23 南京大学 一种基于笔式交互的物理运动实验演示系统
US20210132687A1 (en) * 2018-09-21 2021-05-06 Immersivetouch, Inc. Device and system for volume visualization and interaction in a virtual reality or augmented reality environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069051A1 (en) * 2008-09-11 2012-03-22 Netanel Hagbi Method and System for Compositing an Augmented Reality Scene
US20210132687A1 (en) * 2018-09-21 2021-05-06 Immersivetouch, Inc. Device and system for volume visualization and interaction in a virtual reality or augmented reality environment
CN110889788A (zh) * 2019-10-31 2020-03-17 广西七三科技有限公司 一种基于增强现实技术的智慧课堂
CN112396875A (zh) * 2020-10-16 2021-02-23 南京大学 一种基于笔式交互的物理运动实验演示系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HANNES KAUFMANN等: "Mathematics And Geometry Education With Collaborative Augmented Reality", 《COMPUTERS & GRAPHICS》, 31 December 2003 (2003-12-31), pages 3 *
孙正兴 , 冯桂焕 , 周若鸿: "基于草图的人机交互技术研究进展", 计算机辅助设计与图形学学报, no. 09, 20 September 2005 (2005-09-20), pages 3 - 13 *
张海森;杨光辉;刘超见;王继隆;李继璇;郎宸;: "基于AR技术的跨平台移动终端的辅助学习系统", 图学学报, no. 01, 15 February 2018 (2018-02-15), pages 87 - 92 *
徐承俊;: "增强现实(AR)在数学教育中的应用", 科技经济导刊, no. 36, 25 December 2017 (2017-12-25), pages 1 - 3 *
闫兴亚等: "PureMVC框架下的AR五线谱应用设计", 计算机时代, 31 December 2020 (2020-12-31), pages 1 *

Similar Documents

Publication Publication Date Title
Cheng et al. Construction of Interactive Teaching System for Course of Mechanical Drawing Based on Mobile Augmented Reality Technology.
Camba et al. Desktop vs. mobile: A comparative study of augmented reality systems for engineering visualizations in education
Chen et al. Ivrnote: design, creation and evaluation of an interactive note-taking interface for study and reflection in vr learning environments
CN103097997A (zh) 数字白板系统
CN202758328U (zh) 纳米交互式电子白板
Melatti et al. Virtual reality mediated instruction and learning
CN113950822A (zh) 实体活动表面的虚拟化
Kaufmann The potential of augmented reality in dynamic geometry education
Buchanan et al. CSTutor: a pen-based tutor for data structure visualization
CN101281688A (zh) 便携式学习设备及其动态几何作图方法
Drey et al. SpARklingPaper: enhancing common pen-and paper-based handwriting training for children by digitally augmenting papers using a tablet screen
Suselo et al. Mobile augmented reality as a teaching medium in an introductory computer graphics course
CN113284255A (zh) 一种面向教育场景的ar系统
CN115379278B (zh) 基于扩展现实（xr）技术沉浸式微课的录制方法及系统
Cao et al. Hand controlar: An augmented reality application for learning 3d geometry
Yusof et al. Bio-WTiP: Biology lesson in handheld augmented reality application using tangible interaction
CN114168060A (zh) 电子白板渲染方法、装置、设备和存储介质
CN115760501A (zh) 一种基于图形化编程平台的ai仿真教学系统
Wang et al. Augmented Reality and Quick Response Code Technology in Engineering Drawing Course
Zhou et al. Design research and practice of augmented reality textbook
Hsu et al. Application of Virtual Reality in Building Interior Decoration Engineering Practice
Song et al. TurtleGO: Application with Cubes for Children’s Spatial Ability Based on AR Technology
Cao et al. A novel augmented reality guidance system for future informatization experimental teaching
Mustapha et al. Incorporating Spatial-Visual Topology In Mobile Augmented Reality Application To Enhance Visual Realism
WO2024001560A1 (zh) 增强现实绘画教学方法、系统、显示终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination