WO2023106686A1 - Method and device for managing use of electronic device - Google Patents

Method and device for managing use of electronic device Download PDF

Info

Publication number
WO2023106686A1
WO2023106686A1 PCT/KR2022/018378 KR2022018378W WO2023106686A1 WO 2023106686 A1 WO2023106686 A1 WO 2023106686A1 KR 2022018378 W KR2022018378 W KR 2022018378W WO 2023106686 A1 WO2023106686 A1 WO 2023106686A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
information
manager
present disclosure
Prior art date
Application number
PCT/KR2022/018378
Other languages
French (fr)
Korean (ko)
Inventor
김영은
이다영
정순천
조재홍
차한나
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220058593A external-priority patent/KR20230086554A/en
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023106686A1 publication Critical patent/WO2023106686A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data

Definitions

  • a representative example is a parental control system that manages a mobile phone.
  • a method for controlling the use of the electronic device by the manager of the electronic device may prevent a user from being exposed to inappropriate content or excessively using the electronic device.
  • the setting authority for the user device is simply provided to the administrator, it may be difficult to effectively manage the user device because the administrator must directly check the usage history, make a judgment, control based on the judgment, and set a one-time control rule. .
  • a method for managing use of an electronic device may include acquiring information about a user of the electronic device and information about a manager of the electronic device.
  • a method for managing the use of an electronic device according to an embodiment of the present disclosure includes acquiring a management condition of an electronic device identified from an artificial intelligence model based on the obtained information about a user and information about a manager.
  • a method for managing use of an electronic device according to an embodiment of the present disclosure may include controlling the electronic device based on the acquired management criterion.
  • An electronic device includes a communication unit; a storage unit for storing a program including at least one instruction; and at least one processor executing at least one instruction stored in the storage unit.
  • At least one processor may obtain information about a user of the electronic device and information about a manager of the electronic device by executing at least one command.
  • At least one processor may obtain a management condition of an electronic device obtained from an artificial intelligence model based on the obtained information about a user and information about a manager by executing at least one command.
  • At least one processor according to an embodiment of the present disclosure may control the electronic device based on the acquired management criterion by executing at least one command.
  • a computer-readable recording medium recording a program for executing the above-described method is provided.
  • FIG. 1 illustrates a screen of an application through which an administrator manages a user's use of an electronic device, according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of an electronic device management system according to an embodiment of the present disclosure.
  • FIG. 3 illustrates a configuration diagram of an electronic device and a server for determining a management condition in an electronic device management system according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart of a method for an electronic device to control a device according to an embodiment of the present disclosure.
  • FIG. 5 is an operation flowchart of an electronic device and a server in an electronic device management system according to an embodiment of the present disclosure.
  • FIG. 6 is an operation flowchart of a first electronic device, a second electronic device, and a server in an electronic device management system according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart of a method for an electronic device to control a device according to an embodiment of the present disclosure.
  • 9 is a learning result of a use time recommendation model according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for explaining a method of controlling an electronic device based on an electronic device use context according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram for explaining a harmful text monitoring model according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram for explaining a method of controlling an electronic device based on a distance between a user and an electronic device according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram for explaining a method of controlling an electronic device based on a user's posture for using an electronic device, according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram for explaining a developmental examination system according to an embodiment of the present disclosure.
  • FIG. 15 illustrates a configuration diagram of an electronic device and a server in a developmental examination system according to an embodiment of the present disclosure.
  • FIG. 16 illustrates a language development test model according to an embodiment of the present disclosure.
  • 17 is a flowchart of a method of performing a development test by an electronic device according to an embodiment of the present disclosure.
  • 18 is a diagram for explaining an operation of a method of performing a development test using an electronic device, according to an embodiment of the present disclosure.
  • FIG. 19 illustrates a language development test result screen according to an embodiment of the present disclosure.
  • 20 is a block diagram of an electronic device according to an embodiment of the present disclosure.
  • each block of the process flow chart diagrams and combinations of the flow chart diagrams can be performed by computer program instructions.
  • These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that the instructions executed by the processor of the computer or other programmable data processing equipment are described in the flowchart block(s). It creates means to perform functions.
  • These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory
  • the instructions stored in are also capable of producing an article of manufacture containing instruction means that perform the functions described in the flowchart block(s).
  • the computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. Instructions for performing processing equipment may also provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is possible for the functions mentioned in the blocks to occur out of order. For example, two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in reverse order depending on their function.
  • ' ⁇ unit' used in this embodiment means software or a hardware component such as FPGA or ASIC, and ' ⁇ unit' performs certain roles.
  • ' ⁇ part' is not limited to software or hardware.
  • ' ⁇ bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, ' ⁇ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and ' ⁇ units' may be combined into smaller numbers of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or a secure multimedia card.
  • ' ⁇ unit' may include one or more processors.
  • ⁇ unit and “ ⁇ module” described in this specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .
  • a processor configured (or configured) to perform A, B, and C can be used by a dedicated processor (eg, embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • a dedicated processor eg, embedded processor
  • a general-purpose processor eg, CPU or application processor
  • FIG. 1 illustrates a screen of an application through which an administrator manages a user's use of an electronic device, according to an embodiment of the present disclosure.
  • the administrator manages the user's electronic device when the user and management subject are distinguished and the user needs the manager's supervision/control over the use of the electronic device. control) system.
  • the method for the administrator to manage the user's electronic device includes a method of installing and managing an application for managing the electronic device, a method of directly managing the electronic device at the system level of the OS, or a method of managing the electronic device through a browser. It may include, but is not limited to.
  • an electronic device may refer to a device used by a user.
  • an electronic device may mean a user equipment (UE), a remote terminal, a wireless terminal, or a user device.
  • Electronic devices may include, but are not limited to, TVs, mobile phones, tablets, and laptop computers.
  • a user refers to a user of an electronic device.
  • An administrator means a subject who monitors the use of a user's electronic device and, if necessary, manages and controls the use of the user's electronic device. Administrators typically include parents, but are not limited thereto, and include all subjects who can become guardians of electronic device users.
  • parents as administrators, may manage their children's use of electronic devices.
  • a parent may manage use of a child's electronic device by locking or unlocking the electronic device through a personal identification number (PIN) or an authentication method using biometric information.
  • the biometric authentication method may include a user authentication method through fingerprint recognition, face recognition, or iris recognition.
  • parents may manage whether applications are installed on their children's electronic devices, and manage whether each installed application is used.
  • a parent may manage the use time of a child's electronic device or the use time of each application installed on the electronic device.
  • parents can check and monitor their children's electronic device use history. For example, when a child installs or runs a restricted application or attempts access to a restricted website, the electronic device may provide a notification to the parent, and the parent who checks the notification can execute the application or visit the website. You can decide whether to allow access or not.
  • the parent can identify the current location of the electronic device to check the current location of the child, or access real-time recording information of the place where the child is located (eg, a public institution or a child care facility such as a daycare center or kindergarten) to determine the location of the child. You can check the current status. In this case, authentication or registration may be required to access photographic information of the corresponding place.
  • parents may directly control their children's electronic devices to manage their children's use of electronic devices, or A separate electronic device may be used to manage a child's electronic device.
  • the child's electronic device can be managed by installing an application for the administrator device on the administrator device and controlling the application installed on the user device. there is.
  • a method for controlling the use of the electronic device by the manager of the electronic device may prevent a user from being exposed to inappropriate content or excessively using the electronic device.
  • the setting authority for the user device is simply provided to the administrator, it is difficult to effectively manage the user device because the administrator must directly check the usage details, determine, control based on the judgment, and set one-time control rules.
  • the electronic device may transmit a message requesting permission to use the application to the parent's mobile phone.
  • the message cannot be immediately viewed or the application cannot be set to be used immediately.
  • the use of the electronic device is stopped unilaterally during use, the use of the application is stopped, or the provision of content is stopped, the user's desire to use the electronic device may rather be strengthened, and the negative user experience (Ux) for the parental management system , user experience) can be formed.
  • Such a unilateral and fixed management method may rather weaken a user's ability to self-regulate using an electronic device.
  • Self-regulation ability can be strengthened through constant practice and training, but if it is managed to be used according to the fixed conditions set by the manager, the opportunity for training is fundamentally blocked.
  • an electronic device management system may include a user device 1000, a manager device 2000, and an artificial intelligence (AI) model 3000 that determines electronic device management conditions.
  • AI artificial intelligence
  • the artificial intelligence model 3000 is an artificial intelligence training model, and may be a model for educating users 1500 of the electronic device 1000 on the use of the electronic device 1000.
  • the manager 2500 has to directly control the user device 1000 every time, real-time monitoring and management may be difficult when the manager 2500 is not with the user 1500.
  • the artificial intelligence model 3000 analyzes, learns, and imitates under what conditions and in what way, the administrator 2500 The management conditions can be judged and set individually, and the burden of management, supervision, and control can be reduced.
  • the artificial intelligence can supervise the user 1500's usage history and usage situation in real time, In other words, problems caused by inappropriate use can be prevented before they occur, or use can be intervened as soon as they occur.
  • the user 1500 can self-regulate the use of the electronic device rather than simply allowing the manager 2500 to limit the use of the electronic device and set authority.
  • Pedagogical principles can be applied to improve
  • an artificial intelligence model 3000 can be created according to each user-manager combination, and the created artificial intelligence model 3000 can be advanced through learning.
  • the artificial intelligence model 3000 performs initial settings based on user information such as the user's own temperament, disposition, behavior pattern, taste, and interest keywords, and administrator information such as the parenting environment, parenting values, and conflict mediation method, Afterwards, it can be learned based on usage history, end-of-use analysis, and user interaction analysis.
  • Pedagogical principle is a general term for methodologies for educating 1500 users with inexperienced self-regulation skills on how to use the electronic device 1000 correctly and mediating the use of the electronic device 1000. Include all possible intervention methods.
  • the artificial intelligence model 3000 may obtain manager information and user information for determining management conditions of the electronic device 1000, and determine electronic device management conditions based on the obtained manager information and user information. .
  • the manager 2500 inputs manager information and user information to a separate manager device 2000 instead of the electronic device 1000, and the artificial intelligence model 3000 obtains the manager information and user information from the manager device 2000.
  • each of the plurality of managers may have management priority or have different control rights.
  • a manager may input user information into the electronic device 1000 and manager information into the manager device 2000 .
  • the artificial intelligence model 3000 may acquire user information from the electronic device 1000 and manager information from the manager device 2000 .
  • the manager device 2000 may be a wearable device worn on a user's body, such as a smart watch or augmented reality (AR) glasses.
  • the manager device 2000 includes both a mobile device and a wearable device, and the mobile device monitors and controls the user device 1000 and transmits a monitoring result or control result to the wearable device, or monitors settings input by an administrator through the wearable device, or Operate to transmit control settings to the mobile device.
  • the manager 2500 directly inputs manager information and user information to the electronic device 1000 without a separate manager device 2000, and the artificial intelligence model 3000 obtains the manager information and user information from the electronic device 1000.
  • the manager device 2000 may be omitted from the device management system.
  • An electronic device management system analyzes whether a manager 2500 manages/supervises user 1500's use of an electronic device 1000 under what conditions and in what manner mediation is performed using an artificial intelligence model 3000. By learning and learning the management conditions determined by the manager, the burden of the manager directly determining and determining the management conditions or methods can be reduced.
  • An electronic device management system uses an artificial intelligence model 3000 to supervise a user's use of an electronic device in real time even when the administrator is in a different space from the user or cannot control it in real time, and misuse of the electronic device. You can prevent problems before they occur or intervene as soon as they occur.
  • the electronic device management system may improve a user's self-regulation ability by inducing use suspension, rather than coercive and unilateral use suspension, using the artificial intelligence model 3000.
  • the electronic device management system provides a storytelling technique for a positive user experience (UX), a real-time remote interaction of an administrator (eg, In the process of inducing suspension of use, the user's usage time or usage conditions can be flexibly changed by negotiating with the user within the scope permitted by the administrator.
  • UX positive user experience
  • an administrator eg, In the process of inducing suspension of use, the user's usage time or usage conditions can be flexibly changed by negotiating with the user within the scope permitted by the administrator.
  • An electronic device management system may generate and train an artificial intelligence model 3000 based on each manager-user combination without applying the same condition to all users using the artificial intelligence model 3000.
  • the artificial intelligence model 3000 may include an electronic device usage habit training model that trains the electronic device 1000 usage habits of 1500 electronic device users.
  • An electronic device management system is based on user information such as a user's own temperament and inclination, behavior pattern, taste, and interest keywords, and manager information such as a manager's parenting environment, parenting values, and intervention method.
  • user information such as a user's own temperament and inclination, behavior pattern, taste, and interest keywords
  • manager information such as a manager's parenting environment, parenting values, and intervention method.
  • the electronic device usage habit training model includes not only user information and manager information, but also the user's electronic device 1000 usage environment (eg, main use place or main use time zone) or characteristics of the electronic device 1000 (for example, it may be initially set by additionally using environment information such as type or performance).
  • the user's electronic device 1000 usage environment eg, main use place or main use time zone
  • characteristics of the electronic device 1000 For example, it may be initially set by additionally using environment information such as type or performance.
  • the electronic device management system may select and reflect a GUI with a high user preference based on user information such as a user's own temperament and inclination, behavior pattern, taste, and interest keyword. For example, if the user is a preschool boy and the permitted use time has expired, the electronic device selects the most preferred character by referring to data of users of the same age, sex, temperament, and disposition as the user, and selects the character electronically. The user may end use of the electronic device by outputting a voice prompting the user to end use of the device.
  • user information such as a user's own temperament and inclination, behavior pattern, taste, and interest keyword. For example, if the user is a preschool boy and the permitted use time has expired, the electronic device selects the most preferred character by referring to data of users of the same age, sex, temperament, and disposition as the user, and selects the character electronically.
  • the user may end use of the electronic device by outputting a voice prompting the user to end use of the device.
  • the user-manager type may be different according to the relationship between the plurality of managers and the propensity of each of the plurality of managers, so the artificial intelligence model 3000 for managing the user device 1000 is It may be applied differently to each of a plurality of managers.
  • the electronic device management system may collect and analyze a manager's inclination, and may guide the manager to modify the manager's child-rearing attitude or control the user's use of the electronic device based on an appropriate criterion. For example, if a manager is an indifferent or neglectful parent as a result of the Baumlind parenting attitude test, the manager may be guided to become a democratic parent based on the result of the parenting attitude test.
  • FIG. 3 illustrates a configuration diagram of an electronic device and a server for determining a management condition in an electronic device management system according to an embodiment of the present disclosure.
  • each manager when there are a plurality of managers, each manager can manage the user's electronic device 1000, and the user's electronic device 1000 can be managed using a plurality of manager devices. Also, when the electronic device 1000 has a plurality of users, the electronic device 1000 may separately manage control conditions and use details for each of the plurality of users. The electronic device 1000 may create at least one account (or profile) of each manager and an account (or profile) of each of at least one user, and manage the account (or profile) by linking the manager information and user information. .
  • the electronic device 1000 may include a manager information acquisition module 1100, a user information acquisition module 1300, and a user-administrator type determination module 1500.
  • the server 3000 may be an artificial intelligence server and may include a management condition determination module 3100 and a database 3300.
  • the manager information acquisition module 1100 may include a manager basic information acquisition module 1101, an intervention method acquisition module 1103, and a parenting attitude information acquisition module 1105.
  • the manager basic information is basic information for identifying the manager, and may include, for example, the manager's name, date of birth (DOB), gender, relationship with a user, and basic information required for system use.
  • the manager's basic information can be used as information for estimating the intervention method or parenting attitude. For example, since a manager's mediation method or parenting attitude may be different depending on the age or gender of the manager, or the relationship with the user, the electronic device 1000 may be affected by the mediation method or By reflecting statistical information on parenting attitudes, the moderation method or parenting attitude of managers can be estimated.
  • the manager basic information may include the manager's biometric information (eg, face, fingerprint, or iris), and the electronic device 1000 may identify the manager using a sensor provided in the electronic device 1000 .
  • biometric information eg, face, fingerprint, or iris
  • the mediation method information means information on how the manager mediates in a conflict situation in which the user is in conflict with the user, or information on how the administrator solves the problem when a problem occurs while the user is using the electronic device. do.
  • Parenting attitude information refers to information about the parent manager's parenting attitude toward the child user.
  • the manager's mediation method information or parenting attitude information may be obtained based on a result of a parental parenting value test and a related test result.
  • the manager's mediation method information or parenting attitude information may be obtained based on a control history of using an electronic device.
  • the user information acquisition module 1300 may include a user basic information acquisition module 1301 , a usage method acquisition module 1303 , and a temperament and inclination acquisition module 1305 .
  • Basic user information is information for identifying a user, and may include, for example, basic information necessary for using the electronic device 1000, such as the user's name, date of birth, gender, or health information.
  • the electronic device 1000 may obtain health-related information of a user. For example, when a user has color blindness or color weakness, the electronic device 1000 may obtain related information or information about the user's eyesight.
  • user basic information can be used as information for estimating the usage method, temperament, and propensity.
  • the electronic device 1000 reflects statistical information on other users of the same age and gender to reflect the user's usage method, temperament, and disposition. tendency can be inferred.
  • the basic user information may include the user's biometric information (eg, face, fingerprint, iris, etc.), and the electronic device 1000 photographs the face using a sensor provided in the electronic device 1000 and includes it in the photographed image.
  • biometric information eg, face, fingerprint, iris, etc.
  • management conditions related to the account of the identified user may be applied.
  • the information on the user's electronic device usage method may include, but is not limited to, the user's electronic device usage time, usage pattern, usage time for each application, and viewing distance of the electronic device.
  • information about a user's electronic device usage method may be obtained based on a result of checking the electronic device usage status.
  • information on the user's temperament and inclination may be obtained based on the user's behavior pattern, taste, and user's interest keyword.
  • information on a user's temperament and inclination may be obtained based on a result of a child temperament test.
  • the user's behavioral pattern, taste, user's interest keyword, and child temperament test result may be determined based on information about the user input by the manager.
  • information about a user's electronic device usage method or information about a user's temperament and inclination may be obtained based on a user's electronic device usage history.
  • the user-manager type determination module 1500 may determine the user-manager type based on the manager information obtained in the manager information acquisition module 1100 and the user information obtained in the user information acquisition module 1300 .
  • the user-manager type may be determined based on the manager's parenting style determined based on the manager information and the user temperament determined based on the user information. For example, if a parent's parenting style is democratic, it may be an optimal parenting attitude for a child who is independent and has high self-restraint, since it is highly acceptable to the child's needs. However, indefinitely accommodating the needs of children who do not have high self-restraint can become neglect and adversely affect the child's development. Therefore, it is necessary to determine electronic device management criteria based on the user-manager type determined based on the manager's upbringing style and user temperament.
  • the electronic device 1000 may determine a user-manager type for each of the plurality of users based on basic information, a usage method, temperament, and inclination of each of the plurality of users.
  • the electronic device 1000 may determine a user-manager type for each of the plurality of managers based on basic information, mediation method, and parenting attitude of each of the plurality of managers.
  • the electronic device 1000 provides a plurality of managers based on basic information, usage, temperament, and propensity of each of the plurality of users and basic information, mediation method, and parenting attitude of each of the plurality of managers.
  • a user-administrator type for each of the user and the plurality of administrators may be determined.
  • the first electronic device may determine a first user and a first manager having a parent-child relationship, the first user as a first type child and the first manager as a first type parent.
  • the second electronic device may determine that the second user is a second type child and the second manager is a second type parent.
  • the user-manager type determination criterion is a parent-child type determination criterion such as Enneagram or Baumlind, or an individual such as TCI (Temperament and Character Inventory), MMPI (Minnesota Multiphasic Personality Inventory) or MBTI (Myers-Briggs Type Indicator).
  • TCI Tempoment and Character Inventory
  • MMPI Minnesota Multiphasic Personality Inventory
  • MBTI Myers-Briggs Type Indicator
  • a criterion for determining a relationship type according to inclination or a model for measuring a relationship type may be used.
  • the electronic device 1000 may update the firmware of the user-administrator type determination module 1500 through download after initial setting, and may add an additional user-administrator type check/determination criterion. Addition of the user-administrator type inspection/determination criterion may be performed at the request of the electronic device manager, and may be accompanied by separate billing in some cases.
  • the electronic device 1000 may transfer the user-manager type output from the user-manager type determination module to the server 3000 .
  • the server 3000 may obtain a user-manager type determined based on manager information and user information from the electronic device 1000 and determine an electronic device management condition based on the determined user-manager type.
  • the management condition determination module 3100 of the server 3000 may determine the management condition based on the user-manager type obtained from the electronic device 1000 .
  • the management condition determination module 3100 determines the management of the first electronic device.
  • the first type management criterion may be selected.
  • the management condition determination module 3100 determines the second type of management based on the management criterion of the second electronic device. You can choose a criterion.
  • artificial intelligence is used to recommend/execute electronic device management criteria by using electronic device user information and electronic device manager information data.
  • Intelligence models are available.
  • the processor of the electronic device 1000 may perform a preprocessing process on the data, convert it into a form suitable for use as an input of an artificial intelligence model, and transmit the data to the server 3000.
  • the processor of the server 3000 may perform a preprocessing process on the data received from the electronic device 1000 to convert it into a form suitable for use as an input of an artificial intelligence model.
  • AI models can be created through learning.
  • An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • Inference prediction is a technology that judges information and logically infers and predicts it. It includes Knowledge based Reasoning, Optimization Prediction, Preference-based Planning, and Recommendation. include
  • the database 3300 refers to a memory in which data for learning an artificial intelligence model is stored.
  • a processor may consist of one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, or a digital signal processor (DSP), a graphics-only processor such as a GPU or a vision processing unit (VPU), or an artificial intelligence-only processor such as an NPU.
  • DSP digital signal processor
  • GPU graphics-only processor
  • VPU vision processing unit
  • NPU artificial intelligence-only processor
  • One or more processors control input data to be processed according to predefined operating rules or artificial intelligence models stored in a memory.
  • the processors dedicated to artificial intelligence may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • a predefined action rule or an artificial intelligence model is characterized in that it is created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden.
  • Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or through a separate server and/or system.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples.
  • An artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • a plurality of weights possessed by a plurality of neural network layers may be optimized by a learning result of an artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from an artificial intelligence model is reduced or minimized during a learning process.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), A deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or deep Q-networks, but is not limited to the above examples.
  • DNN deep neural network
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • BBN Restricted Boltzmann Machine
  • BBN deep belief network
  • BNN bidirectional recurrent deep neural network
  • Q-networks deep Q-networks
  • the artificial intelligence model 3000 may obtain manager information for determining management criteria for the electronic device 1000 .
  • Manager information may include manager basic information, information on mediation methods, and parenting attitudes.
  • User information may include user basic information, information on the user's electronic device usage method, and information on the user's temperament and inclination.
  • the electronic device management criteria include the user's posture of using the electronic device 1000, the distance between the user and the electronic device 1000 (critical minimum distance), the user's usage time of the electronic device 1000, and the user's electronic device 1000 dependence. /This may include settings of characters to be provided to the user for addiction diagnosis and mediation of use, or setting of additional services that the electronic device 1000 can provide.
  • the criterion for the user's device usage time may include, but is not limited to, maximum usage time per day, maximum usage time per day, maximum usage time per application, usage time per session, and combinations thereof.
  • the electronic device 1000 may provide the determined electronic device management criteria to the manager and modify the electronic device management criteria based on the manager's input.
  • FIG. 4 is a flowchart of a method for an electronic device to control a device according to an embodiment of the present disclosure.
  • the electronic device 1000 may acquire user information and manager information of the electronic device.
  • Electronic device user information may include user basic information, usage method information, and disposition/propensity information.
  • Basic user information is basic information for identifying a user, and may include, for example, the user's name, date of birth, gender, and basic information necessary for using the system.
  • the information on the user's electronic device usage method may include, but is not limited to, the user's electronic device usage time, usage pattern, usage time for each application, and viewing distance of the electronic device.
  • information about a user's electronic device usage method may be obtained based on a result of checking the electronic device usage status.
  • information on the user's temperament and inclination may be obtained based on the user's behavior pattern, taste, and user's interest keyword.
  • information on a user's temperament and inclination may be obtained based on a result of a child temperament test.
  • Child temperament tests may include, but are not limited to, temperament tests such as Enneagram, TCI, MMPI, or MBTI.
  • the user's behavior pattern, taste and interest keywords of the user, and child temperament test results may be determined based on information about the user input by the administrator.
  • information on a user's electronic device usage method or information on the user's temperament and inclination may be obtained based on a user's electronic device usage history.
  • the electronic device 1000 may select a character suitable for the user based on the obtained information on the user's temperament and inclination, and may use the selected character for an interaction for controlling the electronic device. For example, if the user is a 5-year-old boy and an extrovert, the electronic device 1000 may select a robot character for interaction and may operate the selected robot character to output a voice recommending discontinuation of use through a speaker when the usage time expires. there is.
  • the electronic device 1000 may provide a customized character by combining parts of each part such as the face, arms, and legs of the character.
  • the parts may be selected based on the user input, and the user's temperament and propensity may be more accurately estimated based on the additional information obtained in the process of selecting and combining the parts.
  • the additional information obtained in the process of selecting and combining parts may include at least one of the color, shape, characteristics, combination order, and time taken to complete the character of the selected parts.
  • a character or parts may be additionally downloaded and stored according to a request of a user or manager of the electronic device, and the downloaded character may be used to interact with the user of the electronic device.
  • the downloaded character may be used to interact with the user of the electronic device.
  • compliance with instructions or suggestions may be higher, and the preferred character may vary depending on the developmental state or period. Accordingly, by configuring the character to be changed according to the user's preference, more effective electronic device use management may be possible.
  • the added character may require separate billing, and when a subscription-type purchase type is applied instead of a temporary purchase, various characters may be used at a low cost.
  • the electronic device manager information may include manager basic information, mediation method information, and parenting attitude information.
  • the manager basic information is basic information for identifying the manager, and may include, for example, the manager's name, date of birth (DOB), gender, relationship with a user, and basic information required for system use.
  • Arbitration method information refers to information on how an administrator mediates in a conflict situation in which a user is confronted with a user.
  • Parenting attitude information refers to information about the parent manager's parenting attitude toward the child user.
  • the electronic device 1000 may acquire an electronic device management condition identified from an artificial intelligence model based on information about a user and a manager of the electronic device.
  • An artificial intelligence model according to an embodiment of the present disclosure may be an on-device model independently operated inside an electronic device or a server model operated in a server outside the electronic device.
  • the artificial intelligence model according to an embodiment of the present disclosure may be a combination of an on-device model and a server model.
  • an on-device AI model can be responsible for inference
  • a server AI model can be responsible for learning and collecting and analyzing big data.
  • the server includes, but is not limited to, a cloud server.
  • the electronic device 1000 may transmit the obtained electronic device user information and electronic device manager information to the artificial intelligence server 3000 .
  • the electronic device 1000 may acquire electronic device user information and electronic device manager information, and transmit the obtained information to the artificial intelligence server 3000 as it is.
  • the electronic device 1000 may analyze the obtained electronic device user information and electronic device manager information, transform it into a necessary form, and transmit the same.
  • information transmitted from the electronic device 1000 to the artificial intelligence server 3000 may be user-administrator type information determined based on the obtained electronic device user information and electronic device manager information.
  • the processor of the electronic device 1000 may perform a pre-processing process on data transmitted to the server 3000, convert the data into a form suitable for use as an input of an artificial intelligence model, and transmit the data to the server 3000.
  • the electronic device management condition refers to a condition for determining whether the electronic device 1000 intervenes in the use of the user's electronic device, and includes conditions for the user's electronic device usage time, user's electronic device usage history, and user's electronic device management condition.
  • Conditions for device usage posture, diagnosis of user's dependence/addiction on the electronic device, setting of characters to be provided to the user for usage mediation, and setting of additional services that the electronic device can provide may be included.
  • the additional service that the electronic device may provide may include at least one of a developmental examination of an electronic device user using the electronic device, monitoring of harmful content, monitoring of user posture, monitoring of the use of the electronic device while walking, and monitoring of the environment in which the electronic device is used. there is.
  • the electronic device usage environment monitoring includes monitoring of a place where the user uses the electronic device 1000. For example, the electronic device 1000 determines whether the user is using the electronic device 1000 in a noisy place, in water or in a place with high humidity. acknowledgment can be monitored.
  • the server 3000 may identify an electronic device management condition based on electronic device user information and electronic device manager information received from the electronic device 1000 . According to another embodiment of the present disclosure, the server 3000 may obtain a user-manager type determined based on manager information and user information from the electronic device 1000, and determine an electronic device management condition based on the determined user-manager type.
  • the processor of the server 3000 may perform a pre-processing process on the data received from the electronic device 1000 to convert it into a form suitable for use as an input of an artificial intelligence model.
  • Conditions for the user's electronic device usage time may include, but are not limited to, the maximum usage time per day, the maximum usage time per day, the maximum usage time per application, the usage time per session, and combinations of each when the electronic device user uses the electronic device. it is not going to be
  • a condition for a user's electronic device usage time may be obtained based on a usage time recommendation model.
  • the use time recommendation model may include an electronic device use time recommendation model and an electronic device overdependency diagnosis model that recommends an appropriate use time based on user information, and the user's electronic device dependence/addiction using the electronic self-government overdependency diagnosis model Diagnosis may be performed when the electronic device starts to be used.
  • An electronic device usage time recommendation model and an electronic device usage time recommendation model learning method according to an embodiment of the present disclosure will be described later with reference to FIGS. 7 and 8 .
  • the conditions for the user's use of the electronic device may include conditions for harmfulness of the content provided to the user through the electronic device 1000 and a control method of the electronic device 1000 when the content provided to the user is determined to be harmful. there is.
  • the condition for the user's electronic device use history may include a condition for determining whether or not harmful content is present by utilizing multiple pieces of information that can be collected and analyzed by the electronic device 1000 .
  • the condition for the user's posture of using the electronic device may be based on the posture of the user of the electronic device 1000 using the electronic device, the distance between the electronic device 1000 and the user, or the eye blink cycle of the user of the electronic device 1000. may include a condition for determining whether is appropriate.
  • the electronic device 1000 determines the user's posture, such as whether the user is using the electronic device 1000 while lying down or whether there is only a turtle neck or a side of the spine, based on the degree of inclination of the user's upper body, the angle of the upper body and neck, or the angle of the shoulder.
  • the electronic device 1000 may determine that the user's posture for using the electronic device is inappropriate when the distance between the electronic device 1000 and the user is equal to or less than a predetermined minimum threshold distance or the user's eye blink cycle is equal to or less than the predetermined cycle. At this time, the electronic device 1000 may determine the user's posture of using the electronic device based on the electronic device posture determination model.
  • the electronic device may control the electronic device based on the electronic device management condition.
  • the electronic device 1000 may monitor the user's use of the electronic device. According to an embodiment of the present disclosure, the electronic device 1000 monitors the user's use of the electronic device 1000 in real time, and if the user's current usage state of the electronic device 1000 deviates from the electronic device management condition, the electronic device 1000 is based on the electronic device management condition. 1000 can be controlled.
  • control of the electronic device of the electronic device 1000 may include not only direct control for the electronic device 1000 to change the use state of the electronic device, but also control for inducing a change in the use state of the electronic device to a user.
  • the electronic device 1000 may control the electronic device 1000 to display a character liked by the child on a portion of the screen and transmit a voice indicating that the usage time of the electronic device has been exceeded by the corresponding character.
  • the electronic device 1000 may control the electronic device 1000 to display a message recommending a change in the posture of using the electronic device on the screen.
  • the electronic device 1000 may display on the screen of the electronic device 1000 whether or not the electronic device management method is executed while the electronic device management method is being executed. For example, when an electronic device management application is executed, the electronic device 1000 displays a character selected based on user information or manager information on the screen of the electronic device 1000, and the character displays a usage state of the electronic device 1000 (eg, The electronic device 1000 may be controlled to indicate whether an electronic device management method is executed, a user name, remaining use time, or whether a control condition is satisfied. In addition, the electronic device 1000 controls the electronic device 1000 to output a message (voice or visual) that induces the corresponding character to change the user's use state of the electronic device (eg, end use, change content, or change posture). can do.
  • a message voice or visual
  • the electronic device 1000 may determine a method of displaying a usage state of the electronic device 1000 in consideration of a user's cognitive characteristics. For example, if the user is an infant, voice is output instead of text display in consideration of the infant's cognitive ability, and in the case of remaining time, a circle or bar-type graphic (e.g., The remaining time can be displayed using the grass bar). Alternatively, the remaining time may be indicated using object graphics familiar to young children rather than figure graphics. For example, the amount of food (fruit or drink, etc.) is displayed as a graphic animation according to the remaining time, objects (character's belongings, etc.) It can be displayed as a graphic animation. In addition, when an intervention method using storytelling, an interactive interaction, and a gradual mediation method are used in consideration of the animistic thinking characteristics of children, a more effective change in electronic device use status can be induced.
  • a circle or bar-type graphic e.g., The remaining time can be displayed using the grass bar.
  • object graphics familiar to young children rather than figure graphics.
  • the electronic device 1000 may control the electronic device 1000 based on the user's electronic device usage time condition and the user's current electronic device usage status.
  • Conditions for the user's electronic device usage time may include, but are not limited to, the maximum usage time per day, the maximum usage time per day, the maximum usage time per application, the usage time per session, and combinations of each when the electronic device user uses the electronic device. it is not going to be
  • the user's usage time of the electronic device may be monitored, and an output for notifying the user of the corresponding content may be transmitted at predetermined intervals or when the remaining time is less than or equal to a threshold time.
  • an output for notifying the user of the corresponding content may be transmitted at predetermined intervals or when the remaining time is less than or equal to a threshold time.
  • the type of output to notify the user may be determined based on user information (eg, age or cognitive ability).
  • the electronic device 1000 actually uses a certain percentage of the time (eg, 75% of 1 hour, 45 minutes) or before a certain time from the time when the use time is expected to be exhausted (eg, 45 minutes). For example, 10 minutes prior to the expected time of exhaustion) notification may be provided.
  • the notification provided to the user may induce interaction (interaction) with the user, and includes visual, auditory, or multi-sensory interaction and any interaction method.
  • the electronic device 1000 may identify whether the electronic device 1000 has voluntarily terminated based on whether the user terminated use before the use time was exhausted or continued use until the use time was exhausted according to the output of the electronic device.
  • AI models can be learned based on voluntary termination.
  • Conditions for the user's use of the electronic device may include conditions for harmfulness of content provided to the user through the electronic device 1000 and a control method of the electronic device 1000 when the content provided to the user is determined to be harmful. .
  • the electronic device 1000 may determine harmfulness of an image included in content provided to a user.
  • the electronic device 1000 may capture a screen provided to the user at a predetermined cycle and recognize text and images included in the captured screen using an image analysis model.
  • an image analysis model As a result of video analysis, if a harmful image or text is included, it may be decided not to provide the video to the user.
  • the video may include a web page as well as a still image and a moving picture.
  • the electronic device 1000 may determine whether to provide the corresponding content to the user by referring to age information (eg, PG rating set for a video) set for the content provided to the user.
  • age information eg, PG rating set for a video
  • the electronic device 1000 determines the harmfulness of the text included in the screen provided to the user in order to prevent a situation in which the user is a child and is continuously exposed to the harmful text due to not recognizing the harmful text. can do.
  • the electronic device 1000 may capture a screen provided to the user at predetermined intervals and recognize text (characters) included in the captured screen using a text recognition model. If the recognized text includes harmful text, the electronic device 1000 does not provide the selected content even if the user selects the text and its surrounding content (for example, touching a hyperlinked text or selecting a related video). (eg, masking the input for the corresponding text and its surrounding content).
  • a text monitoring and learning method according to an embodiment of the present disclosure will be described later with reference to FIG. 10 .
  • the electronic device 1000 may determine harmfulness of sound included in content provided to the user.
  • the electronic device 1000 analyzes the sound provided to the user using the sound recognition model, and if the result of the sound analysis includes a harmful sound (eg, a gunshot, slang, profanity, etc.), the electronic device 1000 may determine not to provide the sound to the user. there is.
  • a harmful sound eg, a gunshot, slang, profanity, etc.
  • the electronic device 1000 may monitor usage history of the electronic device user of the electronic device based on multiple pieces of information that can be collected and analyzed by the electronic device, and determine whether or not there is harmful content.
  • the multi-information that can be collected and analyzed by the electronic device 1000 includes all types of information that the electronic device 1000 can identify, such as images, texts, and sounds, and the electronic device 1000 stops the user from using the electronic device based on the multi-information. All actions to mediate and intervene in the user's use of the electronic device may be provided, such as inducing the use of the electronic device.
  • the electronic device 1000 turns off the backlight of the display of the electronic device, stops the operation of the electronic device, or displays a harmful image.
  • Direct control such as mosaicking text or harmful images, or skipping parts containing harmful text or images, as well as outputting a voice suggesting the user to use other content or instructing parents to ask for help Additional control such as outputting a voice may be performed.
  • the electronic device 1000 deletes only the harmful text or harmful image parts and synthesizes the area from which the harmful content is deleted with the background to provide seamless content. can do. In this case, since the user does not recognize that the harmful content is blocked, the user's resistance to the manager's management of the electronic device 1000 is reduced.
  • the conditions for the posture of using the electronic device are the posture of the user of the electronic device 1000 using the electronic device, the distance between the electronic device 1000 and the user, the conditions for the blinking cycle of the user of the electronic device 1000, and the posture of using the electronic device determined to be inappropriate.
  • the control method of the electronic device 1000 may be included.
  • the electronic device 1000 may determine a user's posture for using the electronic device.
  • a condition for the user's posture for using the electronic device may be determined based on an analysis result of multiple pieces of information that may be collected from a camera and an angle sensor in the electronic device 1000 .
  • the user's posture for using the electronic device may include information about a pose the user takes when using the electronic device 1000, a distance between the electronic device 1000 and the user, and information on eye blinking of the user of the electronic device.
  • the electronic device 1000 may obtain a multi-faceted image captured from the front, side, or rear side, and may obtain user posture (pose) information based on the obtained multi-faceted image.
  • the electronic device 1000 compares a predetermined reference posture with posture information of the user, and based on the result, determines whether the posture of the user needs to be corrected and how to correct the posture of the user. can A detailed method of measuring, by the electronic device 1000, the distance between the electronic device 1000 and the user and the blinking cycle of the user of the electronic device will be described later with reference to FIGS. 12 and 13 .
  • the electronic device 1000 may determine to request the user to correct the posture.
  • the electronic device 1000 outputs multi-sensory instructions in addition to visual (eg, display notification or character transmission, etc.) and auditory (eg, sound notification or character utterance, etc.) instructions in order to request the user to correct the posture. can do.
  • the electronic device 1000 may output a sensory interaction recommending that the user change a pose or take a correct posture.
  • the output sensory interaction may be related to a predetermined character selected by the user, and an animation and voice may be output in which the character displayed on the screen changes posture, stretches, or performs gymnastics.
  • the electronic device 1000 may include at least one sensor capable of recognizing a finger on the front or side, and the electronic device 1000 of the user is detected based on sensing information obtained from the at least one sensor. It can obtain gripping status and provide guidance on the correct gripping method.
  • at least one sensor may be a fingerprint recognition sensor.
  • the electronic device 1000 may output a sensory interaction recommending the user to locate the electronic device farther away.
  • the electronic device 1000 captures the user's face with the electronic device's camera, identifies the location of the user's two pupils and the distance between the two pupils by using a pupil detection vision model in the captured face image, and identifies the electronic device 1000 and the distance between the two pupils. It may be determined whether the distance between the user's eyes is within a threshold distance.
  • Dry eye syndrome is a representative symptom of visual terminal (DVT) syndrome, and occurs when the eye blink cycle is prolonged when using an electronic device.
  • the electronic device 1000 may adjust the brightness of the display of the electronic device 1000 based on at least one of the brightness of the display of the electronic device 1000, the brightness of the surroundings of the electronic device 1000, the elapsed time of using the electronic device, or the type of content used by the electronic device. For example, when a user uses the electronic device 1000 for a long time in a place with low ambient light, the electronic device 1000 predicts the user's eye fatigue according to the ambient light and the brightness of the display of the electronic device 1000, and adjusts the brightness of the display of the electronic device 1000 to the user. It can be determined and controlled at an appropriate level that does not strain the eyes.
  • the electronic device 1000 measures the eye blinking cycle of the electronic device user, and if the blinking cycle of the electronic device user is longer than a predetermined threshold cycle, the electronic device 1000 instructs the user to close his/her eyes for a while and read the electronic device. A sensory interaction recommending stopping use of the device 1000 may be output. At this time, the electronic device 1000 identifies the user's eye blink pattern using a convolutional neural network-based vision model that detects eye blinks, and determines that the user is overfocused when the eye blink cycle is longer than the critical cycle. there is. Alternatively, the electronic device 1000 may determine whether the user of the electronic device is over-immersed based on whether the user's mouth is opened or closed, which is determined by using the oral cavity detection model in the captured face image.
  • the electronic device 1000 may output a predetermined sound or graphic to arouse the user's attention.
  • the output sound or graphic may be related to a predetermined character selected by the user. If the user is a child, the electronic device 1000 may temporarily stop using the electronic device, and then display an animation in which a character displayed on the screen blinks or hurts the eyes, or outputs a related voice.
  • the electronic device 1000 outputs an instruction recommending posture correction to the user, and if the posture is not corrected after a predetermined period of time, the electronic device 1000 temporarily pauses the electronic device to allow the user to adjust the posture in stages.
  • Use of electronic devices can induce posture correction.
  • FIG. 5 is an operation flowchart of an electronic device and a server in an electronic device management system according to an embodiment of the present disclosure.
  • the electronic device management system may include an electronic device 1000 and an artificial intelligence server 3000.
  • the server 3000 may be an artificial intelligence server.
  • contents overlapping those of FIGS. 3 and 4 may be omitted.
  • a mobile device for example, a mobile phone or tablet
  • a parent manager uses a mobile device of a child user to provide user information and manager information. It can be assumed that the case of inputting .
  • the electronic device management system when the start of use of the electronic device 1000 is confirmed, the analysis result of the use history at the time of the previous use, the history of the previous use history being reflected in the management conditions, and the available history of the current use (time and application) can be provided to administrators or users.
  • the electronic device 1000 may obtain electronic device user information and manager information.
  • Electronic device user information may include user basic information, usage method information, and disposition/propensity information.
  • the electronic device manager information may include manager basic information, mediation method information, and parenting attitude information.
  • the electronic device 1000 may transmit the obtained electronic device user information and electronic device manager information to the artificial intelligence server 3000.
  • the electronic device 1000 may acquire electronic device user information and electronic device manager information, and transmit the obtained information to the artificial intelligence server 3000 as it is.
  • the artificial intelligence server 3000 receiving the electronic device user information and manager information from the electronic device 1000 may determine the user-manager type based on the user information and the electronic device manager information.
  • the electronic device 1000 may analyze the obtained electronic device user information and electronic device manager information, transform it into a necessary form, and transmit it.
  • information transmitted from the electronic device 1000 to the artificial intelligence server 3000 may be user-administrator type information determined based on the obtained electronic device user information and electronic device manager information.
  • the artificial intelligence server 3000 may acquire electronic device management conditions.
  • the processor of the artificial intelligence server 3000 may perform a pre-processing process on the data received from the electronic device 1000 to convert it into a form suitable for use as an input of an artificial intelligence model.
  • Conditions for the user's electronic device usage time may include, but are not limited to, the maximum usage time per day, the maximum usage time per day, the maximum usage time per application, the usage time per session, and combinations of each when the electronic device user uses the electronic device. it is not going to be
  • the conditions for the user's use of the electronic device may include conditions for harmfulness of the content provided to the user through the electronic device 1000 and a control method of the electronic device 1000 when the content provided to the user is determined to be harmful. there is.
  • the condition for the user's electronic device use history may include a condition for determining whether or not harmful content is present by utilizing multiple pieces of information that can be collected and analyzed by the electronic device.
  • Conditions for the user's posture of using the electronic device include the posture of the user of the electronic device 1000 using the electronic device, the distance between the electronic device 1000 and the user, the conditions for the eye blink cycle of the user of the electronic device 1000, and the improper posture of using the electronic device.
  • the electronic device 1000 may include a control method.
  • the artificial intelligence server 3000 may transmit electronic device management conditions to the electronic device 1000.
  • the electronic device 1000 may monitor usage of the electronic device and control the electronic device.
  • the electronic device 1000 monitors the user's usage of the electronic device 1000 in real time based on the electronic device management conditions acquired from the server, and the user's current usage state of the electronic device 1000 determines the electronic device management conditions.
  • the electronic device 1000 may be controlled based on the electronic device management conditions.
  • control of the electronic device of the electronic device 1000 may include not only direct control for the electronic device 1000 to change the use state of the electronic device, but also control for inducing a change in the use state of the electronic device to a user.
  • the electronic device 1000 may control the electronic device 1000 to display a character liked by the child on a portion of the screen and transmit a voice indicating that the usage time of the electronic device has been exceeded by the corresponding character.
  • the electronic device 1000 may display a message or image recommending changing the posture of using the electronic device on the screen, or control the electronic device 1000 to display an icon or vibrate to call attention to the user regarding the use of the electronic device.
  • the user's state of use of the electronic device violates the electronic device management condition unconsciously, the user may be induced to voluntarily comply with the electronic device management condition when the user's attention is aroused.
  • the electronic device 1000 determines the electronic device 1000 based on the user's electronic device usage time condition, the user's electronic device usage history condition, and the user's current electronic device usage condition condition. can control.
  • Conditions for the user's electronic device usage time may include, but are not limited to, the maximum usage time per day, the maximum usage time per day, the maximum usage time per application, the usage time per session, and combinations of each when the electronic device user uses the electronic device. it is not going to be
  • Conditions for the user's use of the electronic device may include conditions for harmfulness of content provided to the user through the electronic device 1000 and a control method of the electronic device 1000 when the content provided to the user is determined to be harmful. .
  • the conditions for the posture of using the electronic device are the posture of the user of the electronic device 1000 using the electronic device, the distance between the electronic device 1000 and the user, the conditions for the blinking cycle of the user of the electronic device 1000, and the posture of using the electronic device determined to be inappropriate.
  • the control method of the electronic device 1000 may be included.
  • the electronic device 1000 may transmit interaction information and action data between the user and the electronic device 1000 to the artificial intelligence server 3000.
  • Interaction information between the user and the electronic device refers to information related to all interactions provided to the user in order to control the user's use of the electronic device.
  • the interaction induces posture correction based on an interaction provided to induce use of an electronic device based on a usage time condition, an interaction provided to induce use of other content based on a usage history condition, and a usage posture condition. It may include the interaction provided to do so.
  • the interaction may include all of visual, auditory, multi-sensory interactions, and other interactions.
  • the action data refers to data on actions taken by the user while using the electronic device and data obtained by analyzing the user's actions while the user is using the electronic device. For example, if the electronic device 1000 provides an interaction for inducing termination of use before the usage time ends, and the user ends the use in response to the interaction, the electronic device responds to the user's 'end' action and the corresponding 'end' action. 'Action can be judged as an arbitrary termination according to an interaction and converted into data and stored.
  • the electronic device 1000 may store not only the user's use history of the electronic device, but also interaction information and action data between the user and the electronic device.
  • the electronic device 1000 includes the user's method of using the electronic device, the history of questions and responses uttered by the user from the start of use to the end of use, the user's posture in using the electronic device, whether or not the electronic device voluntarily terminated in response to intervention within the end of use,
  • information such as the user's acceptability of the electronic device use arbitration attempt (eg, the user's response to the electronic device use arbitration attempt, the type of response, or the time taken to respond) may be stored in the internal memory.
  • the artificial intelligence server 3000 may learn an artificial intelligence model based on the received interaction information and action data and update electronic device management conditions.
  • the artificial intelligence server 3000 learns an artificial intelligence model by analyzing interaction information and action data between the user and the electronic device received from the electronic device 1000 .
  • the artificial intelligence server 3000 includes the user's electronic device usage method, the history of questions and responses uttered by the user from the start of use to the end of use, the user's posture in using the electronic device, and whether or not the user terminated voluntarily in response to intervention within the end time of use.
  • AI models can be learned based on
  • the artificial intelligence server 3000 acquires updated electronic device management conditions based on the learned artificial intelligence model.
  • the artificial intelligence server 3000 may store interaction information and action data between the user and the electronic device received from the electronic device 1000, and the stored data is an artificial intelligence model for the next use of the electronic device as well as for establishing a mid- to long-term education plan. can be reflected in
  • the artificial intelligence server 3000 according to the present disclosure learns an artificial intelligence model using statistical information about interaction information and action data of other users of the same age and gender, and manages an electronic device based on the learned artificial intelligence model. can be obtained.
  • the artificial intelligence server 3000 may deliver updated electronic device management conditions to the electronic device 1000.
  • the electronic device management system After acquiring the updated electronic device management conditions, the electronic device management system repeats steps 505 to 510 so that the electronic device 1000 can monitor and control the electronic device based on the updated electronic device management conditions.
  • FIG. 6 is an operation flowchart of a first electronic device, a second electronic device, and a server in an electronic device management system according to an embodiment of the present disclosure.
  • the electronic device management system further includes a second electronic device in addition to the first electronic device and the server, wherein the first electronic device is a user device and the second electronic device is a manager. can mean a device.
  • a manager who is a parent uses a separate electronic device (second electronic device) to manage a child user's mobile device (first electronic device).
  • first electronic device a manager as a parent uses a separate electronic device, real-time confirmation of a control state and setting of new conditions are possible even when the manager and the user are not in the same space.
  • the server 3000 may be an artificial intelligence server, and in FIG. 6, overlapping content with FIGS. 3 to 5 may be omitted.
  • the second electronic device 2000 may obtain user information and manager information of the first electronic device.
  • Electronic device user information may include user basic information, usage method information, and disposition/propensity information.
  • the electronic device manager information may include manager basic information, mediation method information, and parenting attitude information.
  • the second electronic device 2000 may transmit the acquired first electronic device user information and electronic device manager information to the artificial intelligence server 3000.
  • the first electronic device obtains first electronic device user information and transmits it to the artificial intelligence server 3000
  • the second electronic device obtains first electronic device manager information and transmits it to the artificial intelligence server 3000. It can be transmitted, but this is not shown.
  • the artificial intelligence server 3000 may obtain a first electronic device management condition.
  • the artificial intelligence server 3000 may transmit a first electronic device management condition to the electronic device 1000.
  • the first electronic device 1000 may monitor usage of the first electronic device and control the first electronic device.
  • the first electronic device 1000 monitors the user's use of the first electronic device 1000 in real time, and if the user's current usage state of the first electronic device 1000 exceeds the first electronic device management condition, a 1
  • the electronic device 1000 may be controlled based on an electronic device management condition.
  • control of the electronic device of the electronic device 1000 may include not only direct control for the electronic device 1000 to change the use state of the electronic device, but also control for inducing a change in the use state of the electronic device to a user.
  • the electronic device 1000 may control the electronic device 1000 to display a character liked by the child on a portion of the screen and transmit a voice indicating that the usage time of the electronic device has been exceeded by the corresponding character.
  • the electronic device 1000 may control the electronic device 1000 to display a user interface (UI) recommending a change in the posture of using the electronic device on the screen.
  • UI user interface
  • the electronic device 1000 determines the electronic device 1000 based on the user's electronic device usage time condition, the user's electronic device usage history condition, and the user's current electronic device usage condition condition. can control.
  • the first electronic device 1000 may transmit interaction information and action data between the user and the first electronic device 1000 to the artificial intelligence server 3000.
  • Interaction information between the user and the electronic device refers to information related to all interactions provided to the user in order to control the user's use of the electronic device.
  • the action data refers to data obtained by analyzing an action in which a user's intention is reflected while the user uses the electronic device.
  • the first electronic device 1000 may transmit the first electronic device control result to the second electronic device, and the second electronic device 2000 may display the first electronic device control result.
  • the manager of the first electronic device can check the control result of the first electronic device received from the second electronic device in real time.
  • the second electronic device 2000 may transmit feedback on the first electronic device control result to the artificial intelligence server 3000.
  • the manager of the first electronic device Based on the control result of the first electronic device identified in step 609, the manager of the first electronic device provides feedback on the control result of the first electronic device using the second electronic device when additional control is required or when control conditions are changed. may be transmitted to the artificial intelligence server 3000.
  • the feedback on the first electronic device control result may include the appropriateness of the first electronic device control, satisfaction with the first electronic device control result, whether the first electronic device control condition needs additional modification, or the first electronic device control condition additionally modified content. may include at least one of them.
  • the second electronic device is a first electronic device management condition manually changed by a manager of the first electronic device or first electronic device user information and manager information modified by a manager of the first electronic device. may be transmitted to the artificial intelligence server 3000 to update the first electronic device management condition.
  • the artificial intelligence server 3000 transmits a feedback request for the current electronic device management condition to the second electronic device 2000 at a predetermined cycle, and responds to the current electronic device management condition from the second electronic device 2000. You may receive a request for feedback.
  • the artificial intelligence server 3000 provides feedback on the current electronic device management conditions when it is necessary to change the electronic device management conditions for the first 1000 users (for example, when the user reaches the age at which the developmental stage changes).
  • a request may be transmitted, and a feedback request for a current electronic device management condition may be received from the second electronic device 2000 .
  • the artificial intelligence server 3000 learns an artificial intelligence model based on the interaction information and action data received from the first electronic device and the feedback on the control result of the first electronic device received from the second electronic device.
  • the first electronic device management condition may be updated.
  • the artificial intelligence server 3000 may transfer the updated first electronic device management condition to the first electronic device 1000. Also, the artificial intelligence server 3000 may transfer the updated first electronic device management condition to the second electronic device 2000 if necessary.
  • the electronic device management system Upon obtaining the updated electronic device management conditions, the electronic device management system repeats steps 605 to 513 so that the first electronic device 1000 can monitor and control the first electronic device based on the updated first electronic device management conditions.
  • the second electronic device that has obtained the updated first electronic device management condition may provide the updated first electronic device management condition to the manager.
  • FIG. 7 is a flowchart of a method for an electronic device to control a device according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart of a method for an electronic device to control a device in the electronic management system according to the embodiment disclosed in FIG. 5 .
  • the electronic device 1000 may obtain user information and manager information of the electronic device.
  • Electronic device user information may include user basic information, usage method information, and disposition/propensity information.
  • the electronic device manager information may include manager basic information, mediation method information, and parenting attitude information.
  • the electronic device 1000 may obtain the identified electronic device management conditions from the artificial intelligence model based on the information about the user and the manager of the electronic device.
  • the electronic device 1000 transmits the obtained electronic device user information and electronic device manager information to the artificial intelligence server 3000, and from the artificial intelligence server 3000, information about the user of the electronic device and An electronic device management condition identified from the artificial intelligence model may be obtained based on the manager information.
  • the electronic device 1000 may monitor usage of the electronic device and control the electronic device.
  • the electronic device 1000 monitors the user's use of the electronic device 1000 in real time based on the electronic device management condition acquired from the server (step 703), and the user's current electronic device 1000 usage state is It is determined whether the device management condition is satisfied (step 704), and if the user's current use state of the electronic device 1000 does not satisfy the electronic device management condition, the electronic device 1000 is controlled based on the electronic device management condition (step 705). can do.
  • control of the electronic device of the electronic device 1000 may include not only direct control for the electronic device 1000 to change the use state of the electronic device, but also control for inducing a change in the use state of the electronic device to a user. there is.
  • the electronic device 1000 may obtain updated electronic device management conditions.
  • the electronic device management condition may be updated based on an artificial intelligence model learned based on interaction information and action data between the user and the electronic device 1000 of the electronic device 1000 .
  • the electronic device 1000 transmits interaction information and action data between the user and the electronic device 1000 to the artificial intelligence server 3000, and the artificial intelligence server 3000 transmits information between the user and the electronic device 1000.
  • An updated electronic device management condition obtained from an artificial intelligence model learned based on the interaction information and action data may be obtained.
  • the electronic device 1000 that obtains the updated electronic device management conditions repeats steps 703 to 706 based on the updated electronic device management conditions, so that the electronic device 1000 monitors the electronic device based on the updated electronic device management conditions. and can be controlled.
  • the electronic device usage time recommendation model outputs a recommended usage time suitable for the user's age when age information of the user is input.
  • Age information of the user may include date of birth, age, and month age information. For example, age information for a child under the age of two may mean age information for a child older than 2 years old.
  • the recommended use time may include a single use time of the electronic device, a daily use time of the electronic device, and a use time for each application.
  • the electronic device usage time recommendation model may use the age of children aged 2 to 7 years old and average usage time per time as learning data. For the two factors, the correlation between usage time per month according to the age of the month is learned through methods such as linear regression, and the model acquired through learning can be used as a recommended usage time model.
  • the electronic device management system may additionally use an electronic device overdependency diagnosis model.
  • the electronic device overdependence diagnostic model according to an embodiment of the present disclosure outputs whether the user is at risk of electronic device overdependence when user age information and user average usage time information are input.
  • the user's average usage time may include a one-time average usage time and a daily average usage time.
  • the electronic device overdependency diagnosis model may use the age of children aged 2 to 7 years, the average usage time per time, and smart device overdependency diagnosis data as learning data.
  • This is a model learned using a linear support vector machine (SVM) for the corresponding data. It is linearly divided into two clusters in a flat space composed of monthly age and average usage time per time, and the one with more data diagnosed as overdependency, respectively. It is possible to infer whether the user is overdependent on a smart device by classifying into an overdependency risk group and a lesser one into a normal group.
  • SVM linear support vector machine
  • the electronic device overdependence diagnosis model When the administrator inputs the user's age and single use time, the electronic device overdependence diagnosis model outputs whether the user is at risk of smart device overdependence, and the electronic device 1000 displays it on the screen, so that the administrator can determine the user's smart device You can ask them to check whether they are at risk of overdependence.
  • 9 is a learning result of a use time recommendation model according to an embodiment of the present disclosure.
  • the graph shown in FIG. 9 is the relationship between the age of a child and the average usage time of a smart device. If the user's usage time per month for each month is near the linear regression line of the recommended usage time model, it can be determined that there is no risk of overdependence. . On the other hand, if the user's monthly usage time for each month is located on the plane (upper plane) with more average usage time among the planes divided by the overdependency diagnosis model support vector, it can be determined as an overdependency risk group.
  • the recommended usage time for one time may be determined to be 10 minutes based on the recommended usage time linear regression line. Also, it is assumed that user A's average usage time per time is 23 minutes and user B's average usage time per time is 10 minutes.
  • User A's one-time usage time is located above the support vector of the overdependency diagnosis model for the 36-month-old, so user A can be determined as a risk group for overdependency.
  • user B's one-time use time is located below the support vector of the overdependency diagnosis model for the 36-month-old, so it can be determined that user B is not in the general children's group, that is, not in the overdependency risk group.
  • the usage time recommendation model is used based on the user's actual developmental characteristics according to the developmental examination result. Can you recommend a time.
  • FIG. 10 is a diagram for explaining a method of controlling an electronic device based on an electronic device use context according to an embodiment of the present disclosure.
  • the electronic device management system may analyze the context of the electronic device use state and terminate the use of the electronic device based on the analyzed context.
  • an electronic device 1000 may include an electronic device use time input module 1001 , an electronic device use state context analysis module 1002 , an electronic device use time analysis module 1003 , and an electronic device use end module 1004 .
  • the user when the user is a child, since the child may not be accustomed to ending the use of the electronic device at a fixed time, the user is instructed to terminate the use of the electronic device based on the current state (context) of the media, content or game being used. By inducing, the child can stop using the electronic device without conflict with the guardian.
  • the manager may set the electronic device use time to 20 minutes through the electronic device use time input module 1001 .
  • the electronic device use time analysis module 1003 analyzes the user's electronic device use time and continuously checks whether 20 minutes of the electronic device use time input by the manager has elapsed.
  • the electronic device use state context analysis module 1002 may analyze the context of the user's electronic device use state in real time. In the disclosed embodiment, when the usage time of the electronic device ends, the electronic device usage state context analysis module 1002 may determine that about 2 minutes remain for the video being watched by the user. In this case, even if 20 minutes of the electronic device use time input by the administrator elapses, it may be preferable to allow the user to watch all remaining videos rather than immediately stop using the electronic device. Accordingly, the electronic device use state context analysis module 1002 may transmit context information indicating that an end point of the video being viewed by the user is near to the electronic device use time analysis module 1003 . The electronic device use time analysis module extends the electronic device use time according to the end time of the video, and the electronic device use end module 1004 controls the electronic device to end the use of the electronic device according to the extended electronic device use time.
  • the electronic device usage state context analysis module 1002 monitors the remaining time of the video being watched by the user and the usable time of the electronic device, so that the remaining time of the video being watched exceeds the available time of the electronic device. If you do, you can adjust the playback speed (x speed) of the video. For example, if the remaining time of the video being watched is 10 minutes and the available time of the electronic device is 8 minutes, the playback speed of the video can be adjusted to 1.25 times so that the content playback can be terminated when the electronic device usage time ends.
  • the electronic device use state context analysis module 1002 monitors the remaining time of the video being watched by the user and the available time of using the electronic device, and if the remaining time of the video being watched exceeds the available time of using the electronic device, the second half of the content being played part of can be deleted. For example, if the remaining time of the video being watched is 10 minutes and the available time of the electronic device is 8 minutes, 2 minutes of low importance among the remaining videos may be deleted so that content reproduction is terminated when the electronic device usage time ends. In this case, a portion to be deleted among the remaining videos may be determined based on a result of analyzing the context of the content. For example, by analyzing the use state context of a plurality of users for the corresponding content, a portion with a large number of fast-forward or skipped histories may be determined as a portion to be deleted.
  • the electronic device usage time is included in the electronic device management condition obtained using the artificial intelligence model as described above, as well as the time directly input by the administrator through the electronic device usage time input module 1001. This may mean the time of using an electronic device.
  • the extended use time of the electronic device may be determined within a predetermined threshold time set by an administrator. For example, if the extension threshold time set by the manager is 5 minutes and the remaining time of the video is 8 minutes, the electronic device 1000 may determine not to extend the electronic device use time.
  • whether to extend the electronic device use time may be determined based on a ratio of a preset electronic device use time and a remaining time of a video, and the extension of the electronic device use time is temporary and will not be used later. It may operate to be reset to the set electronic device use time.
  • the electronic device 1000 when the usage time of the electronic device set by the administrator is 20 minutes and the user plays an 18-minute video, the electronic device 1000 continues to play the video even if the electronic device usage time remains at the time the video playback is completed.
  • the electronic device may be controlled to end use of the electronic device together.
  • the electronic device 1000 when the user tries to play a new 10-minute video while the usage time of the electronic device set by the administrator is 3 minutes remaining, the electronic device 1000 provides a graphic/sound notification indicating that the video cannot be played. can be provided to the user.
  • FIG. 11 is a diagram for explaining a harmful content monitoring model according to an embodiment of the present disclosure.
  • the electronic device 1000 analyzes text and context included in content consumed by a user using video analysis, and if it is determined that the content is included as a result of the analysis, the electronic device 1000 may remove the objectionable content. there is.
  • the electronic device 1000 may capture 1102 all contents 1101 displayed on the electronic device using a screen capture module.
  • the electronic device 1000 may recognize text included in the captured screen using a text recognition model (1103), and determine harmfulness of the recognized text based on a harmful text database (1104).
  • the electronic device 1000 performs a masking process (1105) on the text determined to be harmful using a masking module, and displays (1106) a screen on which the harmful text is masked on the electronic device.
  • the masking process is to process only the part determined to be harmful content (for example, blur or mosaic), or to remove the entire part containing the harmful content from the content (for example, to delete or skip the corresponding time in the video), Methods of removing objects determined to be harmful content and combining them with the background may all be included, but are not limited thereto.
  • an object determined to be harmful content is removed and combined with the background, the user does not recognize that the harmful content is blocked, so the user's reluctance to the manager's management of the electronic device 1000 is reduced.
  • a harmful content monitoring model may be learned based on an evaluation (feedback) of an electronic device control result of an electronic device manager, and prediction by determining whether harmful content is included using the learned model. Accuracy can be improved.
  • the harmful content monitoring model is updated by clustering user groups based on user criteria of similar inclinations or similar ages and updating the harmful content monitoring model based on evaluation statistics on the control result of the administrator's electronic device for each group of users. The prediction accuracy of can be further improved.
  • FIG. 12 is a diagram for explaining a method of controlling an electronic device based on a distance between a user and an electronic device according to an embodiment of the present disclosure.
  • the distance of 1000 between the user and the electronic device may be measured using at least one of an ultrasonic sensor, an infrared sensor, a LIDAR (LIght Detection And Ranging) sensor, a RADAR (Radio Detection And Ranging) sensor, or an image sensor.
  • an ultrasonic sensor an infrared sensor
  • a LIDAR LIght Detection And Ranging
  • a RADAR Radio Detection And Ranging
  • image sensor an image sensor.
  • the ultrasonic sensor measures the distance based on the time taken from emitting ultrasonic waves to receiving a reflected wave or the wavelength of the received reflected wave.
  • Infrared sensors use electromagnetic waves with a longer wavelength than visible light, and infrared rays are safe because they have a longer wavelength and lower energy.
  • a short-distance measurement sensor using infrared rays irradiates infrared rays from the sensor and measures the distance according to the intensity of the reflected infrared rays.
  • the LiDAR sensor has a narrow detection range, but uses a laser with strong linearity, so the probability of distortion is low, so the error range is only a millimeter unit because the accuracy is higher than that of a camera or radar.
  • lidar has a higher horizontal azimuth than cameras or radars, so it can accurately measure altitude and direction, has excellent ability to detect small objects, and can detect temperature or material distribution.
  • the radar sensor may determine the existence, direction distance, and speed of a target by measuring a reflected wave returning after the irradiated electromagnetic wave hits the target. Because radio waves are used, sensitivity to the surrounding environment is low, allowing stable measurement.
  • the image sensor typically has a camera and can photograph an object to identify its existence, location, and size.
  • the electronic device 1000 may dim the screen or block the screen to induce the user to place the electronic device away from the eyes to protect the user's eyesight. there is. Conversely, when the distance between the user and the electronic device is too great, the electronic device 1000 may adjust (enlarge) the size of content displayed on the screen to automatically provide a screen of an appropriate size to the user.
  • the electronic device 1000 uses a video modeling method to play an animation in which a predetermined character moves the electronic device away when the distance between the user and the electronic device is too short, and the distance between the user and the electronic device is too short. In the case of being far away, an animation in which a predetermined character moves an electronic device closer to the viewer may be played.
  • an electronic device 1000 includes one or more sensors (a camera module 1005 and a proximity sensor module 1006) capable of measuring an inter-pupillary distance (IPD) of a user, an IPD analysis module 1007, and a display setting. module 1008, distance database 1009, display arbitration module 1010, and display magnification module 1011.
  • the camera module 1005 transfers the captured user face image to the IPD analysis module 1007;
  • the proximity sensor module 1006 transfers the sensed value of proximity between the user and the electronic device to the IPD analysis module 1007 .
  • the IPD analysis module 1007 may obtain the user's IPD based on the user's face image obtained from the camera module 1005 and the sensing value obtained from the proximity sensor module 1006 and may measure the distance between the user and the electronic device.
  • the IPD analysis module 1007 transfers the measured distance between the user and the electronic device to the display setting module 1008, and the display setting module 1008 may set a display control method based on the distance between the user and the electronic device. More specifically, when the distance between the user and the electronic device is excessively close to a predetermined threshold or less, the display setting module 1008 dims the screen or blocks the screen using the display arbitration module 1010 so that the user is not connected to the electronic device. The device can be directed away from the eye. Conversely, when the distance between the user and the electronic device is below a predetermined threshold or excessively far, the display setting module 1008 determines the distance between the user and the electronic device and the database for the display size according to the distance stored in the distance database 1009. A display magnification ratio may be determined, and the display magnification module 1011 may provide an enlarged screen to the user according to the determined magnification ratio.
  • FIG. 13 is a diagram for explaining a method of controlling an electronic device based on a user's posture for using an electronic device, according to an embodiment of the present disclosure.
  • the electronic device 1000 may output an interaction recommending the user to locate the electronic device farther away. .
  • an electronic device 1000 that controls an electronic device based on a user's posture using the electronic device includes a camera module 1005, a pupil detection model 1012, a distance measurement module 1013, and an eye blink detection model. 1014, an eye blink period measurement module 1015, and a display 1016.
  • the electronic device 1000 detects pupil location information from the user's face image captured from the camera module 1005 using the pupil detection model 1012 and detects pupil location information using the distance measurement module 1013.
  • the distance between the user and the electronic device 1000 may be measured based on the location information of .
  • the electronic device 1000 may measure the distance between the user and the electronic device 1000 by additionally using sensing data acquired using the proximity sensor module 1006 in addition to the camera module 1005 .
  • the electronic device 1000 may dim the display 1016 or block the output of the display 1016 to induce the user to place the electronic device away from the user's eyes, and the distance between the user and the electronic device may decrease. If it is too far away, the size of the contents displayed on the display 1016 may be adjusted (enlarged) to automatically provide a screen of an appropriate size to the user.
  • the electronic device 1000 when the distance between the user and the electronic device is too short, transmits a voice informing that a predetermined character is to locate the electronic device far away, or recommends that the electronic device be located far away. message or image can be displayed on the screen.
  • the electronic device 1000 may call the user's attention to the use of the electronic device by pausing playback of the currently playing content, displaying an icon, or vibrating. .
  • the device 1000 may detect eye blinks using the eye blink detection model 1014 and measure the eye blink cycle using the eye blink period measuring module 1015 from the user's face image and video captured from the camera module 1005 .
  • the electronic device 1000 when the measured eye-blink period of the electronic device user is longer than a predetermined threshold period, provides a sensory interaction recommending the user to close their eyes for a while and stop using the electronic device 1000. can be printed out. At this time, the electronic device 1000 identifies the user's eye blink pattern using a convolutional neural network-based vision model that detects eye blinks, and determines that the user is overfocused when the eye blink cycle is longer than the critical cycle. there is.
  • the electronic device 1000 controls the display screen to blink (blinking), displays a notification on the display screen that induces eye blinking, or blinks the eyes.
  • a predetermined animation for exercise may be played to arouse the user's attention and induce eye blinking.
  • the electronic device 1000 may temporarily stop using the electronic device, and then display an animation in which a character displayed on the screen blinks or hurts the eyes, or outputs a voice as sound.
  • the electronic device 1000 outputs an instruction recommending a posture correction to the user, if the posture is not corrected after a predetermined period of time, the display 1016 is darkened or the output of the display 1016 is blocked. Through this, it is possible to induce the user to correct the posture of using the electronic device step by step.
  • FIG. 14 is a diagram for explaining a developmental examination system according to an embodiment of the present disclosure.
  • test subject In an environment in which the use of electronic devices such as smart phones is common and the age of use is gradually decreasing, when a developmental test is performed in a daily environment using an electronic device, the test subject may be in a more familiar and comfortable situation or not aware of what is being tested. It is inspected in the same state, so more stable and reliable test results can be obtained.
  • various types of inspections in more diverse fields are possible by using the user's electronic device use history and use data as inspection data, rather than a question-and-answer type inspection method.
  • the embodiment of the present disclosure can be used more effectively.
  • non-face-to-face examinations may be conducted with the attending physician, counselor, or clinical psychologist through video.
  • the test subject electronic device user
  • the test subject's psychological resistance to the test can be reduced.
  • a more flexible and flexible examination can be performed by constructing and displaying an animation of a predetermined character selected by a test subject on a screen while modulating and outputting an actual examiner's voice as the voice of the corresponding character in real time.
  • test results may be obtained by performing a small test every day instead of performing many tests at once.
  • user preference information can be used to increase the liking for developmental/cognitive tests, and in the case of children, user participation can be improved by personalizing developmental test items adaptively to the user by using the usual preferred characters. .
  • the developmental test system may provide a reward to the user according to the degree of participation in the test or the reliability of the test.
  • the developmental testing system according to an embodiment of the present disclosure may be a coin usable within the developmental testing system, an item applicable to a user character, or an external system when participating in the test or having a test reliability of a predetermined score or higher. can provide exchangeable items (eg, NFTs, etc.).
  • the developmental examination system may include a user, an electronic device, and a developmental examination server 4000 .
  • the electronic device 1000 may include a language expression analysis module 1012 , a non-verbal expression analysis module 1013 , a usage history analysis module 1014 , and a development test result providing module 1015 .
  • the development examination server 4000 may include a language development evaluation module 4001, a non-verbal development evaluation module 4002, a comprehensive development analysis module 4003, and a total user DB 4004.
  • the development test server 4000 according to an embodiment of the present disclosure may be included in the artificial intelligence server 3000 for determining electronic device management conditions or may be implemented in a hardware-integrated form.
  • the language expression analysis module 1012 obtains a result of analyzing a language expression based on a speech of an electronic device user by using a conversation system.
  • the non-verbal expression analysis module 1013 obtains a non-verbal expression analysis result based on the user's posture, expression, and face recognition.
  • the linguistic expression of the user of the electronic device may be obtained by analyzing speech received through a microphone provided in the electronic device 1000 using a conversation system.
  • the electronic device 1000 may output development test items through a speaker, obtain a user's voice response to the development test items through a microphone, and analyze the acquired voice.
  • the development test items may be output after being modulated into the parent's voice or the user's preferred character's voice.
  • the electronic device 1000 may output the parent's voice input or modulate the text input into the parent's voice or the user's preferred character's voice and output it.
  • a voice signal which is an analog signal
  • ASR Automatic Speech Recognition
  • NLU natural language understanding
  • the ASR model or NLU model may be an artificial intelligence model.
  • the artificial intelligence model can be processed by an artificial intelligence processor designed with a hardware structure specialized for the processing of artificial intelligence models. AI models can be created through learning.
  • An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • Linguistic understanding is a technology that recognizes and applies/processes human language/text, and includes natural language processing, machine translation, dialog system, question answering, and voice recognition. /Includes Speech Recognition/Synthesis, etc.
  • the non-verbal expression of the user of the electronic device may be obtained by analyzing an image captured through a camera provided in the electronic device 1000 .
  • the electronic device 1000 may capture an image or video of the user through a camera, analyze the captured image or video, obtain the user's expression, and infer emotions.
  • the electronic device 1000 may capture a motion picture of the user using a camera and determine the physical development of the user. For example, as a result of analyzing a video of a user's motion, when it is determined that the user's gross and fine muscle development is delayed compared to the standard for the corresponding age, the electronic device 1000 transmits the determination result through the electronic device 1000 or a manager device. can provide
  • AI models can be created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden.
  • An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • Visual understanding is a technology that recognizes and processes objects as if they were human eyes, and includes object recognition, object tracking, image retrieval, human recognition, and scene recognition. , spatial understanding (3D Reconstruction/Localization), and image enhancement (Image Enhancement).
  • the language expression analysis module 1012 transmits the acquired language expression analysis result to the language development evaluation module 4001 of the development test server 4000, and the non-verbal expression analysis module 1013 transmits the obtained non-verbal expression analysis result to the non-verbal development test server 4000. Send to evaluation module 4002.
  • the usage history analysis module 1014 of the electronic device 1000 analyzes the usage history based on all of the user's electronic device usage history data, such as search records and viewing history, and transmits the analysis result to the comprehensive developmental analysis module 4003 of the development test server 4000.
  • the language development evaluation module 4001 and the non-verbal development evaluation module 4002 transmit development evaluation results to the comprehensive development analysis module 4003, respectively.
  • the comprehensive developmental analysis module 4003 comprehensively analyzes the user's development based on the usage history analysis result obtained from the electronic device 1000 and the developmental evaluation result obtained from the developmental evaluation modules 4001 and 4002, and analyzes the analysis result as total user data. It can be passed to base 4004 for storage. In addition, the comprehensive development analysis module 4003 may analyze the development of the user by referring to and comparing the development analysis results of other users of the same age.
  • the development test result providing module 1015 of the electronic device 1000 may obtain a development test result for the user from the user DB 4004 of the development test server 4000 and provide the user's development test result so that the administrator can confirm the result.
  • the development test result providing module 1015 may create a report on the user's developmental status, display it on a display screen, store it in a memory (not shown) of the electronic device 1000, or send it to a preset administrator's e-mail address. there is.
  • FIG. 15 illustrates a configuration diagram of an electronic device and a server in a developmental examination system according to an embodiment of the present disclosure.
  • the electronic device 1000 includes a manager information acquisition module 1100, a user information acquisition module 1300, a usage information acquisition module 1600, and a display 1200.
  • the usage information acquisition module 1600 includes a language expression analysis module 1012 and a non-verbal expression analysis. module 1013, usage history analysis module 1014.
  • the development test server 4000 may include a comprehensive development analysis module 4003 and a total user database 4004 , and the comprehensive development analysis module 4003 may include a language development evaluation module 4001 and a non-verbal development evaluation module 4002 .
  • FIG. 15 a detailed description of contents overlapping with those of FIGS. 3 and 14 may be omitted.
  • the user information acquisition module 1300 acquires user information, and the user information may include user basic information, usage method information, and temperament and propensity information.
  • the usage information acquisition module 1600 acquires usage information, and the usage information may include a result of analyzing a language expression, a result of analyzing a non-verbal expression, and a result of analyzing a usage history.
  • the language expression analysis module 1012 obtains a result of analyzing a language expression based on a speech of an electronic device user by using a conversation system.
  • the non-verbal expression analysis module 1013 obtains a non-verbal expression analysis result based on the user's posture, expression, and face recognition.
  • the usage history analysis module 1014 of the electronic device 1000 analyzes the usage history based on all of the user's electronic device usage history data, such as search history and viewing history.
  • the linguistic expression of the user of the electronic device may be obtained by analyzing speech received through a microphone provided in the electronic device 1000 using a conversation system.
  • the non-verbal expression of the user of the electronic device may be obtained by analyzing an image captured through a camera provided in the electronic device 1000 .
  • the electronic device 1000 transmits user information acquired through the user information acquisition unit 1300 and usage information obtained through the usage information acquisition module 1600 to the developmental test server 4000 .
  • the comprehensive developmental analysis module 4003 of the developmental examination server 4000 may obtain a developmental examination result based on user information and usage information received from the electronic device 1000 . More specifically, the comprehensive development analysis module 4003 comprehensively analyzes the user's development based on the language development evaluation results obtained in the language development evaluation module 4001 and the non-verbal development evaluation results obtained in the non-verbal development evaluation module 4002. The result can be transferred to the entire user database 4004 for storage. In addition, the comprehensive development analysis module 4003 may analyze the development of the user by referring to and comparing the development analysis results of other users of the same age.
  • the developmental examination server 4000 transmits the user's developmental examination result obtained from the comprehensive developmental analysis module to the electronic device 1000, and the electronic device 1000 displays the received developmental examination result on the display 1200 to provide the developmental examination result to the manager or user.
  • FIG. 16 illustrates a language development test model according to an embodiment of the present disclosure.
  • a language development test model may include a sentence vectorization model 1601, a morpheme analysis model 1602, a convolutional neural network model 1603, and a language development test model 1604.
  • the language development test model uses sentence vectors obtained by vectorizing speech data of sentences using a sentence vectorization model (eg, Gensim model) and speech data using a morphological analysis model to determine the language development level of parts of speech tagged sentences. Based on this, it is used as learning data.
  • a sentence vectorization model eg, Gensim model
  • Table 1 shows an example of utterance data.
  • Table 2 shows sentences in which the speech data of Table 1 is tagged with parts of speech.
  • Table 3 shows a training data set generated using the sentence vector (X_train) of the speech data in Table 1 and the language development level (Y_train) of the part-of-speech tagged sentence in Table 2.
  • the convolutional neural network model 1604 is trained using a learning data set obtained using the sentence vectorization model 1601 and the morphological analysis model 1602, and a language development test model 1605 can be extracted.
  • the extracted language development test model 1605 may output the user's language development level.
  • a language development test model may be performed whenever a user starts using the electronic device 1000, and the electronic device 1000 may transmit a question for interactive interaction and request an answer from the user.
  • the electronic device 1000 includes not only test-type questions for checking the user's language development status, but also information-gathering questions necessary for controlling the electronic device suitable for the user, such as the user's interest or preferred content, and simple interest-inducing. In addition to type questions, any questions that can be used to induce users to speak can be sent out.
  • a question may be input by a manager, and the electronic device 1000 may modulate the manager's voice input or text input into the voice of a character preferred by the user and output the modulated voice. For example, if there is something the parent manager wants to check about the child's institutional life (friendship relationship, accurate confirmation of abuse, etc.), or if they want to check the child's psychological state or a gift they want to receive, the parent manager inputs By modulating a question into the voice of a child's favorite character and outputting it, the child can answer without objection.
  • 17 is a flowchart of a method of performing a development test by an electronic device according to an embodiment of the present disclosure.
  • the electronic device 1000 may obtain an access right and function right consent for each function (module) of the electronic device, if necessary, before performing the development test.
  • step 1701 the electronic device 1000 acquires user information of the electronic device.
  • User information of the electronic device may include information about the user's name, age, temperament, and taste.
  • step 1702 the electronic device 1000 obtains electronic device usage information of the electronic device user.
  • the electronic device usage information of the electronic device user may include a history of using the electronic device by the electronic device user.
  • the electronic device user's content use history, application use history, and shopping history may be included.
  • step 1703 the electronic device 1000 obtains a development test result based on user information and usage information.
  • the electronic device 1000 may determine a question type based on information about the user's age. For example, if the user is a 5-year-old child, they may choose a closed-ended question type. Unlike closed-ended questions that can be answered using questions, open-ended questions that can be answered freely may not be appropriate for users with low intellectual levels or young children.
  • the electronic device 1000 selects a keyword (eg, the name of the user's favorite content or character name) to be used when performing a development test based on the user's temperament, taste information, and electronic device use information, and , the question can be determined.
  • a keyword eg, the name of the user's favorite content or character name
  • the electronic device 1000 selects #Tayo, #Rani, and #Rogi as the keywords of the question and , You can decide on a closed-ended multiple-choice question, “Who do you like more in XX, Tayo, Lani or Rogi?”
  • the electronic device 1000 may select an open-ended question or a multiple-choice question, and keywords and questions are determined based on the age or age of the user.
  • the electronic device 1000 may output the determined question as sound through a speaker or display the determined question in text or graphics through a display.
  • the electronic device 1000 may acquire the user's speech through a microphone, analyze the obtained user speech, and perform a development test. For example, to the question of the electronic device 1000 “Who do you like more, Rani or Rogi in Tayo?”, if the user answers “I like Rani more”, the subject, predicate, and object are appropriately used It is possible to obtain a language development test result according to the user's age by determining whether or not he or she uses comparative degrees appropriately.
  • the electronic device 1000 may transmit the acquired user information and device use information of the user to the development test server 4000 and obtain a development test result from the development test server 4000 .
  • the development test server 4000 may perform a development test based on user information received from the electronic device 1000 and device usage information of the user.
  • step 1704 the electronic device 1000 provides the obtained development test result.
  • the electronic device 1000 generates a graphic or document based on the obtained development test and provides it so that the administrator can check the user's development test result.
  • the development test result may include a comparison result with other users in the peer group.
  • 18 is a diagram for explaining an operation of a method of performing a development test using an electronic device, according to an embodiment of the present disclosure.
  • the test in the case of a test item or question that is difficult to check during normal use or requires additional check because the user does not respond, the test can be performed through content that may be of interest to the user, such as a mini game. there is.
  • the electronic device 1000 lets the user hear the sound of a dog barking 'wow!' and outputs a question, "Hey XX, what is this sound?" can be checked.
  • the electronic device 1000 may show pictures of various fruits to the user and output a question, "Hey XX, which fruit do you like the most?" to check whether the user can express what he or she prefers. .
  • the electronic device 1000 may show pictures of two animals of different sizes to the user, and output a question, "XX, which of the two is taller?" to confirm whether the user can use the comparative degree.
  • the electronic device 1000 may directly present a question related to the user's cognitive/developmental status to the administrator to check the developmental status. For example, the electronic device 1000 displays the question “Can you use 'negative words' such as not-, not-, no-, and can't-?” can be checked.
  • FIG. 19 illustrates a language development test result screen according to an embodiment of the present disclosure.
  • language development test results include a comprehensive developmental analysis result, an interactive interactive question and user's answer for the developmental test, and language development obtained based on the user's answer. Can include inspection results and comments.
  • the first language development test result screen may display which area of development test was performed, how the test result of each area was derived, and recommended responses to the test result manager.
  • the response recommended to the manager may include a phrase recommending a detailed test.
  • the second language development test result screen is an example of an interactive interactive question and a user's answer for the language development test.
  • the language development test according to an embodiment of the present disclosure may obtain natural speech data of the user on a daily basis through daily questions and evaluate language development when the electronic device 1000 starts to be used.
  • the electronic device 100 Since the user may not be able to read text if the user is an infant, the electronic device 100 outputs the question as a voice using a speaker, obtains the user's answer using a microphone, and uses the acquired user speech data as a language development test model. level of language development.
  • the third language development test result screen shows the user's language development test result obtained based on the user's speech data.
  • the language development test may be performed on a daily basis based on user's speech data obtained on a daily basis, and the result may be displayed as a graph.
  • the user's language development test result may include comparison with the average of other children of the same age.
  • 20 is a block diagram of an electronic device according to an embodiment of the present disclosure.
  • an electronic device 1000 may include a processor 1700, a memory 1800, and a communication unit 1900. However, not all illustrated components are essential components. The electronic device 1000 may be implemented with more components than those illustrated, or the electronic device 1000 may be implemented with fewer components.
  • the processor 1700 typically controls overall operations of the electronic device 1000 .
  • the processor 1700 executes programs stored in the memory 1900 to overall control the manager information acquisition module 1100, the user information acquisition module 1300, the user-administrator type determination module, the usage information acquisition module 1700, and the display 1200.
  • the manager information acquisition module 1100 the user information acquisition module 1300
  • the user-administrator type determination module the usage information acquisition module 1700
  • the display 1200 the display 1200.
  • the processor 1700 may include an artificial intelligence (AI) processor for generating a learning network model, but is not limited thereto.
  • AI artificial intelligence
  • the AI processor may be implemented as a separate chip from the processor 1700.
  • the AI processor may be a general-purpose chip.
  • the processor 1700 may obtain user information and manager information of the electronic device, determine a user-manager type based on the acquired information, and determine an artificial intelligence based on the determined user-manager type.
  • Electronic device management conditions obtained from the model may be acquired.
  • An artificial intelligence model according to an embodiment of the present disclosure may be an on-device model independently operated inside an electronic device or a server model operated in a server outside the electronic device.
  • the artificial intelligence model according to an embodiment of the present disclosure may be a combination of an on-device model and a server model.
  • the electronic device 1000 may transmit the obtained electronic device user information and electronic device manager information to the artificial intelligence server 3000 .
  • the processor 1700 may control the electronic device based on the acquired electronic device management condition.
  • the processor 1700 may obtain user information of the electronic device and information about the user's use of the electronic device, and may obtain a development test result based on the obtained user information and usage information.
  • the development test may include a language development test and a non-verbal development test, and may be performed in the electronic device 1000 or in a separate development test server 4000 .
  • the memory 1800 stores various types of information necessary for the processor 1700 to control the electronic device 1000 .
  • user information, manager information, and user-manager type information may be stored in the memory 1800 .
  • the memory 1800 may store user electronic device use information and electronic device control history information of the electronic device 1000 .
  • the memory 1800 may store various data and training data for generating an artificial intelligence model.
  • the memory 1800 may store programs for processing and control of the processor 1700 and may store input/output data.
  • the memory 30 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , an optical disk, and at least one type of storage medium. Programs stored in the memory 1800 can be classified into a plurality of modules according to their functions.
  • the communication unit 1900 may include one or more components enabling communication between the electronic device 1000 and the artificial intelligence server 3000, the electronic device 1000 and the development test server 4000, or the electronic device 1000 and the manager device 2000.
  • the communication unit 1900 may include a short range communication unit (not shown).
  • the short-range wireless communication unit includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit (WLAN) communication unit, a Zigbee communication unit, an infrared (IrDA) It may include a Data Association (Data Association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, etc., but is not limited thereto.
  • BLE Bluetooth Low Energy
  • WLAN Near Field Communication unit
  • Zigbee communication unit Zigbee communication unit
  • IrDA infrared
  • Data Association Data Association
  • WFD Wi-Fi Direct
  • UWB ultra wideband
  • Ant+ communication unit etc., but is not limited thereto.
  • the communication unit 1900 may obtain software for controlling the electronic device 1000 from a server device (not shown).
  • the communication unit 1700 may download the updated firmware from a server device and transmit the updated firmware to the processor 1700 .
  • the communication unit 1900 may download software related to the added function from the server device and deliver it to the processor 1700.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as .
  • a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), distributed as a web plug-in, or via an application store or on two user devices (eg compact disc read only memory (CD-ROM)).
  • It can be distributed (e.g., downloaded or uploaded) online, directly between smartphones.
  • at least a part of a computer program product eg, a downloadable app
  • a device-readable storage medium such as a manufacturer's server, an application store's server, or a relay server's memory. It can be temporarily stored or created temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Educational Technology (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

A method for managing the use of an electronic device according to one embodiment of the present invention may comprise a step of acquiring information about a user of the electronic device and information about an administrator of the electronic device. The method for managing the use of an electronic device according to one embodiment of the present invention may comprise a step of acquiring management conditions for the electronic device, the management conditions being identified from an artificial intelligence model on the basis of the acquired information about the user and information about the administrator. The method for managing the use of an electronic device according to one embodiment of the present invention may comprise a step of controlling the electronic device on the basis of the acquired management criteria.

Description

전자 장치의 사용을 관리하는 방법 및 장치Method and apparatus for managing use of electronic devices
전자 장치의 사용자가 아닌 별도의 관리자가 사용자의 전자 장치를 관리하는 것은, 사용 주체와 관리 주체가 구별되고 사용자가 전자 장치 사용에 대하여 관리자의 감독/제어를 필요로 하는 경우로, 부모가 자녀의 휴대폰을 관리하는 부모 관리(parental control) 시스템이 대표적이다.When a separate administrator, not the user of the electronic device, manages the user's electronic device, the user and the management subject are distinguished and the user needs the administrator's supervision/control over the use of the electronic device. A representative example is a parental control system that manages a mobile phone.
전자 장치의 관리자가 전자 장치의 사용을 제어하는 방법은, 사용자가 부적절한 컨텐츠에 노출되거나 전자 장치를 과도하게 사용하는 것을 방지할 수 있다.A method for controlling the use of the electronic device by the manager of the electronic device may prevent a user from being exposed to inappropriate content or excessively using the electronic device.
단순히 사용자 장치에 대한 설정 권한을 관리자에게 제공하는 경우라면, 관리자가 직접 사용 내역을 확인하고, 판단하고, 판단에 기초하여 제어하고, 일회성 제어 규칙을 설정해야 하므로 사용자 장치를 효과적으로 관리하기 어려울 수 있다. If the setting authority for the user device is simply provided to the administrator, it may be difficult to effectively manage the user device because the administrator must directly check the usage history, make a judgment, control based on the judgment, and set a one-time control rule. .
전자 장치의 관리자가 전자 장치를 매번 직접 제어해야 한다면 전자 장치의 관리자가 전자 장치 사용자와 함께 있지 않은 경우 실시간 모니터링 및 관리가 어려울 수 있다. 또한, 관리자가 전자 장치의 모든 기능 및 설치된 애플리케이션에 대한 정보를 확인하고 직접 관리 조건을 설정해야하는 불편함이 있다.If the manager of the electronic device has to directly control the electronic device every time, real-time monitoring and management may be difficult when the manager of the electronic device is not with the user of the electronic device. In addition, it is inconvenient for an administrator to check information on all functions and installed applications of an electronic device and directly set management conditions.
본 개시의 일 실시예에 따른 전자 장치의 사용을 관리하는 방법은, 전자 장치의 사용자에 대한 정보 및 전자 장치의 관리자에 대한 정보를 획득하는 단계;를 포함할 수 있다. 본 개시의 일 실시예에 따른 전자 장치의 사용을 관리하는 방법은, 획득된 사용자에 대한 정보 및 관리자에 대한 정보에 기초하여 인공지능 모델로부터 식별된, 전자 장치의 관리 조건을 획득하는 단계;를 포함할 수 있다. 본 개시의 일 실시예에 따른 전자 장치의 사용을 관리하는 방법은, 획득된 관리 기준에 기초하여 전자 장치를 제어하는 단계;를 포함할 수 있다.A method for managing use of an electronic device according to an embodiment of the present disclosure may include acquiring information about a user of the electronic device and information about a manager of the electronic device. A method for managing the use of an electronic device according to an embodiment of the present disclosure includes acquiring a management condition of an electronic device identified from an artificial intelligence model based on the obtained information about a user and information about a manager. can include A method for managing use of an electronic device according to an embodiment of the present disclosure may include controlling the electronic device based on the acquired management criterion.
본 개시의 일 실시예에 따른 전자 장치는, 통신부; 적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부; 및 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할수 있다. 본 개시의 일 실시예에 따른 적어도 하나의 프로세서는 적어도 하나의 명령어를 실행함으로써, 전자 장치의 사용자에 대한 정보 및 전자 장치의 관리자에 대한 정보를 획득할 수 있다. 본 개시의 일 실시예에 따른 적어도 하나의 프로세서는 적어도 하나의 명령어를 실행함으로써, 획득된 사용자에 대한 정보 및 관리자에 대한 정보에 기초하여 인공지능 모델로부터 획득된, 전자 장치의 관리 조건을 획득할 수 있다. 본 개시의 일 실시예에 따른 적어도 하나의 프로세서는 적어도 하나의 명령어를 실행함으로써, 획득된 관리 기준에 기초하여 전자 장치를 제어할 수 있다. An electronic device according to an embodiment of the present disclosure includes a communication unit; a storage unit for storing a program including at least one instruction; and at least one processor executing at least one instruction stored in the storage unit. At least one processor according to an embodiment of the present disclosure may obtain information about a user of the electronic device and information about a manager of the electronic device by executing at least one command. At least one processor according to an embodiment of the present disclosure may obtain a management condition of an electronic device obtained from an artificial intelligence model based on the obtained information about a user and information about a manager by executing at least one command. can At least one processor according to an embodiment of the present disclosure may control the electronic device based on the acquired management criterion by executing at least one command.
한편, 본 개시의 일 실시예에 따르면, 전술한 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.Meanwhile, according to one embodiment of the present disclosure, a computer-readable recording medium recording a program for executing the above-described method is provided.
도 1은 본 개시의 일 실시예에 따른, 관리자가 사용자의 전자 장치 사용을 관리하는 애플리케이션의 화면을 나타낸다. 1 illustrates a screen of an application through which an administrator manages a user's use of an electronic device, according to an embodiment of the present disclosure.
도 2는 본 개시의 일 실시예에 따른 전자 장치 관리 시스템의 예시를 나타내는 도면이다. 2 is a diagram illustrating an example of an electronic device management system according to an embodiment of the present disclosure.
도 3은 본 개시의 일 실시예에 따른 전자 장치 관리 시스템에서, 관리 조건을 결정하기 위한 전자 장치와 서버의 구성도를 나타낸다. 3 illustrates a configuration diagram of an electronic device and a server for determining a management condition in an electronic device management system according to an embodiment of the present disclosure.
도 4는 본 개시의 일 실시예에 따른 전자 장치가 장치를 제어하는 방법의 순서도이다. 4 is a flowchart of a method for an electronic device to control a device according to an embodiment of the present disclosure.
도 5는 본 개시의 일 실시예에 따른 전자 장치 관리 시스템에서, 전자 장치와 서버의 동작흐름도이다. 5 is an operation flowchart of an electronic device and a server in an electronic device management system according to an embodiment of the present disclosure.
도 6은 본 개시의 일 실시예에 따른 전자 장치 관리 시스템에서, 제1 전자 장치, 제2 전자 장치와 서버의 동작흐름도이다.6 is an operation flowchart of a first electronic device, a second electronic device, and a server in an electronic device management system according to an embodiment of the present disclosure.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 장치를 제어하는 방법의 순서도이다. 7 is a flowchart of a method for an electronic device to control a device according to an embodiment of the present disclosure.
도 8은 본 개시의 일 실시예에 따른, 전자 장치 사용 시간 추천 모델이다.8 is an electronic device use time recommendation model according to an embodiment of the present disclosure.
도 9는 본 개시의 일 실시예에 따른 사용 시간 추천 모델 학습 결과이다. 9 is a learning result of a use time recommendation model according to an embodiment of the present disclosure.
도 10은 본 개시의 일 실시예에 따른, 전자 장치 사용 컨텍스트에 기초한 전자 장치 제어 방법을 설명하기 위한 도면이다. 10 is a diagram for explaining a method of controlling an electronic device based on an electronic device use context according to an embodiment of the present disclosure.
도 11은 본 개시의 일 실시예에 따른 유해 텍스트 모니터링 모델을 설명하기 위한 도면이다. 11 is a diagram for explaining a harmful text monitoring model according to an embodiment of the present disclosure.
도 12는 본 개시의 일 실시예에 따른, 사용자와 전자 장치 사이의 거리에 기초한 전자 장치 제어 방법을 설명하기 위한 도면이다. 12 is a diagram for explaining a method of controlling an electronic device based on a distance between a user and an electronic device according to an embodiment of the present disclosure.
도 13은 본 개시의 일 실시예에 따른, 사용자의 전자 장치 사용 자세에 기초한 전자 장치 제어 방법을 설명하기 위한 도면이다. 13 is a diagram for explaining a method of controlling an electronic device based on a user's posture for using an electronic device, according to an embodiment of the present disclosure.
도 14는 본 개시의 일 실시예에 따른, 발달 검사 시스템을 설명하기 위한 도면이다. 14 is a diagram for explaining a developmental examination system according to an embodiment of the present disclosure.
도 15는 본 개시의 일 실시예에 따른 발달 검사 시스템에서, 전자 장치와 서버의 구성도를 나타낸다. 15 illustrates a configuration diagram of an electronic device and a server in a developmental examination system according to an embodiment of the present disclosure.
도 16은 본 개시의 일 실시예에 따른, 언어 발달 검사 모델을 나타낸다.16 illustrates a language development test model according to an embodiment of the present disclosure.
도 17은 본 개시의 일 실시예 따른 전자 장치가, 발달 검사를 수행하는 방법의 순서도이다. 17 is a flowchart of a method of performing a development test by an electronic device according to an embodiment of the present disclosure.
도 18은 본 개시의 일 실시예에 따른, 전자 장치를 이용하여 발달 검사를 수행하는 방법의 동작을 설명하기 위한 도면이다.18 is a diagram for explaining an operation of a method of performing a development test using an electronic device, according to an embodiment of the present disclosure.
도 19는 본 개시의 일 실시예에 따른, 언어 발달 검사 결과 화면을 나타낸다. 19 illustrates a language development test result screen according to an embodiment of the present disclosure.
도 20은 본 개시의 일 실시예에 따른 전자 장치의 블록구성도이다.20 is a block diagram of an electronic device according to an embodiment of the present disclosure.
이하, 본 개시의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.
실시 예를 설명함에 있어서 본 개시가 속하는 기술 분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.In describing the embodiments, descriptions of technical contents that are well known in the technical field to which the present disclosure belongs and are not directly related to the present disclosure will be omitted. This is to more clearly convey the gist of the present disclosure without obscuring it by omitting unnecessary description.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.For the same reason, in the accompanying drawings, some components are exaggerated, omitted, or schematically illustrated. Also, the size of each component does not entirely reflect the actual size. In each figure, the same reference number is assigned to the same or corresponding component.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present disclosure, and methods for achieving them, will become clear with reference to embodiments described below in detail in conjunction with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below and may be implemented in various different forms, but only the present embodiments make the present disclosure complete, and those of ordinary skill in the art to which the present disclosure belongs It is provided to fully inform the scope of the present disclosure, which is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.At this time, it will be understood that each block of the process flow chart diagrams and combinations of the flow chart diagrams can be performed by computer program instructions. These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that the instructions executed by the processor of the computer or other programmable data processing equipment are described in the flowchart block(s). It creates means to perform functions. These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular way, such that the computer usable or computer readable memory The instructions stored in are also capable of producing an article of manufacture containing instruction means that perform the functions described in the flowchart block(s). The computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. Instructions for performing processing equipment may also provide steps for performing the functions described in the flowchart block(s).
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Additionally, each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is possible for the functions mentioned in the blocks to occur out of order. For example, two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in reverse order depending on their function.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 실시예에서 ‘~부’는 하나 이상의 프로세서를 포함할 수 있다.At this time, the term '~unit' used in this embodiment means software or a hardware component such as FPGA or ASIC, and '~unit' performs certain roles. However, '~ part' is not limited to software or hardware. '~bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, '~unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and '~units' may be combined into smaller numbers of components and '~units' or further separated into additional components and '~units'. In addition, components and '~units' may be implemented to play one or more CPUs in a device or a secure multimedia card. Also, in the embodiment, '~ unit' may include one or more processors.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 “~부”, “~모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a certain part "includes" a certain component throughout the present disclosure, it means that it may further include other components, not excluding other components unless otherwise stated. In addition, terms such as “~unit” and “~module” described in this specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 “직접적으로 연결”되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 “전기적으로 연결”되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to be “connected” to another part, this includes not only the case where it is “directly connected” but also the case where it is “electrically connected” with another element in between. . In addition, when a part "includes" a certain component, it means that it may further include other components, not excluding other components unless otherwise stated.
본 명세서에서 사용된 표현 “~하도록 구성된(또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한(suitable for)”, “~하는 능력을 가지는(having the capacity to)”, “~하도록 설계된(designed to)”, “~하도록 변경된(adapted to)”, “~하도록 만들어진(made to)”, 또는 “~를 할 수 있는(capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성된(또는 설정된)”은 하드웨어적으로 “특별히 설계된(specifically designed to)” 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 시스템”이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.The expression “configured to (or configured to)” used in this specification means, depending on the situation, for example, “suitable for”, “having the capacity to” ”, “designed to”, “adapted to”, “made to”, or “capable of”. The term “configured (or set) to” may not necessarily mean only “specifically designed to” hardware. Instead, in some contexts, the expression "a system configured to" may mean that the system "is capable of" in conjunction with other devices or components. For example, the phrase "a processor configured (or configured) to perform A, B, and C" can be used by a dedicated processor (eg, embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.
도 1은 본 개시의 일 실시예에 따른, 관리자가 사용자의 전자 장치 사용을 관리하는 애플리케이션의 화면을 나타낸다. 1 illustrates a screen of an application through which an administrator manages a user's use of an electronic device, according to an embodiment of the present disclosure.
관리자가 사용자의 전자 장치를 관리하는 것은, 사용 주체와 관리 주체가 구별되고 사용자가 전자 장치 사용에 대하여 관리자의 감독/제어를 필요로 하는 경우로, 부모가 자녀의 휴대폰을 관리하는 부모 관리(parental control) 시스템이 대표적이다. 관리자가 사용자의 전자 장치를 관리하는 방법은, 전자 장치를 관리하기 위한 애플리케이션을 설치하여 관리하는 방법, OS의 시스템 레벨에서 직접 전자 장치를 관리하는 방법, 또는 브라우저를 통해 전자 장치를 관리하는 방법을 포함할 수 있으나 이에 제한되는 것은 아니다. The administrator manages the user's electronic device when the user and management subject are distinguished and the user needs the manager's supervision/control over the use of the electronic device. control) system. The method for the administrator to manage the user's electronic device includes a method of installing and managing an application for managing the electronic device, a method of directly managing the electronic device at the system level of the OS, or a method of managing the electronic device through a browser. It may include, but is not limited to.
일 실시예에 따르면, 전자 장치는 사용자에 의해 사용되는 장치를 의미할 수 있다. 예를 들어, 전자 장치는 사용자 단말(UE, user equipment), 원격 단말(remote terminal), 무선 단말(wireless terminal), 또는 사용자 장치(user device)를 의미할 수 있다. 전자 장치는, TV, 휴대폰, 태블릿, 및 랩톱 컴퓨터를 포함할 수 있으나, 이에 제한되는 것은 아니다. According to an embodiment, an electronic device may refer to a device used by a user. For example, an electronic device may mean a user equipment (UE), a remote terminal, a wireless terminal, or a user device. Electronic devices may include, but are not limited to, TVs, mobile phones, tablets, and laptop computers.
사용자는, 전자 장치의 사용 주체를 의미한다. 관리자는, 사용자의 전자 장치 사용을 모니터링하고 필요한 경우 사용자의 전자 장치 사용을 관리 및 제어하는 주체를 의미한다. 관리자는 대표적으로 부모가 포함되지만, 이에 제한되는 것은 아니며 전자장치 사용자의 보호자(guardian)가 될 수 있는 모든 주체를 포함한다. A user refers to a user of an electronic device. An administrator means a subject who monitors the use of a user's electronic device and, if necessary, manages and controls the use of the user's electronic device. Administrators typically include parents, but are not limited thereto, and include all subjects who can become guardians of electronic device users.
도 1을 참조하면, 부모는 관리자로서 자녀의 전자 장치 사용을 관리할 수 있다. Referring to FIG. 1 , parents, as administrators, may manage their children's use of electronic devices.
본 개시의 일 실시예에 따르면, 부모는 PIN(personal Identification Number), 또는 생체 정보를 이용하는 인증 방법을 통해 전자 장치를 잠그거나 해제하여 자녀의 전자 장치 사용을 관리할 수 있다. 생체 인식 인증 방법은, 지문 인식, 얼굴 인식, 또는 홍채 인식을 통한 사용자 인증 방법을 포함할 수 있다. According to an embodiment of the present disclosure, a parent may manage use of a child's electronic device by locking or unlocking the electronic device through a personal identification number (PIN) or an authentication method using biometric information. The biometric authentication method may include a user authentication method through fingerprint recognition, face recognition, or iris recognition.
본 개시의 일 실시예에 따르면, 부모는 자녀의 전자 장치에 애플리케이션 설치 여부를 관리하고, 설치된 애플리케이션 각각의 사용 여부를 관리할 수 있다. 다른 실시예에 따르면, 부모는 자녀의 전자 장치 이용 시간 또는 전자 장치에 설치된 각각의 애플리케이션 이용 시간을 관리할 수 있다. 또는, 부모는 자녀의 전자 장치 사용 내역을 확인 및 모니터링 할 수 있다. 예를 들어, 자녀가 사용이 제한된 애플리케이션을 설치 또는 실행하거나, 접근이 제한된 웹사이트에 접속을 시도하는 경우 전자 장치는 부모에게 알림을 제공할 수 있고, 알림을 확인한 부모는 애플리케이션의 실행 또는 웹사이트 접근 허용 여부를 결정할 수 있다. 또는, 부모는 전자 장치의 현재 위치를 식별하여 자녀의 현재 위치를 확인하거나, 자녀가 위치하는 장소(예를 들어, 공공기관 또는 어린이집이나 유치원 등의 보육시설)의 실시간 촬영 정보에 접근하여 자녀의 현재 상태를 확인할 수 있다. 이와 같은 경우, 해당 장소의 촬영 정보에 접근하기 위한 인증 또는 등록이 필요할 수 있다.본 개시의 일 실시예에 따르면, 부모는 자녀의 전자 장치 사용을 관리하기 위해 자녀의 전자 장치를 직접 제어하거나, 별도의 전자 장치를 이용하여 자녀의 전자 장치를 관리할 수 있다. 부모가 별도의 전자 장치(관리자 장치)를 이용하여 자녀의 전자 장치를 관리하는 경우, 관리자 장치용 애플리케이션을 관리자 장치에 설치하여, 사용자 장치에 설치된 애플리케이션을 제어함으로써, 자녀의 전자 장치를 관리할 수 있다. According to an embodiment of the present disclosure, parents may manage whether applications are installed on their children's electronic devices, and manage whether each installed application is used. According to another embodiment, a parent may manage the use time of a child's electronic device or the use time of each application installed on the electronic device. Alternatively, parents can check and monitor their children's electronic device use history. For example, when a child installs or runs a restricted application or attempts access to a restricted website, the electronic device may provide a notification to the parent, and the parent who checks the notification can execute the application or visit the website. You can decide whether to allow access or not. Alternatively, the parent can identify the current location of the electronic device to check the current location of the child, or access real-time recording information of the place where the child is located (eg, a public institution or a child care facility such as a daycare center or kindergarten) to determine the location of the child. You can check the current status. In this case, authentication or registration may be required to access photographic information of the corresponding place. According to an embodiment of the present disclosure, parents may directly control their children's electronic devices to manage their children's use of electronic devices, or A separate electronic device may be used to manage a child's electronic device. When a parent manages a child's electronic device using a separate electronic device (manager device), the child's electronic device can be managed by installing an application for the administrator device on the administrator device and controlling the application installed on the user device. there is.
전자 장치의 관리자가 전자 장치의 사용을 제어하는 방법은, 사용자가 부적절한 컨텐츠에 노출되거나 전자 장치를 과도하게 사용하는 것을 방지할 수 있다. 그러나, 단순히 사용자 장치에 대한 설정 권한을 관리자에게 제공하는 경우라면, 관리자가 직접 사용 내역을 확인하고, 판단하고, 판단에 기초하여 제어하고, 일회성 제어 규칙을 설정해야 하므로 사용자 장치를 효과적으로 관리하기 어려울 수 있다. A method for controlling the use of the electronic device by the manager of the electronic device may prevent a user from being exposed to inappropriate content or excessively using the electronic device. However, if the setting authority for the user device is simply provided to the administrator, it is difficult to effectively manage the user device because the administrator must directly check the usage details, determine, control based on the judgment, and set one-time control rules. can
전자 장치의 관리자가 전자 장치를 매번 직접 제어해야 한다면 전자 장치의 관리자가 전자 장치 사용자와 함께 있지 않은 경우 실시간 모니터링 및 관리가 어려울 수 있다. 또한, 관리자가 전자 장치의 모든 기능 및 설치된 애플리케이션에 대한 정보를 확인하고 직접 관리 조건을 설정해야하는 불편함이 있다.If the manager of the electronic device has to directly control the electronic device every time, real-time monitoring and management may be difficult when the manager of the electronic device is not with the user of the electronic device. In addition, it is inconvenient for an administrator to check information on all functions and installed applications of an electronic device and directly set management conditions.
예를 들어, 부모인 관리자가 출근한 동안 아이인 사용자가 사용이 제한된 애플리케이션의 사용을 요청하는 경우, 전자 장치는 부모의 휴대폰으로 해당 애플리케이션의 사용 허락을 요청하는 메시지를 전달할 수 있다. 그러나, 부모가 중요한 다른 업무를 수행 중이라면 해당 메시지를 바로 확인할 수 없거나 해당 애플리케이션을 사용하도록 바로 설정할 수 없다. For example, when a user, a child, requests use of a restricted application while a parent manager is at work, the electronic device may transmit a message requesting permission to use the application to the parent's mobile phone. However, if the parent is busy with other important tasks, the message cannot be immediately viewed or the application cannot be set to be used immediately.
또한, 사용 중 일방적으로 전자 장치의 사용이 중단되거나, 애플리케이션 사용이 중단되거나, 컨텐츠 제공이 중단되면 사용자의 전자 장치 사용에 대한 욕구가 오히려 강화될 수 있으며, 부모 관리 시스템에 대한 부정적인 사용자 경험(Ux, user experience)이 형성될 수 있다. In addition, if the use of the electronic device is stopped unilaterally during use, the use of the application is stopped, or the provision of content is stopped, the user's desire to use the electronic device may rather be strengthened, and the negative user experience (Ux) for the parental management system , user experience) can be formed.
또한, 이와 같은 일방적이고 고정적인 관리 방식은 전자 장치를 이용하는 사용자의 자기 조절 능력을 오히려 약화시킬 수 있다. 자기 조절 능력은 꾸준한 연습과 훈련을 통해 강화될 수 있는데, 관리자가 정해놓은 고정된 조건에 따라 사용하도록 관리되는 경우 훈련의 기회가 원천적으로 차단되기 때문이다. In addition, such a unilateral and fixed management method may rather weaken a user's ability to self-regulate using an electronic device. Self-regulation ability can be strengthened through constant practice and training, but if it is managed to be used according to the fixed conditions set by the manager, the opportunity for training is fundamentally blocked.
도 2는 본 개시의 일 실시예에 따른 전자 장치 관리 시스템의 예시를 나타내는 도면이다. 도 2를 참조하면, 본 개시의 일 실시예에 따른 전자 장치 관리 시스템은 사용자 장치 1000, 관리자 장치 2000, 및 전자 장치 관리 조건을 결정하는 인공지능(AI, artificial intelligence) 모델 3000을 포함할 수 있다. 이 때, 인공지능 모델 3000은 인공지능 교육 모델로, 전자 장치 1000 사용자 1500의 전자 장치 1000 사용을 교육하기 위한 모델일 수 있다.2 is a diagram illustrating an example of an electronic device management system according to an embodiment of the present disclosure. Referring to FIG. 2 , an electronic device management system according to an embodiment of the present disclosure may include a user device 1000, a manager device 2000, and an artificial intelligence (AI) model 3000 that determines electronic device management conditions. . In this case, the artificial intelligence model 3000 is an artificial intelligence training model, and may be a model for educating users 1500 of the electronic device 1000 on the use of the electronic device 1000.
전술한 바와 같이, 관리자 2500가 사용자 장치 1000를 매번 직접 제어해야 한다면 관리자 2500가 사용자 1500와 함께 있지 않은 경우 실시간 모니터링 및 관리가 어려울 수 있다. 본 개시의 일 실시예에 따르면 관리자 2500가 사용자 1500의 전자 장치 1000 사용을 관리 및 감독할 때 어떤 조건을 가지고, 어떤 방식으로 중재하는지를 인공지능 모델 3000을 통해 분석, 학습하여 모방하게 함으로서, 관리자 2500가 관리 조건을 일일이 직접 판단해서 설정하고, 관리 감독, 통제하는 부담을 경감시킬 수 있다. As described above, if the manager 2500 has to directly control the user device 1000 every time, real-time monitoring and management may be difficult when the manager 2500 is not with the user 1500. According to an embodiment of the present disclosure, when the administrator 2500 manages and supervises the use of the electronic device 1000 by the user 1500, the artificial intelligence model 3000 analyzes, learns, and imitates under what conditions and in what way, the administrator 2500 The management conditions can be judged and set individually, and the burden of management, supervision, and control can be reduced.
이와 같이, 인공지능 모델 3000을 이용하여 관리 조건을 결정하면, 관리자 2500가 사용자 1500와 함께 있지 않거나 주의를 기울이고 있지 않는 경우에도 인공지능이 실시간으로 사용자 1500의 사용 내역 및 사용 상황을 감독할 수 있으며, 부적절한 사용으로 인한 문제가 발생하기 전에 이를 예방하거나 발생 즉시 사용을 중재할 수 있다. In this way, if the management conditions are determined using the artificial intelligence model 3000, even if the manager 2500 is not with or paying attention to the user 1500, the artificial intelligence can supervise the user 1500's usage history and usage situation in real time, In other words, problems caused by inappropriate use can be prevented before they occur, or use can be intervened as soon as they occur.
또한, 본 개시의 일 실시예에 따른 전자 장치 관리 시스템을 이용하는 경우, 단순히 관리자 2500에게 전자 장치 사용 시간 제한 및 권한 설정을 가능하도록 하는 방법보다, 사용자 1500가 스스로 전자 장치 사용에 대한 자기 조절 능력을 향상시킬 수 있도록 하는 교육학적 원리를 적용할 수 있다. 더불어, 모든 사용자 1500에게 동일한 관리 원칙을 적용하지 않고, 각 사용자-관리자 조합에 따라 인공지능 모델 3000을 생성하고, 생성된 인공지능 모델 3000을 학습을 통해 고도화할 수 있다. 인공지능 모델 3000은 사용자 고유의 기질, 성향, 행동 패턴, 취향, 및 관심 키워드 등의 사용자 정보 및 양육 환경, 양육 가치관, 및 갈등에 대한 중재 방식 등의 관리자 정보에 기초하여 초기 설정을 수행하고, 이후 사용 내역, 사용 종료 시점 분석 및 사용자 인터랙션 분석 등을 토대로 학습할 수 있다. In addition, when using the electronic device management system according to an embodiment of the present disclosure, the user 1500 can self-regulate the use of the electronic device rather than simply allowing the manager 2500 to limit the use of the electronic device and set authority. Pedagogical principles can be applied to improve In addition, instead of applying the same management principle to all users 1500, an artificial intelligence model 3000 can be created according to each user-manager combination, and the created artificial intelligence model 3000 can be advanced through learning. The artificial intelligence model 3000 performs initial settings based on user information such as the user's own temperament, disposition, behavior pattern, taste, and interest keywords, and administrator information such as the parenting environment, parenting values, and conflict mediation method, Afterwards, it can be learned based on usage history, end-of-use analysis, and user interaction analysis.
이와 같은 인공지능 모델 3000을 이용하여 사용자 장치 1000 관리 조건을 결정함으로써, 단순한 장치 제어가 아니라 교육학적 원리를 바탕으로 한 올바른 전자 장치 1000 사용법을 교육시키고, 전자 장치 1000 사용 중재 방법을 제공할 수 있다. 교육학적 원리란, 자기 조절 능력이 미숙한 사용자 1500에게 올바른 전자 장치 1000 사용법을 교육하고 전자 장치 1000 사용을 중재하기 위한 방법론의 총칭으로, 소아정신의학 이론, 심리학 이론 등을 교육학 이론 외 교육효과를 기대할 수 있는 중재 방법 일체를 포함한다.By determining the management conditions of the user device 1000 using the artificial intelligence model 3000, it is possible to educate the user how to use the electronic device 1000 based on pedagogical principles rather than simple device control, and to provide an intervention method for using the electronic device 1000. . Pedagogical principle is a general term for methodologies for educating 1500 users with inexperienced self-regulation skills on how to use the electronic device 1000 correctly and mediating the use of the electronic device 1000. Include all possible intervention methods.
본 개시의 일 실시예에 따른 인공지능 모델 3000은 전자 장치 1000의 관리 조건을 결정하기 위한 관리자 정보 및 사용자 정보를 획득하고, 획득한 관리자 정보 및 사용자 정보에 기초하여 전자 장치 관리 조건을 결정할 수 있다. The artificial intelligence model 3000 according to an embodiment of the present disclosure may obtain manager information and user information for determining management conditions of the electronic device 1000, and determine electronic device management conditions based on the obtained manager information and user information. .
본 개시의 일 실시예에 따르면, 관리자 2500는, 전자 장치 1000가 아닌 별도의 관리자 장치 2000에 관리자 정보 및 사용자 정보를 입력하고, 인공지능 모델 3000은 관리자 장치 2000로부터 관리자 정보 및 사용자 정보를 획득할 수 있다.According to an embodiment of the present disclosure, the manager 2500 inputs manager information and user information to a separate manager device 2000 instead of the electronic device 1000, and the artificial intelligence model 3000 obtains the manager information and user information from the manager device 2000. can
본 개시의 일 실시예에 따르면, 복수의 관리자가 존재하는 경우 복수의 관리자 각각은 관리의 우선순위를 가지거나 서로 다른 제어 권한을 가질 수 있다. 본 개시의 일 실시예에 따르면, 관리자는 전자 장치 1000에 사용자 정보를 입력하고, 관리자 장치 2000에 관리자 정보를 입력할 수 있다. 이와 같은 경우, 인공지능 모델 3000은 전자 장치 1000로부터 사용자 정보를 획득하고, 관리자 장치 2000로부터 관리자 정보를 획득할 수 있다.According to an embodiment of the present disclosure, when a plurality of managers exist, each of the plurality of managers may have management priority or have different control rights. According to an embodiment of the present disclosure, a manager may input user information into the electronic device 1000 and manager information into the manager device 2000 . In this case, the artificial intelligence model 3000 may acquire user information from the electronic device 1000 and manager information from the manager device 2000 .
본 개시의 일 실시예에 따르면, 관리자 장치 2000는 스마트 워치 또는 AR(augmented reality) 글라스 등 사용자의 몸에 착용하는 웨어러블(wearable) 장치일 수 있다. 또는, 관리자 장치 2000는 모바일 장치 및 웨어러블 장치를 모두 포함하여, 모바일 장치에서 사용자 장치 1000를 모니터링 및 제어하고 웨어러블 장치로 모니터링 결과 또는 제어 결과를 전송하거나, 관리자가 웨어러블 장치를 통해 입력한 모니터링 설정 또는 제어 설정을 모바일 장치로 전송하도록 동작할 수 있다.According to an embodiment of the present disclosure, the manager device 2000 may be a wearable device worn on a user's body, such as a smart watch or augmented reality (AR) glasses. Alternatively, the manager device 2000 includes both a mobile device and a wearable device, and the mobile device monitors and controls the user device 1000 and transmits a monitoring result or control result to the wearable device, or monitors settings input by an administrator through the wearable device, or Operate to transmit control settings to the mobile device.
본 개시의 일 실시예에 따르면, 관리자 2500는 별도의 관리자 장치 2000 없이, 바로 전자 장치 1000에 관리자 정보 및 사용자 정보를 입력하고, 인공지능 모델 3000은 전자 장치 1000로부터 관리자 정보 및 사용자 정보를 획득할 수 있다. 인공지능 모델 3000이 전자 장치 1000로부터 관리자 정보 및 사용자 정보를 획득하는 경우, 관리자 장치 2000는 장치 관리 시스템에서 생략될 수 있다. According to an embodiment of the present disclosure, the manager 2500 directly inputs manager information and user information to the electronic device 1000 without a separate manager device 2000, and the artificial intelligence model 3000 obtains the manager information and user information from the electronic device 1000. can When the artificial intelligence model 3000 obtains manager information and user information from the electronic device 1000, the manager device 2000 may be omitted from the device management system.
본 개시의 일 실시예에 따른 전자 장치 관리 시스템은 인공지능 모델 3000을 이용하여 관리자 2500가 사용자 1500의 전자 장치 1000 사용을 관리/감독할 때, 어떠한 조건을 가지고, 어떠한 방식으로 중재하는지 여부를 분석하고, 학습하여 관리자가 결정하는 관리 조건을 학습하도록 함으로써, 관리자가 관리 조건 또는 방식을 직접 판단하고 결정하는 부담을 경감시킬 수 있다. An electronic device management system according to an embodiment of the present disclosure analyzes whether a manager 2500 manages/supervises user 1500's use of an electronic device 1000 under what conditions and in what manner mediation is performed using an artificial intelligence model 3000. By learning and learning the management conditions determined by the manager, the burden of the manager directly determining and determining the management conditions or methods can be reduced.
본 개시의 일 실시예에 따른 전자 장치 관리 시스템은 인공지능 모델 3000을 이용하여 관리자가 사용자와 다른 공간에 있거나 실시간으로 제어하지 못하는 경우에도, 실시간으로 사용자의 전자 장치 사용 상황을 감독하고, 잘못된 사용으로 인한 문제가 발생하기 전에 예방하거나 문제 발생 즉시 개입할 수 있다.An electronic device management system according to an embodiment of the present disclosure uses an artificial intelligence model 3000 to supervise a user's use of an electronic device in real time even when the administrator is in a different space from the user or cannot control it in real time, and misuse of the electronic device. You can prevent problems before they occur or intervene as soon as they occur.
본 개시의 일 실시예에 따른 전자 장치 관리 시스템은 인공지능 모델 3000을 이용하여 강압적이고 일방적인 사용 중단이 아닌, 사용 중단을 유도함으로써 사용자의 자기 조절 능력을 향상시킬 수 있다. 본 개시의 일 실시예에 따른 전자 장치 관리 시스템은 사용자의 전자 장치 1000 사용 중단을 유도하기 위하여, 긍정적 사용자 경험(UX, user experience)을 위한 스토리텔링 기법, 관리자의 실시간 원격 인터랙션(예를 들어, 사용자와 대화 시도) 방법 등을 사용할 수 있으며, 사용 중단을 유도하는 과정에서 관리자가 허용한 범위 내에서 사용자의 사용 시간, 또는 사용 조건을 사용자와 새로 협의하여 융통성있게 변경할 수 있다.The electronic device management system according to an embodiment of the present disclosure may improve a user's self-regulation ability by inducing use suspension, rather than coercive and unilateral use suspension, using the artificial intelligence model 3000. In order to induce a user to stop using the electronic device 1000, the electronic device management system according to an embodiment of the present disclosure provides a storytelling technique for a positive user experience (UX), a real-time remote interaction of an administrator (eg, In the process of inducing suspension of use, the user's usage time or usage conditions can be flexibly changed by negotiating with the user within the scope permitted by the administrator.
본 개시의 일 실시예에 따른 전자 장치 관리 시스템은 인공지능 모델 3000을 이용하여, 모든 사용자에게 동일한 조건을 적용하지 않고 각 관리자-사용자 조합에 기초하여 인공지능 모델 3000을 생성하고, 학습시킬 수 있다. 인공지능 모델 3000은 전자 장치 사용자 1500의 전자 장치 1000 사용 습관을 교육하는, 전자 장치 사용 습관 교육 모델을 포함할 수 있다. An electronic device management system according to an embodiment of the present disclosure may generate and train an artificial intelligence model 3000 based on each manager-user combination without applying the same condition to all users using the artificial intelligence model 3000. . The artificial intelligence model 3000 may include an electronic device usage habit training model that trains the electronic device 1000 usage habits of 1500 electronic device users.
본 개시의 일 실시예에 따른 전자 장치 관리 시스템은 사용자 고유의 기질과 성향, 행동 패턴, 취향, 관심 키워드 등의 사용자 정보 및 관리자의 양육 환경, 양육 가치관, 중재 방식 등의 관리자 정보에 기초하여 전자 장치 사용 습관 교육 모델의 초기 설정을 완료하고, 이후 사용 이력, 사용 종료 시점, 사용자와 전자 장치의 인터랙션 정보에 기초하여 전자 장치 사용 습관 교육 모델을 학습시킬 수 있다. An electronic device management system according to an embodiment of the present disclosure is based on user information such as a user's own temperament and inclination, behavior pattern, taste, and interest keywords, and manager information such as a manager's parenting environment, parenting values, and intervention method. After the initial setting of the device usage habit training model is completed, the electronic device usage habit training model may be trained based on the usage history, use end point, and interaction information between the user and the electronic device.
본 개시의 일 실시예에 따르면 전자 장치 사용 습관 교육 모델은 사용자 정보 및 관리자 정보 외에도 사용자의 전자 장치 1000 사용 환경(예를 들어, 주 사용 장소 또는 주 사용 시간대 등), 또는 전자 장치 1000의 특성(예를 들어, 종류 또는 성능 등) 등의 환경 정보를 추가로 이용하여 초기 설정될 수 있다.According to an embodiment of the present disclosure, the electronic device usage habit training model includes not only user information and manager information, but also the user's electronic device 1000 usage environment (eg, main use place or main use time zone) or characteristics of the electronic device 1000 ( For example, it may be initially set by additionally using environment information such as type or performance).
본 개시의 일 실시예에 따른 전자 장치 관리 시스템은 사용자 고유의 기질과 성향, 행동 패턴, 취향, 관심 키워드 등의 사용자 정보에 기초하여, 사용자 선호도가 높은 GUI를 선택하여 반영할 수 있다. 예를 들어, 사용자가 미취학 남아이고 사용 허용 시간이 종료된 경우 전자장치는 사용자와 동일한 연령과 성별, 기질 및 성향을 가진 사용자들의 데이터를 참조하여, 가장 선호도가 높은 캐릭터를 선택하고 선택된 캐릭터가 전자 장치 사용 종료를 유도하는 음성을 출력함으로써 사용자가 전자 장치 사용을 종료하도록 할 수 있다. The electronic device management system according to an embodiment of the present disclosure may select and reflect a GUI with a high user preference based on user information such as a user's own temperament and inclination, behavior pattern, taste, and interest keyword. For example, if the user is a preschool boy and the permitted use time has expired, the electronic device selects the most preferred character by referring to data of users of the same age, sex, temperament, and disposition as the user, and selects the character electronically. The user may end use of the electronic device by outputting a voice prompting the user to end use of the device.
복수의 관리자가 존재하는 경우, 동일한 사용자라 하더라도 복수의 관리자 각각의 사용자와의 관계 또는 복수의 관리자 각각의 성향에 따른 사용자-관리자 유형이 상이할 수 있으므로 사용자 장치 1000 관리를 위한 인공지능 모델 3000은 복수의 관리자 각각에 다르게 적용될 수 있다. When a plurality of administrators exist, even for the same user, the user-manager type may be different according to the relationship between the plurality of managers and the propensity of each of the plurality of managers, so the artificial intelligence model 3000 for managing the user device 1000 is It may be applied differently to each of a plurality of managers.
또한, 일 실시예에 따른 전자 장치 관리 시스템은 관리자의 성향을 수집 및 분석하여, 관리자의 양육 태도를 수정하거나 사용자의 전자 기기 사용 제어를 적절한 기준에 기초하여 수행할 수 있도록 가이드 할 수 있다. 예를 들어, 바움린드 양육 태도 검사 결과 관리자가 무관심형, 또는 방임형 부모인 경우, 양육 태도 검사 결과에 기초하여 민주적 부모가 될 수 있도록 관리자를 가이드할 수 있다.In addition, the electronic device management system according to an embodiment may collect and analyze a manager's inclination, and may guide the manager to modify the manager's child-rearing attitude or control the user's use of the electronic device based on an appropriate criterion. For example, if a manager is an indifferent or neglectful parent as a result of the Baumlind parenting attitude test, the manager may be guided to become a democratic parent based on the result of the parenting attitude test.
도 3은 본 개시의 일 실시예에 따른 전자 장치 관리 시스템에서, 관리 조건을 결정하기 위한 전자 장치와 서버의 구성도를 나타낸다. 3 illustrates a configuration diagram of an electronic device and a server for determining a management condition in an electronic device management system according to an embodiment of the present disclosure.
본 개시의 일 실시예에 따르면, 관리자가 복수인 경우 각각의 관리자가 사용자의 전자 장치 1000를 관리할 수 있으며, 복수의 관리자 장치를 이용하여 사용자의 전자 장치 1000를 관리할 수 있다. 또한, 전자 장치 1000의 사용자가 복수인 경우 전자 장치 1000는 복수의 사용자 각각에 대한 제어 조건 및 사용 내역을 별도로 관리할 수 있다. 전자 장치 1000는 적어도 하나의 관리자 각각의 계정(또는 프로필) 및 적어도 하나의 사용자 각각의 계정(또는 프로필)을 생성하고, 각 계정(또는 프로필)과 관리자 정보 및 사용자 정보를 연동하여 관리할 수 있다. According to an embodiment of the present disclosure, when there are a plurality of managers, each manager can manage the user's electronic device 1000, and the user's electronic device 1000 can be managed using a plurality of manager devices. Also, when the electronic device 1000 has a plurality of users, the electronic device 1000 may separately manage control conditions and use details for each of the plurality of users. The electronic device 1000 may create at least one account (or profile) of each manager and an account (or profile) of each of at least one user, and manage the account (or profile) by linking the manager information and user information. .
도 3을 참조하면, 전자 장치 1000는 관리자 정보 획득 모듈 1100, 사용자 정보 획득 모듈 1300, 및 사용자-관리자 유형 결정 모듈 1500을 포함할 수 있다. 서버 3000는 인공지능 서버일 수 있으며, 관리 조건 결정 모듈 3100, 및 데이터베이스 3300를 포함할 수 있다. Referring to FIG. 3 , the electronic device 1000 may include a manager information acquisition module 1100, a user information acquisition module 1300, and a user-administrator type determination module 1500. The server 3000 may be an artificial intelligence server and may include a management condition determination module 3100 and a database 3300.
관리자 정보 획득 모듈 1100은, 관리자 기본 정보 획득 모듈 1101, 중재 방식 획득 모듈 1103, 및 양육 태도 정보 획득 모듈 1105을 포함할 수 있다. The manager information acquisition module 1100 may include a manager basic information acquisition module 1101, an intervention method acquisition module 1103, and a parenting attitude information acquisition module 1105.
관리자 기본 정보는, 관리자를 식별하기 위한 기본 정보로, 예를 들어 관리자의 이름, 생년월일(DOB, date of birth), 성별, 사용자와의 관계, 및 시스템 이용에 필요한 기본 정보를 포함할 수 있다. 또한, 관리자 기본 정보는 중재 방식 또는 양육 태도를 추정하기 위한 정보로 활용될 수 있다. 예를 들어, 관리자의 연령이나 성별, 또는 사용자와의 관계에 따라 중재 방식 또는 양육 태도가 상이할 수 있으므로, 전자 장치 1000는 동일 연령대, 동일 성별, 또는 사용자의 관계가 동일한 다른 관리자들의 중재 방식 또는 양육 태도에 대한 통계 정보를 반영하여 관리자의 중재 방식 또는 양육 태도를 추정할 수 있다.The manager basic information is basic information for identifying the manager, and may include, for example, the manager's name, date of birth (DOB), gender, relationship with a user, and basic information required for system use. In addition, the manager's basic information can be used as information for estimating the intervention method or parenting attitude. For example, since a manager's mediation method or parenting attitude may be different depending on the age or gender of the manager, or the relationship with the user, the electronic device 1000 may be affected by the mediation method or By reflecting statistical information on parenting attitudes, the moderation method or parenting attitude of managers can be estimated.
관리자 기본 정보는, 관리자의 생체 정보(예를 들어, 얼굴, 지문 또는 홍채 등)를 포함할 수 있으며, 전자 장치 1000는 전자 장치 1000에 구비된 센서를 이용하여 관리자를 식별할 수 있다. 예를 들어, 전자 장치 1000는 카메라를 이용하여 얼굴을 촬영하고 촬영된 이미지에 포함된 얼굴과 관리자 기본 정보에 포함된 얼굴을 비교하여 등록된 관리자가 식별된 경우, 식별된 관리자의 계정에 관련된 정보를 디스플레이 할 수 있다.중재 방식 정보는, 관리자가 사용자와 대립되는 갈등상황에서 어떤 방식으로 중재하는지에 대한 정보 또는 사용자가 전자 장치 사용 중 문제가 발생한 경우 관리자가 이를 해결하는 방식에 대한 정보를 의미한다. The manager basic information may include the manager's biometric information (eg, face, fingerprint, or iris), and the electronic device 1000 may identify the manager using a sensor provided in the electronic device 1000 . For example, when the electronic device 1000 photographs a face using a camera and compares a face included in the photographed image with a face included in manager basic information to identify a registered manager, information related to the account of the identified manager. The mediation method information means information on how the manager mediates in a conflict situation in which the user is in conflict with the user, or information on how the administrator solves the problem when a problem occurs while the user is using the electronic device. do.
양육 태도 정보는, 부모 관리자가 아이 사용자를 양육하는 태도에 대한 정보를 의미한다. Parenting attitude information refers to information about the parent manager's parenting attitude toward the child user.
일 실시예에 따르면, 관리자의 중재 방식 정보 또는 양육 태도 정보는, 부모 양육 가치관 검사 및 관련 검사 결과에 기초하여 획득될 수 있다. According to an embodiment, the manager's mediation method information or parenting attitude information may be obtained based on a result of a parental parenting value test and a related test result.
일 실시예에 따르면, 관리자의 중재 방식 정보 또는 양육 태도 정보는, 전자 장치 사용 제어 이력에 기초하여 획득될 수 있다. According to an embodiment, the manager's mediation method information or parenting attitude information may be obtained based on a control history of using an electronic device.
사용자 정보 획득 모듈 1300은, 사용자 기본 정보 획득 모듈 1301, 사용 방식 획득 모듈 1303, 기질 및 성향 획득 모듈 1305을 포함할 수 있다. The user information acquisition module 1300 may include a user basic information acquisition module 1301 , a usage method acquisition module 1303 , and a temperament and inclination acquisition module 1305 .
사용자 기본 정보는, 사용자를 식별하기 위한 정보로, 예를 들어 사용자의 이름, 생년월일, 성별, 또는 건강 정보 등 전자 장치 1000 이용에 필요한 기본 정보를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자의 건강 관련 정보를 획득할 수 있다. 예를 들어, 전자 장치 1000는 사용자가 색맹이나 색약이 있는 경우 이와 관련된 정보 또는 사용자의 시력에 대한 정보를 획득할 수 있다. Basic user information is information for identifying a user, and may include, for example, basic information necessary for using the electronic device 1000, such as the user's name, date of birth, gender, or health information. According to an embodiment of the present disclosure, the electronic device 1000 may obtain health-related information of a user. For example, when a user has color blindness or color weakness, the electronic device 1000 may obtain related information or information about the user's eyesight.
또한, 사용자 기본 정보는 사용 방식, 기질 및 성향을 추정하기 위한 정보로 활용될 수 있다. 예를 들어, 사용자의 연령이나 성별에 따라 사용 방식이나 기질 및 성향이 상이할 수 있으므로, 전자 장치 1000는 동일 연령대, 동일 성별의 다른 사용자들에 대한 통계 정보를 반영하여 사용자의 사용 방식이나 기질 및 성향을 추정할 수 있다. In addition, user basic information can be used as information for estimating the usage method, temperament, and propensity. For example, since the user's usage method, temperament, and inclination may differ depending on the user's age or gender, the electronic device 1000 reflects statistical information on other users of the same age and gender to reflect the user's usage method, temperament, and disposition. tendency can be inferred.
사용자 기본 정보는, 사용자의 생체 정보(예를 들어, 얼굴, 지문 또는 홍채 등)를 포함할 수 있으며, 전자 장치 1000는 전자 장치 1000에 구비된 센서를 이용하여 얼굴을 촬영하고 촬영된 이미지에 포함된 얼굴과 사용자 기본 정보에 포함된 얼굴을 비교하여 등록된 사용자가 식별된 경우, 식별된 사용자의 계정에 관련된 관리 조건을 적용할 수 있다.The basic user information may include the user's biometric information (eg, face, fingerprint, iris, etc.), and the electronic device 1000 photographs the face using a sensor provided in the electronic device 1000 and includes it in the photographed image. When a registered user is identified by comparing the registered face with the face included in the basic user information, management conditions related to the account of the identified user may be applied.
사용자의 전자 장치 사용 방식에 대한 정보는, 사용자의 전자 장치 사용 시간, 사용 패턴, 및 애플리케이션 별 사용시간, 전자 장치 시청 거리에 대한 정보를 포함할 수 있으나, 이로 한정되는 것은 아니다. 본 개시의 일 실시예에 따르면, 사용자의 전자 장치 사용 방식에 대한 정보는 전자 장치 사용 현황 검사 결과에 기초하여 획득될 수 있다. 전자 장치 1000의 사용자가 복수인 경우, 복수의 사용자 각각에 대한 전자 장치 사용 방식에 대한 정보가 구별되어 관리될 수 있으며, 복수의 사용자 각각에 대한 전자 장치 사용 방식에 대한 정보가 복수의 사용자 각각의 계정에 저장될 수 있다.The information on the user's electronic device usage method may include, but is not limited to, the user's electronic device usage time, usage pattern, usage time for each application, and viewing distance of the electronic device. According to an embodiment of the present disclosure, information about a user's electronic device usage method may be obtained based on a result of checking the electronic device usage status. When there are multiple users of the electronic device 1000, information on how the electronic device is used for each of the plurality of users can be managed separately, and information on how each of the plurality of users uses the electronic device is stored in the electronic device. It can be saved to your account.
본 개시의 일 실시예에 따르면, 사용자의 기질 및 성향에 대한 정보는, 사용자의 행동 패턴, 취향 및 사용자의 관심 키워드에 기초하여 획득될 수 있다. 본 개시의 일 실시예에 따르면, 사용자의 기질 및 성향에 대한 정보는, 유아동 기질 검사 결과에 기초하여 획득될 수 있다. 이 때, 사용자의 행동 패턴, 취향 및 사용자의 관심 키워드, 유아동 기질 검사 결과는 관리자가 입력한 사용자에 대한 정보에 기초하여 결정될 수 있다.According to an embodiment of the present disclosure, information on the user's temperament and inclination may be obtained based on the user's behavior pattern, taste, and user's interest keyword. According to an embodiment of the present disclosure, information on a user's temperament and inclination may be obtained based on a result of a child temperament test. In this case, the user's behavioral pattern, taste, user's interest keyword, and child temperament test result may be determined based on information about the user input by the manager.
일 실시예에 따르면, 사용자의 전자 장치 사용 방식에 대한 정보 또는 사용자의 기질 및 성향에 대한 정보는, 사용자의 전자 장치 사용 이력에 기초하여 획득될 수 있다. According to an embodiment, information about a user's electronic device usage method or information about a user's temperament and inclination may be obtained based on a user's electronic device usage history.
사용자-관리자 유형 결정 모듈 1500은, 관리자 정보 획득 모듈 1100에서 획득된 관리자 정보 및 사용자 정보 획득 모듈 1300에서 획득된 사용자 정보에 기초하여, 사용자-관리자 유형을 결정할 수 있다. 사용자-관리자 유형은, 관리자 정보에 기초하여 결정된 관리자의 양육 방식 및 사용자 정보에 기초하여 결정된 사용자 기질에 기초하여 결정될 수 있다. 예를 들어, 부모의 양육 방식이 민주적이라면, 자녀의 요구에 대한 수용도가 높으므로 독립적이고 자기 절제력이 높은 자녀에게는 최적의 양육태도일 수 있다. 그러나, 자기 절제력이 높지 않은 자녀의 요구를 무한정 수용하는 것은 방임이 되어 자녀의 발달에 오히려 안좋은 영향을 미칠 수 있다. 따라서, 관리자의 양육 방식 및 사용자 기질에 기초하여 결정된 사용자-관리자 유형에 기초하여 전자 장치 관리 기준을 결정하는 것이 필요하다. The user-manager type determination module 1500 may determine the user-manager type based on the manager information obtained in the manager information acquisition module 1100 and the user information obtained in the user information acquisition module 1300 . The user-manager type may be determined based on the manager's parenting style determined based on the manager information and the user temperament determined based on the user information. For example, if a parent's parenting style is democratic, it may be an optimal parenting attitude for a child who is independent and has high self-restraint, since it is highly acceptable to the child's needs. However, indefinitely accommodating the needs of children who do not have high self-restraint can become neglect and adversely affect the child's development. Therefore, it is necessary to determine electronic device management criteria based on the user-manager type determined based on the manager's upbringing style and user temperament.
사용자가 복수인 경우, 전자 장치 1000는 복수의 사용자 각각에 대한 기본 정보, 사용 방식, 기질 및 성향에 기초하여 복수의 사용자별 사용자-관리자 유형을 결정할 수 있다. 관리자가 복수인 경우, 전자 장치 1000는 복수의 관리자 각각에 대한 기본 정보, 중재 방식, 및 양육 태도에 기초하여 복수의 관리자별 사용자-관리자 유형을 결정할 수 있다. 또한, 관리자 및 사용자가 복수인 경우, 전자 장치 1000는 복수의 사용자 각각에 대한 기본 정보, 사용 방식, 기질 및 성향과 복수의 관리자 각각에 대한 기본 정보, 중재 방식, 및 양육 태도에 기초하여 복수의 사용자 및 복수의 관리자 각각에 대한 사용자-관리자 유형을 결정할 수 있다.When there are a plurality of users, the electronic device 1000 may determine a user-manager type for each of the plurality of users based on basic information, a usage method, temperament, and inclination of each of the plurality of users. When there are a plurality of managers, the electronic device 1000 may determine a user-manager type for each of the plurality of managers based on basic information, mediation method, and parenting attitude of each of the plurality of managers. In addition, when there are a plurality of managers and users, the electronic device 1000 provides a plurality of managers based on basic information, usage, temperament, and propensity of each of the plurality of users and basic information, mediation method, and parenting attitude of each of the plurality of managers. A user-administrator type for each of the user and the plurality of administrators may be determined.
본 개시의 일 실시예에 따르면, 제1 전자 장치는 부모-자식 관계인 제1 사용자와 제1 관리자에 대하여, 제1 사용자는 제1 유형 자녀로 제1 관리자는 제1 유형 부모로 결정할 수 있다. 또는, 제2 전자 장치는, 제2 사용자는 제2 유형 자녀로, 제2 관리자는 제2 유형 부모로 결정할 수 있다. 이러한 유형 분류는 고정되거나 한정되지 않으며, 아동 발달 또는 심리 발달 연구에 따라 추가되거나 변경될 수 있다. According to an embodiment of the present disclosure, the first electronic device may determine a first user and a first manager having a parent-child relationship, the first user as a first type child and the first manager as a first type parent. Alternatively, the second electronic device may determine that the second user is a second type child and the second manager is a second type parent. These typologies are not fixed or defined, and may be added to or modified according to child development or psychological development studies.
또한, 사용자-관리자 유형 결정 기준은, 애니어그램 또는 바움린드 등 부모-자녀 유형 판단 기준이나 TCI(Temperament and Character Inventory), MMPI(Minnesota Multiphasic Personality Inventory) 또는 MBTI(Myers-Briggs Type Indicator) 등의 개인 성향에 따른 관계 유형 판단 기준 또는 자체적인 관계 유형 측정 모델이 사용될 수 있다. In addition, the user-manager type determination criterion is a parent-child type determination criterion such as Enneagram or Baumlind, or an individual such as TCI (Temperament and Character Inventory), MMPI (Minnesota Multiphasic Personality Inventory) or MBTI (Myers-Briggs Type Indicator). A criterion for determining a relationship type according to inclination or a model for measuring a relationship type may be used.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 최초 설정 이후 다운로드 등을 통하여 사용자-관리자 유형 결정 모듈 1500의 펌웨어를 업데이트하고, 추가적인 사용자-관리자 유형 검사/결정 기준을 추가할 수 있다. 사용자-관리자 유형 검사/결정 기준의 추가는, 전자 장치 관리자의 요청에 의하여 수행될 수 있으며, 경우에 따라 별도의 과금이 수반될 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may update the firmware of the user-administrator type determination module 1500 through download after initial setting, and may add an additional user-administrator type check/determination criterion. Addition of the user-administrator type inspection/determination criterion may be performed at the request of the electronic device manager, and may be accompanied by separate billing in some cases.
전자 장치 1000는 사용자-관리자 유형 결정 모듈에서 출력되는 사용자-관리자 유형을 서버 3000로 전달할 수 있다. The electronic device 1000 may transfer the user-manager type output from the user-manager type determination module to the server 3000 .
서버 3000는 전자 장치 1000로부터 관리자 정보 및 사용자 정보에 기초하여 결정된 사용자-관리자 유형을 획득하고, 결정된 사용자-관리자 유형에 기초하여 전자 장치 관리 조건을 결정할 수 있다. The server 3000 may obtain a user-manager type determined based on manager information and user information from the electronic device 1000 and determine an electronic device management condition based on the determined user-manager type.
서버 3000의 관리 조건 결정 모듈 3100은, 전자 장치 1000로부터 획득된 사용자-관리자 유형에 기초하여 관리 조건을 결정할 수 있다. 본 개시의 일 실시예에 다르면, 제1 전자 장치의 사용자-관리자 유형이 제1 사용자가 Q-V 유형 자녀이고 제1 관리자는 A-F 유형 부모인 경우, 관리 조건 결정 모듈 3100은, 제1 전자 장치의 관리 기준으로 제1 유형 관리 기준을 선택할 수 있다. 또한, 제2 전자 장치의 사용자-관리자 유형이 제2 사용자는 R-W 유형 자녀이고, 제2 관리자는 B-G 유형 부모인 경우, 관리 조건 결정 모듈 3100은, 제2 전자 장치의 관리 기준으로 제2 유형 관리 기준을 선택할 수 있다.The management condition determination module 3100 of the server 3000 may determine the management condition based on the user-manager type obtained from the electronic device 1000 . According to an embodiment of the present disclosure, when the user-manager type of the first electronic device is that the first user is a Q-V type child and the first manager is an A-F type parent, the management condition determination module 3100 determines the management of the first electronic device. As the criterion, the first type management criterion may be selected. Also, if the user-manager type of the second electronic device is that the second user is an R-W type child and the second manager is a B-G type parent, the management condition determination module 3100 determines the second type of management based on the management criterion of the second electronic device. You can choose a criterion.
본 개시에 따른 전자 장치의 관리 방법에 있어서, 전자 장치 관리 기준을 추론 또는 예측하기 위한 방법으로 전자 장치 사용자 정보 및 전자 장치 관리자 정보에 대한 데이터를 이용하여 전자 장치 관리 기준을 추천/실행하기 위해 인공지능 모델을 이용할 수 있다. 전자 장치 1000의 프로세서는 상기 데이터에 대해 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환하여 서버 3000로 전송할 수 있다. 또는, 서버 3000의 프로세서는 전자 장치 1000로부터 수신한 상기 데이터에 대해 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환할 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.In the electronic device management method according to the present disclosure, as a method for inferring or predicting electronic device management criteria, artificial intelligence is used to recommend/execute electronic device management criteria by using electronic device user information and electronic device manager information data. Intelligence models are available. The processor of the electronic device 1000 may perform a preprocessing process on the data, convert it into a form suitable for use as an input of an artificial intelligence model, and transmit the data to the server 3000. Alternatively, the processor of the server 3000 may perform a preprocessing process on the data received from the electronic device 1000 to convert it into a form suitable for use as an input of an artificial intelligence model. AI models can be created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden. An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론(Knowledge based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다.Inference prediction is a technology that judges information and logically infers and predicts it. It includes Knowledge based Reasoning, Optimization Prediction, Preference-based Planning, and Recommendation. include
데이터베이스 3300는, 인공지능 모델의 학습을 위한 데이터가 저장되는 메모리를 의미한다. The database 3300 refers to a memory in which data for learning an artificial intelligence model is stored.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. Functions related to artificial intelligence according to the present disclosure are operated through a processor and a memory. A processor may consist of one or a plurality of processors. In this case, the one or more processors may be a general-purpose processor such as a CPU, an AP, or a digital signal processor (DSP), a graphics-only processor such as a GPU or a vision processing unit (VPU), or an artificial intelligence-only processor such as an NPU. One or more processors control input data to be processed according to predefined operating rules or artificial intelligence models stored in a memory. Alternatively, when one or more processors are processors dedicated to artificial intelligence, the processors dedicated to artificial intelligence may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.A predefined action rule or an artificial intelligence model is characterized in that it is created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden. Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or through a separate server and/or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN: Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values. A plurality of weights possessed by a plurality of neural network layers may be optimized by a learning result of an artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from an artificial intelligence model is reduced or minimized during a learning process. The artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), A deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or deep Q-networks, but is not limited to the above examples.
인공지능 모델 3000은 전자 장치 1000의 관리 기준을 결정하기 위한 관리자 정보를 획득할 수 있다. The artificial intelligence model 3000 may obtain manager information for determining management criteria for the electronic device 1000 .
관리자 정보는 관리자 기본 정보, 중재 방식에 대한 정보, 및 양육 태도를 포함할 수 있다. Manager information may include manager basic information, information on mediation methods, and parenting attitudes.
사용자 정보는 사용자 기본 정보, 사용자의 전자 장치 사용 방식에 대한 정보, 및 사용자의 기질 및 성향에 대한 정보를 포함할 수 있다. User information may include user basic information, information on the user's electronic device usage method, and information on the user's temperament and inclination.
전자 장치 관리 기준은, 사용자의 전자 장치 1000 사용 자세에 대한 기준, 사용자와 전자 장치 1000의 거리에 대한 기준(임계 최소 거리), 사용자의 전자 장치 1000 사용 시간에 대한 기준, 사용자의 전자 장치 1000 의존도/중독 진단, 사용 중재를 위하여 사용자에게 제공할 캐릭터 설정, 또는 전자 장치 1000가 제공할 수 있는 부가 서비스 설정 여부를 포함할 수 있다. The electronic device management criteria include the user's posture of using the electronic device 1000, the distance between the user and the electronic device 1000 (critical minimum distance), the user's usage time of the electronic device 1000, and the user's electronic device 1000 dependence. /This may include settings of characters to be provided to the user for addiction diagnosis and mediation of use, or setting of additional services that the electronic device 1000 can provide.
사용자의 장치 사용 시간에 대한 기준은, 일별 최대 사용 시간, 요일별 최대 사용 시간, 애플리케이션별 최대 사용 시간, 회당 사용 시간 및 각각의 조합을 포함할 수 있으나 이에 한정되는 것은 아니다. The criterion for the user's device usage time may include, but is not limited to, maximum usage time per day, maximum usage time per day, maximum usage time per application, usage time per session, and combinations thereof.
전자 장치 1000는 결정된 전자 장치 관리 기준을 관리자에게 제공하고, 관리자의 입력에 기초하여 전자 장치 관리 기준을 수정할 수 있다. The electronic device 1000 may provide the determined electronic device management criteria to the manager and modify the electronic device management criteria based on the manager's input.
도 4는 본 개시의 일 실시예에 따른 전자 장치가 장치를 제어하는 방법의 순서도이다. 4 is a flowchart of a method for an electronic device to control a device according to an embodiment of the present disclosure.
단계 401에서, 전자 장치 1000는 전자 장치의 사용자 정보 및 관리자 정보를 획득할 수 있다. In step 401, the electronic device 1000 may acquire user information and manager information of the electronic device.
전자 장치 사용자 정보는, 사용자 기본 정보, 사용 방식 정보, 및 기질/성향 정보를 포함할 수 있다. Electronic device user information may include user basic information, usage method information, and disposition/propensity information.
사용자 기본 정보는, 사용자를 식별하기 위한 기본 정보로, 예를 들어 사용자의 이름, 생년월일, 성별, 및 시스템 이용에 필요한 기본 정보를 포함할 수 있다.Basic user information is basic information for identifying a user, and may include, for example, the user's name, date of birth, gender, and basic information necessary for using the system.
사용자의 전자 장치 사용 방식에 대한 정보는, 사용자의 전자 장치 사용 시간, 사용 패턴, 및 애플리케이션 별 사용시간, 전자 장치 시청 거리 에 대한 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다. The information on the user's electronic device usage method may include, but is not limited to, the user's electronic device usage time, usage pattern, usage time for each application, and viewing distance of the electronic device.
본 개시의 일 실시예에 따르면, 사용자의 전자 장치 사용 방식에 대한 정보는 전자 장치 사용 현황 검사 결과에 기초하여 획득될 수 있다.According to an embodiment of the present disclosure, information about a user's electronic device usage method may be obtained based on a result of checking the electronic device usage status.
본 개시의 일 실시예에 따르면, 사용자의 기질 및 성향에 대한 정보는, 사용자의 행동 패턴, 취향 및 사용자의 관심 키워드에 기초하여 획득될 수 있다. 본 개시의 일 실시예에 따르면, 사용자의 기질 및 성향에 대한 정보는, 유아동 기질 검사 결과에 기초하여 획득될 수 있다. 유아동 기질 검사는 애니어그램, TCI, MMPI 또는 MBTI등의 기질 검사를 포함할 수 있으나 이에 제한되는 것은 아니다. 또한, 사용자의 행동 패턴, 취향 및 사용자의 관심 키워드, 유아동 기질 검사 결과는 관리자가 입력한 사용자에 대한 정보에 기초하여 결정될 수 있다. According to an embodiment of the present disclosure, information on the user's temperament and inclination may be obtained based on the user's behavior pattern, taste, and user's interest keyword. According to an embodiment of the present disclosure, information on a user's temperament and inclination may be obtained based on a result of a child temperament test. Child temperament tests may include, but are not limited to, temperament tests such as Enneagram, TCI, MMPI, or MBTI. In addition, the user's behavior pattern, taste and interest keywords of the user, and child temperament test results may be determined based on information about the user input by the administrator.
본 개시의 일 실시예에 따르면, 사용자의 전자 장치 사용 방식에 대한 정보 또는 사용자의 기질 및 성향에 대한 정보는, 사용자의 전자 장치 사용 이력에 기초하여 획득될 수 있다. According to an embodiment of the present disclosure, information on a user's electronic device usage method or information on the user's temperament and inclination may be obtained based on a user's electronic device usage history.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 획득된 사용자 기질 및 성향에 대한 정보에 기초하여, 사용자에게 적합한 캐릭터를 선택하고, 전자 장치 제어를 위한 인터랙션에 선택된 캐릭터를 이용할 수 있다. 예를 들어, 사용자가 5세 남자아이이고 외향적 성향이라면, 전자 장치 1000는 인터랙션을 위해 로봇 캐릭터를 선택하고 사용시간 만료시 선택된 로봇 캐릭터가 사용 중단을 권고하는 음성을 스피커를 통해 출력하도록 동작할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may select a character suitable for the user based on the obtained information on the user's temperament and inclination, and may use the selected character for an interaction for controlling the electronic device. For example, if the user is a 5-year-old boy and an extrovert, the electronic device 1000 may select a robot character for interaction and may operate the selected robot character to output a voice recommending discontinuation of use through a speaker when the usage time expires. there is.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 캐릭터의 얼굴, 팔, 다리 등 각 부분의 파츠(parts)를 조합한 사용자 맞춤형(customized) 캐릭터를 제공할 수 있다. 이 때, 파츠는 사용자 입력에 기초하여 선택될 수 있으며, 파츠의 선택 및 조합 과정에서 획득된 추가 정보에 기초하여 보다 정확한 사용자 기질 및 성향을 추정할 수 있다. 파츠의 선택 및 조합 과정에서 획득된 추가 정보는 선택된 파츠의 색깔, 모양, 특성, 조합 순서, 또는 캐릭터 완성까지 걸리는 시간 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present disclosure, the electronic device 1000 may provide a customized character by combining parts of each part such as the face, arms, and legs of the character. In this case, the parts may be selected based on the user input, and the user's temperament and propensity may be more accurately estimated based on the additional information obtained in the process of selecting and combining the parts. The additional information obtained in the process of selecting and combining parts may include at least one of the color, shape, characteristics, combination order, and time taken to complete the character of the selected parts.
본 개시의 일 실시예에 따르면, 전자 장치 1000의 최초 설정 이후 전자 장치 사용자 또는 관리자의 요청에 따라 캐릭터 또는 파츠를 추가로 다운로드하여 저장하고 다운로드된 캐릭터를 이용하여 전자 장치 사용자와 인터랙션 할 수 있다. 유아동 사용자의 경우 자신이 선호하는 만화 캐릭터 또는 장난감 캐릭터와 상호작용하는 경우 지시 또는 제안에 대한 순응도가 더 높아질 수 있으며, 발달 상태 또는 시기에 따라 선호하는 캐릭터가 달라질 수 있다. 따라서, 이와 같이 사용자의 선호도에 따라 캐릭터를 변경하도록 구성함으로써 보다 효과적인 전자 장치 사용 관리가 가능할 수 있다. According to an embodiment of the present disclosure, after the initial setting of the electronic device 1000, a character or parts may be additionally downloaded and stored according to a request of a user or manager of the electronic device, and the downloaded character may be used to interact with the user of the electronic device. In the case of a child user, when interacting with a cartoon character or a toy character he or she prefers, compliance with instructions or suggestions may be higher, and the preferred character may vary depending on the developmental state or period. Accordingly, by configuring the character to be changed according to the user's preference, more effective electronic device use management may be possible.
이 때, 추가되는 캐릭터는 별도의 과금을 필요로 할 수 있으며, 일시 구매가 아닌 구독 형태의 구매 유형을 적용하는 경우 적은 비용으로 다양한 캐릭터의 이용이 가능할 수 있다. In this case, the added character may require separate billing, and when a subscription-type purchase type is applied instead of a temporary purchase, various characters may be used at a low cost.
전자 장치 관리자 정보는, 관리자 기본 정보, 중재 방식 정보, 및 양육 태도 정보를 포함할 수 있다. The electronic device manager information may include manager basic information, mediation method information, and parenting attitude information.
관리자 기본 정보는, 관리자를 식별하기 위한 기본 정보로, 예를 들어 관리자의 이름, 생년월일(DOB, date of birth), 성별, 사용자와의 관계, 및 시스템 이용에 필요한 기본 정보를 포함할 수 있다. 중재 방식 정보는, 관리자가 사용자와 대립되는 갈등상황에서 어떤 방식으로 중재하는지에 대한 정보를 의미한다. 양육 태도 정보는, 부모 관리자가 아이 사용자를 양육하는 태도에 대한 정보를 의미한다. The manager basic information is basic information for identifying the manager, and may include, for example, the manager's name, date of birth (DOB), gender, relationship with a user, and basic information required for system use. Arbitration method information refers to information on how an administrator mediates in a conflict situation in which a user is confronted with a user. Parenting attitude information refers to information about the parent manager's parenting attitude toward the child user.
단계 402에서, 전자 장치 1000는 전자 장치의 사용자에 대한 정보 및 관리자에 대한 정보에 기초하여 인공지능 모델로부터 식별된, 전자 장치 관리 조건을 획득할 수 있다. In step 402, the electronic device 1000 may acquire an electronic device management condition identified from an artificial intelligence model based on information about a user and a manager of the electronic device.
본 개시의 일 실시예에 따른 인공지능 모델은, 전자 장치 내부에서 자체적으로 동작하는 온-디바이스(on-device) 모델이거나 전자 장치 외부의 서버에서 동작하는 서버(server) 모델일 수 있다. 또는, 본 개시의 일 실시예에 따른 인공지능 모델은, 온-디바이스 모델과 서버 모델이 결합된 형태일 수 있다. 예를 들어, 온-디바이스 인공지능 모델은 추론을 담당하고, 서버 인공지능 모델은 학습 역할을 맡아 빅데이터 수집 및 분석을 담당하는 방식으로 동작할 수 있다. 서버는 클라우드 서버를 포함하나 이에 한정되는 것은 아니다. An artificial intelligence model according to an embodiment of the present disclosure may be an on-device model independently operated inside an electronic device or a server model operated in a server outside the electronic device. Alternatively, the artificial intelligence model according to an embodiment of the present disclosure may be a combination of an on-device model and a server model. For example, an on-device AI model can be responsible for inference, and a server AI model can be responsible for learning and collecting and analyzing big data. The server includes, but is not limited to, a cloud server.
서버 모델을 포함하는 인공지능 모델이 사용되는 경우, 전자장치 1000는 획득된 전자 장치 사용자 정보 및 전자 장치 관리자 정보를 인공지능 서버 3000로 전송할 수 있다. When an artificial intelligence model including a server model is used, the electronic device 1000 may transmit the obtained electronic device user information and electronic device manager information to the artificial intelligence server 3000 .
본 개시의 일 실시예에 따르면, 전자 장치 1000는 전자 장치 사용자 정보 및 전자 장치 관리자 정보를 획득하고, 획득된 정보를 그대로 인공지능 서버 3000로 전송할 수 있다. 본 개시의 다른 실시예에 따르면, 전자 장치 1000는 획득된 전자 장치 사용자 정보 및 전자 장치 관리자 정보를 분석하고, 필요한 형태로 변형하여 전송할 수 있다. 예를 들어, 전자 장치 1000가 인공지능 서버 3000로 전송하는 정보는 획득된 전자 장치 사용자 정보 및 전자 장치 관리자 정보에 기초하여 결정된 사용자-관리자 유형 정보일 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may acquire electronic device user information and electronic device manager information, and transmit the obtained information to the artificial intelligence server 3000 as it is. According to another embodiment of the present disclosure, the electronic device 1000 may analyze the obtained electronic device user information and electronic device manager information, transform it into a necessary form, and transmit the same. For example, information transmitted from the electronic device 1000 to the artificial intelligence server 3000 may be user-administrator type information determined based on the obtained electronic device user information and electronic device manager information.
본 개시의 일 실시예에 따르면, 전자 장치 1000의 프로세서는 서버 3000로 전달되는 데이터에 대해 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환하여 서버 3000로 전송할 수 있다.According to an embodiment of the present disclosure, the processor of the electronic device 1000 may perform a pre-processing process on data transmitted to the server 3000, convert the data into a form suitable for use as an input of an artificial intelligence model, and transmit the data to the server 3000.
전자 장치 관리 조건은, 전자 장치 1000가 사용자의 전자 장치 사용에 개입할지 여부를 결정하는 조건을 의미하며, 사용자의 전자 장치 사용 시간에 대한 조건, 사용자의 전자 장치 사용 내역에 대한 조건, 사용자의 전자 장치 사용 자세에 대한 조건, 사용자의 전자 장치 의존도/중독 진단, 사용 중재를 위하여 사용자에게 제공할 캐릭터 설정, 및 전자 장치가 제공할 수 있는 부가 서비스 설정 여부를 포함할 수 있다. 전자 장치가 제공할 수 있는 부가 서비스는, 전자 장치를 이용한 전자 장치 사용자의 발달 검사, 유해 컨텐츠 모니터링, 사용 자세 모니터링, 보행시 전자 장치 사용 모니터링, 또는 전자 장치 사용 환경 모니터링 중 적어도 하나를 포함할 수 있다. 전자 장치 사용 환경 모니터링은 사용자가 전자 장치 1000를 사용하는 장소에 대한 모니터링을 포함하며, 예를 들어 전자 장치 1000는 사용자가 전자 장치 1000를 시끄러운 장소에서 사용중인지, 물 속 또는 습도가 높은 장소에서 사용중인지 여부를 모니터링할 수 있다.The electronic device management condition refers to a condition for determining whether the electronic device 1000 intervenes in the use of the user's electronic device, and includes conditions for the user's electronic device usage time, user's electronic device usage history, and user's electronic device management condition. Conditions for device usage posture, diagnosis of user's dependence/addiction on the electronic device, setting of characters to be provided to the user for usage mediation, and setting of additional services that the electronic device can provide may be included. The additional service that the electronic device may provide may include at least one of a developmental examination of an electronic device user using the electronic device, monitoring of harmful content, monitoring of user posture, monitoring of the use of the electronic device while walking, and monitoring of the environment in which the electronic device is used. there is. The electronic device usage environment monitoring includes monitoring of a place where the user uses the electronic device 1000. For example, the electronic device 1000 determines whether the user is using the electronic device 1000 in a noisy place, in water or in a place with high humidity. acknowledgment can be monitored.
본 개시의 일 실시예에 따르면, 서버 3000는 전자 장치 1000로부터 수신한 전자 장치 사용자 정보 및 전자 장치 관리자 정보에 기초하여 전자 장치 관리 조건을 식별할 수 있다. 본 개시의 다른 실시예에 따르면, 서버 3000는 전자 장치 1000로부터 관리자 정보 및 사용자 정보에 기초하여 결정된 사용자-관리자 유형을 획득하고, 결정된 사용자-관리자 유형에 기초하여 전자 장치 관리 조건을 결정할 수 있다. According to an embodiment of the present disclosure, the server 3000 may identify an electronic device management condition based on electronic device user information and electronic device manager information received from the electronic device 1000 . According to another embodiment of the present disclosure, the server 3000 may obtain a user-manager type determined based on manager information and user information from the electronic device 1000, and determine an electronic device management condition based on the determined user-manager type.
본 개시의 일 실시예에 따르면, 서버 3000의 프로세서는 전자 장치 1000로부터 수신한 상기 데이터에 대해 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환할 수 있다.According to an embodiment of the present disclosure, the processor of the server 3000 may perform a pre-processing process on the data received from the electronic device 1000 to convert it into a form suitable for use as an input of an artificial intelligence model.
본 개시에 따른 전자 장치의 관리 방법에 있어서, 전자 장치 관리 조건을 추론 또는 예측하기 위한 방법으로 전자 장치 사용자 정보 및 전자 장치 관리자 정보에 대한 데이터를 이용하여 전자 장치 관리 조건을 추천/실행하기 위해 인공지능 모델을 이용할 수 있다. In the method for managing an electronic device according to the present disclosure, as a method for inferring or predicting electronic device management conditions, artificially recommending/executing electronic device management conditions using electronic device user information and electronic device manager information data. Intelligence models are available.
사용자의 전자 장치 사용 시간에 대한 조건은, 전자 장치 사용자가 전자 장치를 사용하는 일별 최대 사용 시간, 요일별 최대 사용 시간, 애플리케이션별 최대 사용 시간, 회당 사용 시간 및 각각의 조합을 포함할 수 있으나 이에 한정되는 것은 아니다. Conditions for the user's electronic device usage time may include, but are not limited to, the maximum usage time per day, the maximum usage time per day, the maximum usage time per application, the usage time per session, and combinations of each when the electronic device user uses the electronic device. it is not going to be
본 개시의 일 실시예에 따르면, 사용자의 전자 장치 사용 시간에 대한 조건은 사용 시간 추천 모델에 기초하여 획득될 수 있다. 사용 시간 추천 모델은 사용자 정보에 기초하여 적정 사용 시간을 추천해주는 전자 장치 사용 시간 추천 모델 및 전자 장치 과의존 진단 모델을 포함할 수 있으며, 전자 자치 과의존 진단 모델을 이용하는 사용자의 전자 장치 의존도/중독 진단은 전자 장치 사용 시작시 수행될 수 있다. 본 개시의 일 실시예에 따른 전자 장치 사용 시간 추천 모델 및 전자 장치 사용 시간 추천 모델 학습 방법은 도 7 내지 도 8 에서 후술한다.According to an embodiment of the present disclosure, a condition for a user's electronic device usage time may be obtained based on a usage time recommendation model. The use time recommendation model may include an electronic device use time recommendation model and an electronic device overdependency diagnosis model that recommends an appropriate use time based on user information, and the user's electronic device dependence/addiction using the electronic self-government overdependency diagnosis model Diagnosis may be performed when the electronic device starts to be used. An electronic device usage time recommendation model and an electronic device usage time recommendation model learning method according to an embodiment of the present disclosure will be described later with reference to FIGS. 7 and 8 .
사용자의 전자 장치 사용 내역에 대한 조건은, 전자 장치 1000를 통해 사용자에게 제공되는 컨텐츠의 유해도에 대한 조건 및 사용자에게 제공되는 컨텐츠가 유해 컨텐츠로 판단된 경우 전자 장치 1000의 제어 방법을 포함할 수 있다.The conditions for the user's use of the electronic device may include conditions for harmfulness of the content provided to the user through the electronic device 1000 and a control method of the electronic device 1000 when the content provided to the user is determined to be harmful. there is.
본 개시의 일 실시예 따르면, 사용자의 전자 장치 사용 내역에 대한 조건은 전자 장치 1000에서 수집, 분석할 수 있는 다중 정보를 활용하여 유해 컨텐츠 여부를 판단하는 조건을 포함할 수 있다.According to an embodiment of the present disclosure, the condition for the user's electronic device use history may include a condition for determining whether or not harmful content is present by utilizing multiple pieces of information that can be collected and analyzed by the electronic device 1000 .
사용자의 전자 장치 사용 자세에 대한 조건은, 전자 장치 1000의 사용자가 전자 장치를 사용하는 자세, 전자 장치 1000와 사용자의 거리, 또는 전자 장치 1000 사용자의 눈 깜빡임 주기에 기초하여 사용자의 전자 장치 사용 자세가 적절한지 여부를 판단하는 조건을 포함할 수 있다. 예를 들어, 전자 장치 1000는 사용자의 상체 기울어짐 정도, 상체와 목의 각도, 또는 어깨의 각도에 기초하여 사용자가 전자 장치 1000를 누워서 사용중인지, 거북목이나 척추측만이 있는지 여부 등 사용자의 자세를 판단할 수 있다. 또한, 전자 장치 1000는 전자 장치 1000와 사용자의 거리가 소정의 최소 임계 거리 이하이거나, 사용자의 눈 깜빡임 주기가 소정의 주기 이하인 경우, 사용자의 전자 장치 사용 자세가 부적절한 것으로 판단할 수 있다. 이 때, 전자 장치 1000는 전자 장치 사용 자세 판단 모델에 기초하여 사용자의 전자 장치 사용 자세를 판단할 수 있다.The condition for the user's posture of using the electronic device may be based on the posture of the user of the electronic device 1000 using the electronic device, the distance between the electronic device 1000 and the user, or the eye blink cycle of the user of the electronic device 1000. may include a condition for determining whether is appropriate. For example, the electronic device 1000 determines the user's posture, such as whether the user is using the electronic device 1000 while lying down or whether there is only a turtle neck or a side of the spine, based on the degree of inclination of the user's upper body, the angle of the upper body and neck, or the angle of the shoulder. can judge In addition, the electronic device 1000 may determine that the user's posture for using the electronic device is inappropriate when the distance between the electronic device 1000 and the user is equal to or less than a predetermined minimum threshold distance or the user's eye blink cycle is equal to or less than the predetermined cycle. At this time, the electronic device 1000 may determine the user's posture of using the electronic device based on the electronic device posture determination model.
단계 403에서, 전자 장치는 전자 장치 관리 조건에 기초하여 전자 장치를 제어할 수 있다. In step 403, the electronic device may control the electronic device based on the electronic device management condition.
전자장치 1000는 사용자의 전자 장치 사용을 모니터링 할 수 있다. 본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자의 전자 장치 1000 사용을 실시간으로 모니터링 하며, 사용자의 현재 전자 장치 1000 사용 상태가 전자 장치 관리 조건을 벗어나는 경우 전자 장치 관리 조건에 기초하여 전자 장치 1000를 제어할 수 있다.The electronic device 1000 may monitor the user's use of the electronic device. According to an embodiment of the present disclosure, the electronic device 1000 monitors the user's use of the electronic device 1000 in real time, and if the user's current usage state of the electronic device 1000 deviates from the electronic device management condition, the electronic device 1000 is based on the electronic device management condition. 1000 can be controlled.
본 개시의 일 실시예에 따르면, 전자 장치 1000의 전자 장치 제어는 전자 장치 1000가 전자 장치 사용 상태를 변경시키는 직접적인 제어뿐만 아니라, 전자 장치의 사용 상태 변경을 사용자에게 유도하기 위한 제어를 포함할 수 있다. 예를 들어, 사용자가 아동인 경우, 전자 장치 1000는 아동이 좋아하는 캐릭터를 화면 일부에 표시하고, 해당 캐릭터가 전자 장치의 사용 시간이 초과되었음을 알려주는 음성을 송출하도록 전자 장치 1000를 제어할 수 있다. 또는, 전자 장치 1000는 전자 장치 사용 자세를 변경할 것을 권고하는 메시지를 화면에 표시하도록 전자 장치 1000를 제어할 수 있다.According to an embodiment of the present disclosure, control of the electronic device of the electronic device 1000 may include not only direct control for the electronic device 1000 to change the use state of the electronic device, but also control for inducing a change in the use state of the electronic device to a user. there is. For example, if the user is a child, the electronic device 1000 may control the electronic device 1000 to display a character liked by the child on a portion of the screen and transmit a voice indicating that the usage time of the electronic device has been exceeded by the corresponding character. there is. Alternatively, the electronic device 1000 may control the electronic device 1000 to display a message recommending a change in the posture of using the electronic device on the screen.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 전자 장치 관리 방법이 실행되는 동안, 전자 장치 관리 방법의 실행 여부를 전자 장치 1000의 화면에 표시할 수 있다. 예를 들어, 전자 장치 관리 애플리케이션이 실행되면, 전자 장치 1000는 사용자 정보 또는 관리자 정보에 기초하여 선택된 캐릭터를 전자 장치 1000의 화면에 표시하고, 해당 캐릭터가 전자 장치 1000의 사용 상태(예를 들어, 전자 장치 관리 방법의 실행 여부, 사용자 이름, 잔여 사용 시간, 또는 제어 조건 만족 여부 등)를 나타내도록 전자 장치 1000를 제어할 수 있다. 또한, 전자 장치 1000는 해당 캐릭터가 사용자의 전자 장치 사용 상태를 변경(예를 들어, 사용 종료, 사용 컨텐츠 변경, 또는 자세 변경)하도록 유도하는 메시지(음성 또는 시각)를 출력하도록 전자 장치 1000를 제어할 수 있다.According to an embodiment of the present disclosure, the electronic device 1000 may display on the screen of the electronic device 1000 whether or not the electronic device management method is executed while the electronic device management method is being executed. For example, when an electronic device management application is executed, the electronic device 1000 displays a character selected based on user information or manager information on the screen of the electronic device 1000, and the character displays a usage state of the electronic device 1000 (eg, The electronic device 1000 may be controlled to indicate whether an electronic device management method is executed, a user name, remaining use time, or whether a control condition is satisfied. In addition, the electronic device 1000 controls the electronic device 1000 to output a message (voice or visual) that induces the corresponding character to change the user's use state of the electronic device (eg, end use, change content, or change posture). can do.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자의 인지적 특성을 고려하여, 전자 장치 1000의 사용 상태 표시 방법을 결정할 수 있다. 예를 들어, 사용자가 유아인 경우, 유아의 인지 능력을 고려하여 문자 표시 대신 음성을 출력하고, 잔여 시간의 경우 숫자로 표시하는 것 보다는 숫자 표시 대신 원 또는 막대 형태의 그래픽(예를 들어, 프로그래스 바)을 이용하여 잔여 시간을 표시할 수 있다. 또는, 도형 그래픽 보다 유아에게 친숙한 사물 그래픽을 이용하여 잔여 시간을 나타낼 수 있다. 예를 들어, 음식(과일 또는 음료 등)의 양을 잔여 시간에 따른 그래픽 애니메이션으로 표시하거나, 사용자가 선택한 소정의 캐릭터와 관련된 사물(캐릭터의 소지품 등)이 점차 사라지거나 캐릭터의 투명도를 잔여 시간에 따른 그래픽 애니메이션으로 표시할 수 있다. 또한, 유아동의 물활론적 사고 특성을 고려하여 스토리텔링을 이용한 중재 방식, 대화형 상호 작용 및 점진적인 중재 방식을 이용하는 경우 보다 효과적인 전자 장치 사용 상태 변경을 유도할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may determine a method of displaying a usage state of the electronic device 1000 in consideration of a user's cognitive characteristics. For example, if the user is an infant, voice is output instead of text display in consideration of the infant's cognitive ability, and in the case of remaining time, a circle or bar-type graphic (e.g., The remaining time can be displayed using the grass bar). Alternatively, the remaining time may be indicated using object graphics familiar to young children rather than figure graphics. For example, the amount of food (fruit or drink, etc.) is displayed as a graphic animation according to the remaining time, objects (character's belongings, etc.) It can be displayed as a graphic animation. In addition, when an intervention method using storytelling, an interactive interaction, and a gradual mediation method are used in consideration of the animistic thinking characteristics of children, a more effective change in electronic device use status can be induced.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자의 전자 장치 사용 시간에 대한 조건 및 사용자의 현재 전자 장치 사용 상태에 기초하여, 전자 장치 1000를 제어할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may control the electronic device 1000 based on the user's electronic device usage time condition and the user's current electronic device usage status.
사용자의 전자 장치 사용 시간에 대한 조건은, 전자 장치 사용자가 전자 장치를 사용하는 일별 최대 사용 시간, 요일별 최대 사용 시간, 애플리케이션별 최대 사용 시간, 회당 사용 시간 및 각각의 조합을 포함할 수 있으나 이에 한정되는 것은 아니다. Conditions for the user's electronic device usage time may include, but are not limited to, the maximum usage time per day, the maximum usage time per day, the maximum usage time per application, the usage time per session, and combinations of each when the electronic device user uses the electronic device. it is not going to be
사용자의 전자 장치 사용 시간을 모니터링하고, 소정의 주기마다 또는 잔여 시간이 잔여 시간이 임계 시간 이하인 경우 해당 내용을 사용자에게 알리기 위한 출력을 송출할 수 있다. 이와 같이 사용자의 전자 장치 사용 시간이 모두 소진되기 전에 사용자에게 알림을 제공함으로써 주의를 환기하고 사용중인 내역을 정리하도록 유도할 수 있다. 전술한 바와 같이, 사용자에게 알리기 위한 출력의 종류는 사용자 정보(예를 들어, 연령 또는 인지 능력 등)에 기초하여 결정될 수 있다. The user's usage time of the electronic device may be monitored, and an output for notifying the user of the corresponding content may be transmitted at predetermined intervals or when the remaining time is less than or equal to a threshold time. In this way, by providing a notification to the user before the user's usage time of the electronic device is exhausted, the user can be alerted and induced to organize the usage details. As described above, the type of output to notify the user may be determined based on user information (eg, age or cognitive ability).
본 개시의 일 실시예에 따르면, 전자 장치 1000는 실제로 사용 시간의 일정 비율(예를 들어, 1시간 중 75%인 45분)이 경과 또는 사용 시간 소진이 예상되는 시간으로부터 일정 시간 이전(예를 들어, 사용 시간 소진 예상 시간으로부터 10분 전) 알림을 제공할 수 있다. 이 때, 사용자에게 제공되는 알림은 사용자와의 인터랙션(상호작용)을 유도할 수 있으며, 시각, 청각 또는 다중 감각 인터랙션 및 일체의 인터랙션 방법을 포함한다. According to an embodiment of the present disclosure, the electronic device 1000 actually uses a certain percentage of the time (eg, 75% of 1 hour, 45 minutes) or before a certain time from the time when the use time is expected to be exhausted (eg, 45 minutes). For example, 10 minutes prior to the expected time of exhaustion) notification may be provided. At this time, the notification provided to the user may induce interaction (interaction) with the user, and includes visual, auditory, or multi-sensory interaction and any interaction method.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자가 전자 장치 출력에 따라 사용 시간 소진 이전 사용을 종료했는지 아니면 사용 시간이 소진될 때까지 사용을 지속하였는지에 기초하여 자발적 종료 여부를 식별할 수 있으며, 자발적 종료 여부에 기초하여 인공지능 모델을 학습할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may identify whether the electronic device 1000 has voluntarily terminated based on whether the user terminated use before the use time was exhausted or continued use until the use time was exhausted according to the output of the electronic device. , AI models can be learned based on voluntary termination.
사용자의 전자 장치 사용 내역에 대한 조건은 전자 장치 1000를 통해 사용자에게 제공되는 컨텐츠의 유해도에 대한 조건 및 사용자에게 제공되는 컨텐츠가 유해 컨텐츠로 판단된 경우 전자 장치 1000의 제어 방법을 포함할 수 있다.Conditions for the user's use of the electronic device may include conditions for harmfulness of content provided to the user through the electronic device 1000 and a control method of the electronic device 1000 when the content provided to the user is determined to be harmful. .
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자에게 제공되는 컨텐츠에 포함되는 영상의 유해성을 판단할 수 있다. 전자 장치 1000는 사용자에게 제공되는 화면을 소정의 주기로 캡쳐하고, 이미지 분석 모델을 이용하여 캡쳐된 화면에 포함되는 텍스트와 이미지를 인식할 수 있다. 영상 분석 결과 유해한 이미지 또는 텍스트가 포함된 경우 해당 영상을 사용자에게 제공하지 않도록 결정할 수 있다. 이 때, 영상은 스틸 이미지, 동영상뿐 아니라 웹페이지등을 포함할 수 있다.According to an embodiment of the present disclosure, the electronic device 1000 may determine harmfulness of an image included in content provided to a user. The electronic device 1000 may capture a screen provided to the user at a predetermined cycle and recognize text and images included in the captured screen using an image analysis model. As a result of video analysis, if a harmful image or text is included, it may be decided not to provide the video to the user. At this time, the video may include a web page as well as a still image and a moving picture.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자에게 제공되는 컨텐츠에 설정된 연령 정보(예를 들어, 동영상에 설정된 PG rating)를 참조하여 해당 컨텐츠를 사용자에게 제공할지 여부를 결정할 수 있다.According to an embodiment of the present disclosure, the electronic device 1000 may determine whether to provide the corresponding content to the user by referring to age information (eg, PG rating set for a video) set for the content provided to the user.
본 개시의 일 실시예에 따르면, 사용자가 유아동인 경우 유해 텍스트를 인지하지 못하여 유해 텍스트에 지속적으로 노출되는 상황을 방지하기 위하여, 전자 장치 1000는 사용자에게 제공되는 화면에 포함되는 텍스트의 유해성을 판단할 수 있다. 전자 장치 1000는 사용자에게 제공되는 화면을 소정의 주기로 캡쳐하고, 텍스트 인식 모델을 이용하여 캡쳐된 화면에 포함되는 텍스트(문자)를 인식할 수 있다. 인식된 텍스트에 유해한 텍스트가 포함된 경우, 전자 장치 1000는 해당 텍스트 및 그 주변의 컨텐츠를 사용자가 선택(예를 들어, 하이퍼 링크된 텍스트를 터치하거나, 관련 동영상을 선택)하더라도 선택된 컨텐츠를 제공하지 않도록 결정(예를 들어, 해당 텍스트 및 그 주변의 컨텐츠에 대한 입력을 마스킹)할 수 있다. 본 개시의 일 실시예에 따른 텍스트 모니터링 및 학습 방법은 도 10에서 후술한다. According to an embodiment of the present disclosure, the electronic device 1000 determines the harmfulness of the text included in the screen provided to the user in order to prevent a situation in which the user is a child and is continuously exposed to the harmful text due to not recognizing the harmful text. can do. The electronic device 1000 may capture a screen provided to the user at predetermined intervals and recognize text (characters) included in the captured screen using a text recognition model. If the recognized text includes harmful text, the electronic device 1000 does not provide the selected content even if the user selects the text and its surrounding content (for example, touching a hyperlinked text or selecting a related video). (eg, masking the input for the corresponding text and its surrounding content). A text monitoring and learning method according to an embodiment of the present disclosure will be described later with reference to FIG. 10 .
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자에게 제공되는 컨텐츠에 포함되는 사운드의 유해성을 판단할 수 있다. 전자 장치 1000는 사운드 인식 모델을 이용하여 사용자에게 제공되는 사운드를 분석하고, 사운드 분석 결과 유해한 사운드(예를 들어, 총소리, 비속어, 욕설 등)가 포함된 경우 해당 사운드를 사용자에게 제공하지 않도록 결정할 수 있다.According to an embodiment of the present disclosure, the electronic device 1000 may determine harmfulness of sound included in content provided to the user. The electronic device 1000 analyzes the sound provided to the user using the sound recognition model, and if the result of the sound analysis includes a harmful sound (eg, a gunshot, slang, profanity, etc.), the electronic device 1000 may determine not to provide the sound to the user. there is.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 전자 장치에서 수집, 분석할 수 있는 다중 정보에 기초하여 전자 장치 사용자의 전자 장치 사용 내역을 모니터링 하고, 유해 컨텐츠 여부를 판단할 수 있다. 전자 장치 1000에서 수집, 분석할 수 있는 다중 정보는 이미지, 텍스트, 사운드 등 전자 장치 1000가 식별할 수 있는 모든 형태의 정보를 포함하며, 전자 장치 1000는 다중 정보에 기초하여 사용자의 전자 장치 사용 중지를 유도하거나, 질문 발화 제공 등 사용자의 전자 장치 사용을 중재하고 개입하기 위한 행위 일체를 제공할 수 있다.According to an embodiment of the present disclosure, the electronic device 1000 may monitor usage history of the electronic device user of the electronic device based on multiple pieces of information that can be collected and analyzed by the electronic device, and determine whether or not there is harmful content. The multi-information that can be collected and analyzed by the electronic device 1000 includes all types of information that the electronic device 1000 can identify, such as images, texts, and sounds, and the electronic device 1000 stops the user from using the electronic device based on the multi-information. All actions to mediate and intervene in the user's use of the electronic device may be provided, such as inducing the use of the electronic device.
예를 들어, 전자 장치 사용을 실시간으로 모니터링 하던 중 유해 텍스트 또는 유해 이미지가 포함된 것으로 판단된 경우, 전자 장치 1000는 전자 장치의 디스플레이의 백라이트를 끄거나, 전자 장치의 동작을 중지시키거나, 유해 텍스트 또는 유해 이미지를 모자이크 처리하거나, 또는 유해 텍스트 또는 유해 이미지가 포함된 부분을 건너뛰는 등의 직접적인 제어뿐 아니라, 사용자에게 다른 컨텐츠를 이용할 것을 제안하는 음성을 출력하거나 부모님께 도움을 요청할 것을 지시하는 음성을 출력하는 등의 추가적인 제어를 수행할 수 있다.For example, while monitoring the use of an electronic device in real time, if it is determined that harmful text or images are included, the electronic device 1000 turns off the backlight of the display of the electronic device, stops the operation of the electronic device, or displays a harmful image. Direct control, such as mosaicking text or harmful images, or skipping parts containing harmful text or images, as well as outputting a voice suggesting the user to use other content or instructing parents to ask for help Additional control such as outputting a voice may be performed.
또는, 컨텐츠의 일부에 유해 텍스트 또는 유해 이미지가 포함된 것으로 판단된 경우, 전자 장치 1000는 유해 텍스트 또는 유해 이미지 부분만 삭제하고 유해 컨텐츠가 삭제된 영역을 배경과 합성함으로써 끊김 없는 컨텐츠를 제공하도록 동작할 수 있다. 이와 같은 경우, 유해 컨텐츠가 차단된 것을 사용자는 인지하지 못하므로 관리자의 전자 장치 1000 관리에 대한 사용자의 거부감이 줄어드는 효과가 있다.Alternatively, if it is determined that part of the content includes harmful text or harmful images, the electronic device 1000 deletes only the harmful text or harmful image parts and synthesizes the area from which the harmful content is deleted with the background to provide seamless content. can do. In this case, since the user does not recognize that the harmful content is blocked, the user's resistance to the manager's management of the electronic device 1000 is reduced.
전자 장치 사용 자세에 대한 조건은, 전자 장치 1000의 사용자가 전자 장치를 사용하는 자세, 전자 장치 1000와 사용자의 거리 및 전자 장치 1000 사용자의 눈 깜빡임 주기에 대한 조건 및 전자 장치 사용 자세가 부적절한 것으로 판단된 경우 전자 장치 1000의 제어 방법을 포함할 수 있다.The conditions for the posture of using the electronic device are the posture of the user of the electronic device 1000 using the electronic device, the distance between the electronic device 1000 and the user, the conditions for the blinking cycle of the user of the electronic device 1000, and the posture of using the electronic device determined to be inappropriate. In this case, the control method of the electronic device 1000 may be included.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자의 전자 장치 사용 자세를 판단할 수 있다. 사용자의 전자 장치 사용 자세에 대한 조건은, 전자 장치 1000에서 카메라 및 각도 센서 등에서 수집할 수 있는 다중 정보의 분석 결과에 기초하여 결정될 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may determine a user's posture for using the electronic device. A condition for the user's posture for using the electronic device may be determined based on an analysis result of multiple pieces of information that may be collected from a camera and an angle sensor in the electronic device 1000 .
사용자의 전자 장치 사용 자세는 사용자가 전자 장치 1000 사용시 취하는 포즈, 전자 장치 1000와 사용자의 거리 및 전자 장치 사용자의 눈 깜빡임에 대한 정보를 포함할 수 있다. The user's posture for using the electronic device may include information about a pose the user takes when using the electronic device 1000, a distance between the electronic device 1000 and the user, and information on eye blinking of the user of the electronic device.
전자 장치 1000에 360? 카메라가 포함된 경우, 전자 장치 1000는 전면, 측면, 후면에서 촬영한 다면 화상을 획득할 수 있으며, 획득된 다면 화상에 기초하여 사용자의 자세(포즈) 정보를 획득할 수 있다. 본 개시의 일 실시예에 따르면, 전자 장치 1000는 소정의 기준 자세와 사용자의 자세 정보를 비교하고 그 결과에 기초하여 사용자의 자세 교정이 필요한지 여부 및 사용자의 자세를 어떻게 교정해야 하는지 여부를 판단할 수 있다. 전자 장치 1000가 전자 장치 1000와 사용자의 거리 및 전자 장치 사용자의 눈 깜빡임 주기를 측정하는 구체적인 방법은 도 12 내지 도 13에서 후술한다. 360 to 1000 electronic devices? When a camera is included, the electronic device 1000 may obtain a multi-faceted image captured from the front, side, or rear side, and may obtain user posture (pose) information based on the obtained multi-faceted image. According to an embodiment of the present disclosure, the electronic device 1000 compares a predetermined reference posture with posture information of the user, and based on the result, determines whether the posture of the user needs to be corrected and how to correct the posture of the user. can A detailed method of measuring, by the electronic device 1000, the distance between the electronic device 1000 and the user and the blinking cycle of the user of the electronic device will be described later with reference to FIGS. 12 and 13 .
사용자의 전자 장치 사용 자세가 부적절한 것으로 판단될 경우, 전자 장치 1000는 사용자에게 자세의 수정을 요구하도록 결정할 수 있다. 전자 장치 1000는 사용자에게 자세의 수정을 요구하기 위하여, 시각적(예를 들어, 디스플레이 알림 또는 캐릭터 송출 등), 청각적(예를 들어, 사운드 알림 또는 캐릭터의 발화 등) 지시 외에 다중 감각적 지시를 출력할 수 있다. When it is determined that the user's posture for using the electronic device is inappropriate, the electronic device 1000 may determine to request the user to correct the posture. The electronic device 1000 outputs multi-sensory instructions in addition to visual (eg, display notification or character transmission, etc.) and auditory (eg, sound notification or character utterance, etc.) instructions in order to request the user to correct the posture. can do.
전자 장치 1000를 특정 포즈(예를 들어, 고개를 앞으로 숙인 상태)로 장시간 사용할 경우, 척추 측만증, 손목 터널 증후군이나 거북목과 같은 근골격계 질환 뿐 아니라 안압이 높아지는 등의 안과 질환이 발생할 수 있다. 따라서, 전자 장치 사용자가 소정의 임계 시간 이상 동일한 포즈를 유지하고 있는 경우, 본 개시의 일 실시예에 따른 전자 장치 1000는 사용자에게 포즈를 바꾸거나 바른 자세를 취할 것을 권고하는 감각적 인터랙션을 출력할 수 있다. 이 때, 출력되는 감각적 인터랙션은 사용자가 선택한 소정의 캐릭터와 관련된 것일 수 있으며, 화면에 표시된 캐릭터가 자세를 바꾸거나 기지개를 켜거나 체조를 하는 애니메이션 및 음성을 출력할 수 있다. If the electronic device 1000 is used for a long time in a specific pose (for example, the head is bent forward), not only musculoskeletal diseases such as scoliosis, carpal tunnel syndrome, or turtle neck, but also eye diseases such as increased intraocular pressure may occur. Accordingly, when the user of the electronic device maintains the same pose for more than a predetermined threshold time, the electronic device 1000 according to an embodiment of the present disclosure may output a sensory interaction recommending that the user change a pose or take a correct posture. there is. In this case, the output sensory interaction may be related to a predetermined character selected by the user, and an animation and voice may be output in which the character displayed on the screen changes posture, stretches, or performs gymnastics.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 전면 또는 측면에 손가락을 인식할 수 있는 적어도 하나의 센서를 포함할 수 있으며, 적어도 하나의 센서에서 획득한 센싱 정보에 기초하여 사용자의 전자 장치 1000 파지 상태를 획득하고 올바른 파지법에 대한 가이드를 제공할 수 있다. 이 때, 적어도 하나의 센서는 지문 인식 센서일 수 있다.According to an embodiment of the present disclosure, the electronic device 1000 may include at least one sensor capable of recognizing a finger on the front or side, and the electronic device 1000 of the user is detected based on sensing information obtained from the at least one sensor. It can obtain gripping status and provide guidance on the correct gripping method. At this time, at least one sensor may be a fingerprint recognition sensor.
전자 장치 1000를 과도하게 가까운 거리에서 사용하는 경우, 근시 및 사시와 같은 안과 질환이 발생할 수 있다. 따라서 본 개시의 일 실시예에 따른, 전자 장치 1000와 전자 장치 사용자의 거리가 소정의 임계 거리 이내인 경우, 전자 장치 1000는 사용자에게 전자 장치를 보다 멀리 위치할 것을 권고하는 감각적 인터랙션을 출력할 수 있다. 이 때, 전자 장치 1000는 전자 장치의 카메라로 사용자의 얼굴을 캡쳐하고, 캡쳐된 얼굴 이미지에서 동공 검출 비전 모델을 이용하여 사용자의 두 동공의 위치 및 두 동공 사이의 거리를 식별하여 전자 장치 1000와 사용자의 눈 사이의 거리가 임계 거리 이내인지 여부를 판단할 수 있다. 안구건조증은 영상 단말(DVT) 증후군의 대표적인 증상으로, 전자 장치 사용시 눈 깜빡임 주기가 길어져 발생한다. 전자 장치 1000는, 전자 장치 1000 디스플레이의 밝기, 전자 장치 1000 주변의 밝기, 전자 장치 사용 경과 시간, 또는 전자 장치 사용 컨텐츠의 종류 중 적어도 하나에 기초하여 전자 장치 1000 디스플레이의 밝기를 조절할 수 있다. 예를 들어, 주변 조도가 낮은 곳에서 사용자가 장시간 전자 장치 1000를 이용시, 전자 장치 1000는 주변 조도 및 전자 장치 1000 디스플레이의 밝기에 따른 사용자 눈의 피로도를 예측하고, 전자 장치 1000 디스플레이의 밝기를 사용자 눈에 무리가 가지 않는 적당한 수준으로 결정하고, 제어할 수 있다. If the electronic device 1000 is used at an excessively short distance, eye diseases such as myopia and strabismus may occur. Therefore, according to an embodiment of the present disclosure, when the distance between the electronic device 1000 and the user of the electronic device is within a predetermined threshold distance, the electronic device 1000 may output a sensory interaction recommending the user to locate the electronic device farther away. there is. At this time, the electronic device 1000 captures the user's face with the electronic device's camera, identifies the location of the user's two pupils and the distance between the two pupils by using a pupil detection vision model in the captured face image, and identifies the electronic device 1000 and the distance between the two pupils. It may be determined whether the distance between the user's eyes is within a threshold distance. Dry eye syndrome is a representative symptom of visual terminal (DVT) syndrome, and occurs when the eye blink cycle is prolonged when using an electronic device. The electronic device 1000 may adjust the brightness of the display of the electronic device 1000 based on at least one of the brightness of the display of the electronic device 1000, the brightness of the surroundings of the electronic device 1000, the elapsed time of using the electronic device, or the type of content used by the electronic device. For example, when a user uses the electronic device 1000 for a long time in a place with low ambient light, the electronic device 1000 predicts the user's eye fatigue according to the ambient light and the brightness of the display of the electronic device 1000, and adjusts the brightness of the display of the electronic device 1000 to the user. It can be determined and controlled at an appropriate level that does not strain the eyes.
자기 조절 능력이 성숙하지 못한 유아동 사용자의 경우 과몰입으로 인하여 눈 깜빡임을 주기가 더욱 길어질 수 있다. 따라서, 본 개시의 일 실시예에 따른 전자 장치 1000는 전자 장치 사용자의 눈 깜빡임 주기를 측정하고, 전자 장치 사용자가 눈을 깜빡이는 주기가 소정의 임계 주기보다 긴 경우, 사용자에게 잠시 눈을 감고 전자 장치 1000의 사용을 중지할 것을 권고하는 감각적 인터랙션을 출력할 수 있다. 이 때, 전자 장치 1000는 눈의 깜빡임을 감지하는 합성곱 신경망 기반 비전 모델을 이용하여 사용자의 눈 깜빡임 패턴을 식별하고, 눈 깜빡임 주기가 임계 주기보다 길어지는 경우 사용자가 과몰입하고 있다고 판단할 수 있다. 또는, 전자 장치 1000는 캡쳐된 얼굴 이미지에서 구강 검출 모델을 이용하여 판단된 사용자의 구강 개폐 여부에 기초하여, 전자 장치 사용자의 과몰입 여부를 판단할 수 있다. In the case of a child user whose self-regulation ability is not mature, the eye blink cycle may become longer due to over-immersion. Therefore, the electronic device 1000 according to an embodiment of the present disclosure measures the eye blinking cycle of the electronic device user, and if the blinking cycle of the electronic device user is longer than a predetermined threshold cycle, the electronic device 1000 instructs the user to close his/her eyes for a while and read the electronic device. A sensory interaction recommending stopping use of the device 1000 may be output. At this time, the electronic device 1000 identifies the user's eye blink pattern using a convolutional neural network-based vision model that detects eye blinks, and determines that the user is overfocused when the eye blink cycle is longer than the critical cycle. there is. Alternatively, the electronic device 1000 may determine whether the user of the electronic device is over-immersed based on whether the user's mouth is opened or closed, which is determined by using the oral cavity detection model in the captured face image.
전자 장치 사용자가 과몰입한 것으로 판단되면, 전자 장치 1000는 사용자의 주의를 환기시키기 위한 소정의 사운드 또는 그래픽을 출력할 수 있다. 이 때, 출력되는 사운드 또는 그래픽은 사용자가 선택한 소정의 캐릭터와 관련된 것일 수 있다. 사용자가 유아동인 경우, 전자 장치 1000는 전자 장치의 사용을 일시 중지시킨 후, 화면에 표시된 캐릭터가 눈을 깜빡이거나 눈을 아파하는 애니메이션이나 을 화면에 표시하거나, 관련 음성을 출력할 수 있다.If it is determined that the user of the electronic device is overinvolved, the electronic device 1000 may output a predetermined sound or graphic to arouse the user's attention. In this case, the output sound or graphic may be related to a predetermined character selected by the user. If the user is a child, the electronic device 1000 may temporarily stop using the electronic device, and then display an animation in which a character displayed on the screen blinks or hurts the eyes, or outputs a related voice.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자에게 자세의 수정을 권고하는 지시를 출력한 후, 소정의 시간 이후에도 자세가 수정되지 않으면 전자 장치를 일시 중지하는 등의 방법을 통해 단계적으로 사용자의 전자 장치 사용 자세 수정을 유도할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 outputs an instruction recommending posture correction to the user, and if the posture is not corrected after a predetermined period of time, the electronic device 1000 temporarily pauses the electronic device to allow the user to adjust the posture in stages. Use of electronic devices can induce posture correction.
도 5는 본 개시의 일 실시예에 따른 전자 장치 관리 시스템에서, 전자 장치와 서버의 동작흐름도이다. 5 is an operation flowchart of an electronic device and a server in an electronic device management system according to an embodiment of the present disclosure.
도 5를 참조하면, 본 개시의 일 실시예에 따른 전자 관리 시스템에서, 서버 모델을 포함하는 인공지능 모델이 사용되는 경우, 전자 장치 관리 시스템은, 전자 장치 1000 및 인공지능 서버 3000를 포함할 수 있다. 서버 3000는 인공지능 서버일 수 있다. 도 5에 대한 설명 중, 도 3 및 도 4와 중복되는 내용은 생략될 수 있다. Referring to FIG. 5 , when an artificial intelligence model including a server model is used in an electronic management system according to an embodiment of the present disclosure, the electronic device management system may include an electronic device 1000 and an artificial intelligence server 3000. there is. The server 3000 may be an artificial intelligence server. In the description of FIG. 5 , contents overlapping those of FIGS. 3 and 4 may be omitted.
도 5에 개시된 실시예는, 부모인 관리자의 모바일 장치(예를 들어, 휴대폰 또는 태블릿 등)를 아이인 사용자가 사용하는 경우, 또는 부모 관리자가 아이 사용자의 모바일 장치를 이용하여 사용자 정보 및 관리자 정보를 입력하는 경우를 가정할 수 있다. In the embodiment disclosed in FIG. 5 , when a user who is a child uses a mobile device (for example, a mobile phone or tablet) of a manager who is a parent, or a parent manager uses a mobile device of a child user to provide user information and manager information. It can be assumed that the case of inputting .
본 개시의 일 실시예에 따른 전자 장치 관리 시스템은, 전자 장치 1000 사용 개시가 확인되면, 이전 사용시의 사용 내역 분석 결과, 이전 사용 내역이 관리 조건에 반영된 내역 및 이번 사용시의 사용 가능 내역(시간 및 애플리케이션)을 관리자 또는 사용자에게 제공할 수 있다. The electronic device management system according to an embodiment of the present disclosure, when the start of use of the electronic device 1000 is confirmed, the analysis result of the use history at the time of the previous use, the history of the previous use history being reflected in the management conditions, and the available history of the current use (time and application) can be provided to administrators or users.
단계 501에서, 전자장치 1000는 전자 장치 사용자 정보 및 관리자 정보를 획득할 수 있다.In step 501, the electronic device 1000 may obtain electronic device user information and manager information.
전자 장치 사용자 정보는, 사용자 기본 정보, 사용 방식 정보, 및 기질/성향 정보를 포함할 수 있다. 전자 장치 관리자 정보는, 관리자 기본 정보, 중재 방식 정보, 및 양육 태도 정보를 포함할 수 있다. Electronic device user information may include user basic information, usage method information, and disposition/propensity information. The electronic device manager information may include manager basic information, mediation method information, and parenting attitude information.
단계 502에서, 전자장치 1000는 획득된 전자 장치 사용자 정보 및 전자 장치 관리자 정보를 인공지능 서버 3000로 전송할 수 있다.In step 502, the electronic device 1000 may transmit the obtained electronic device user information and electronic device manager information to the artificial intelligence server 3000.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 전자 장치 사용자 정보 및 전자 장치 관리자 정보를 획득하고, 획득된 정보를 그대로 인공지능 서버 3000로 전송할 수 있다. 전자 장치 1000로부터 전자 장치 사용자 정보 및 관리자 정보를 수신한 인공지능 서버 3000는, 사용자 정보 및 전자 장치 관리자 정보에 기초하여 사용자-관리자 유형을 결정할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may acquire electronic device user information and electronic device manager information, and transmit the obtained information to the artificial intelligence server 3000 as it is. The artificial intelligence server 3000 receiving the electronic device user information and manager information from the electronic device 1000 may determine the user-manager type based on the user information and the electronic device manager information.
본 개시의 다른 실시예에 따르면, 전자 장치 1000는 획득된 전자 장치 사용자 정보 및 전자 장치 관리자 정보를 분석하여 필요한 형태로 변형하여 전송할 수 있다. 예를 들어, 전자 장치 1000가 인공지능 서버 3000로 전송하는 정보는 획득된 전자 장치 사용자 정보 및 전자 장치 관리자 정보에 기초하여 결정된 사용자-관리자 유형 정보일 수 있다. According to another embodiment of the present disclosure, the electronic device 1000 may analyze the obtained electronic device user information and electronic device manager information, transform it into a necessary form, and transmit it. For example, information transmitted from the electronic device 1000 to the artificial intelligence server 3000 may be user-administrator type information determined based on the obtained electronic device user information and electronic device manager information.
단계 503에서, 인공지능 서버 3000는 전자 장치 관리 조건을 획득할 수 있다. In step 503, the artificial intelligence server 3000 may acquire electronic device management conditions.
본 개시의 일 실시예에 따르면, 인공지능 서버 3000의 프로세서는 전자 장치 1000로부터 수신한 데이터에 대해 전처리 과정을 수행하여 인공지능 모델의 입력으로 사용하는 데에 적합한 형태로 변환할 수 있다. According to an embodiment of the present disclosure, the processor of the artificial intelligence server 3000 may perform a pre-processing process on the data received from the electronic device 1000 to convert it into a form suitable for use as an input of an artificial intelligence model.
본 개시에 따른 전자 장치의 관리 방법에 있어서, 전자 장치 관리 조건을 추론 또는 예측하기 위한 방법으로 전자 장치 사용자 정보 및 전자 장치 관리자 정보에 대한 데이터를 이용하여 전자 장치 관리 조건을 추천/실행하기 위해 인공지능 모델을 이용할 수 있다. In the method for managing an electronic device according to the present disclosure, as a method for inferring or predicting electronic device management conditions, artificially recommending/executing electronic device management conditions using electronic device user information and electronic device manager information data. Intelligence models are available.
사용자의 전자 장치 사용 시간에 대한 조건은, 전자 장치 사용자가 전자 장치를 사용하는 일별 최대 사용 시간, 요일별 최대 사용 시간, 애플리케이션별 최대 사용 시간, 회당 사용 시간 및 각각의 조합을 포함할 수 있으나 이에 한정되는 것은 아니다. Conditions for the user's electronic device usage time may include, but are not limited to, the maximum usage time per day, the maximum usage time per day, the maximum usage time per application, the usage time per session, and combinations of each when the electronic device user uses the electronic device. it is not going to be
사용자의 전자 장치 사용 내역에 대한 조건은, 전자 장치 1000를 통해 사용자에게 제공되는 컨텐츠의 유해도에 대한 조건 및 사용자에게 제공되는 컨텐츠가 유해 컨텐츠로 판단된 경우 전자 장치 1000의 제어 방법을 포함할 수 있다.The conditions for the user's use of the electronic device may include conditions for harmfulness of the content provided to the user through the electronic device 1000 and a control method of the electronic device 1000 when the content provided to the user is determined to be harmful. there is.
본 개시의 일 실시예 따르면, 사용자의 전자 장치 사용 내역에 대한 조건은 전자 장치에서 수집, 분석할 수 있는 다중 정보를 활용하여 유해 컨텐츠 여부를 판단하는 조건을 포함할 수 있다.According to an embodiment of the present disclosure, the condition for the user's electronic device use history may include a condition for determining whether or not harmful content is present by utilizing multiple pieces of information that can be collected and analyzed by the electronic device.
사용자의 전자 장치 사용 자세에 대한 조건은, 전자 장치 1000의 사용자가 전자 장치를 사용하는 자세, 전자 장치 1000와 사용자의 거리 및 전자 장치 1000 사용자의 눈 깜빡임 주기에 대한 조건 및 전자 장치 사용 자세가 부적절한 것으로 판단된 경우 전자 장치 1000의 제어 방법을 포함할 수 있다. Conditions for the user's posture of using the electronic device include the posture of the user of the electronic device 1000 using the electronic device, the distance between the electronic device 1000 and the user, the conditions for the eye blink cycle of the user of the electronic device 1000, and the improper posture of using the electronic device. When it is determined that the electronic device 1000 may include a control method.
단계 504에서, 인공지능 서버 3000는 전자 장치 관리 조건을 전자 장치 1000로 전송할 수 있다. In step 504, the artificial intelligence server 3000 may transmit electronic device management conditions to the electronic device 1000.
단계 505 내지 단계 506에서, 전자장치 1000는 전자 장치 사용을 모니터링하고, 전자 장치를 제어 할 수 있다. In steps 505 to 506, the electronic device 1000 may monitor usage of the electronic device and control the electronic device.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 서버로부터 획득한 전자 장치 관리 조건에 기초하여 사용자의 전자 장치 1000 사용을 실시간으로 모니터링 하며, 사용자의 현재 전자 장치 1000 사용 상태가 전자 장치 관리 조건을 벗어나는 경우 전자 장치 관리 조건에 기초하여 전자 장치 1000를 제어할 수 있다.According to an embodiment of the present disclosure, the electronic device 1000 monitors the user's usage of the electronic device 1000 in real time based on the electronic device management conditions acquired from the server, and the user's current usage state of the electronic device 1000 determines the electronic device management conditions. When out of range, the electronic device 1000 may be controlled based on the electronic device management conditions.
본 개시의 일 실시예에 따르면, 전자 장치 1000의 전자 장치 제어는 전자 장치 1000가 전자 장치 사용 상태를 변경시키는 직접적인 제어 뿐만 아니라, 전자 장치의 사용 상태 변경을 사용자에게 유도하기 위한 제어를 포함할 수 있다. 예를 들어, 사용자가 아동인 경우, 전자 장치 1000는 아동이 좋아하는 캐릭터를 화면 일부에 표시하고, 해당 캐릭터가 전자 장치의 사용 시간이 초과되었음을 알려주는 음성을 송출하도록 전자 장치 1000를 제어할 수 있다. 또는, 전자 장치 1000는 전자 장치 사용 자세를 변경할 것을 권고하는 메시지나 이미지를 화면에 표시하거나 전자 장치 1000가 아이콘을 표시하거나 진동하도록 전자 장치 1000를 제어하여 전자 장치 사용에 관한 사용자의 주의를 환기할 수 있다. 사용자가 무의식 중에 전자 장치 사용 상태가 전자 장치 관리 조건을 어기게 된 경우, 사용자의 주의가 환기되면 사용자가 자율적으로 전자 장치 관리 조건을 준수하도록 유도할 수 있다.According to an embodiment of the present disclosure, control of the electronic device of the electronic device 1000 may include not only direct control for the electronic device 1000 to change the use state of the electronic device, but also control for inducing a change in the use state of the electronic device to a user. there is. For example, if the user is a child, the electronic device 1000 may control the electronic device 1000 to display a character liked by the child on a portion of the screen and transmit a voice indicating that the usage time of the electronic device has been exceeded by the corresponding character. there is. Alternatively, the electronic device 1000 may display a message or image recommending changing the posture of using the electronic device on the screen, or control the electronic device 1000 to display an icon or vibrate to call attention to the user regarding the use of the electronic device. can If the user's state of use of the electronic device violates the electronic device management condition unconsciously, the user may be induced to voluntarily comply with the electronic device management condition when the user's attention is aroused.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자의 전자 장치 사용 시간에 대한 조건, 사용자의 전자 장치 사용 내역에 대한 조건 및 사용자의 현재 전자 장치 사용 상태에 대한 조건에 기초하여, 전자 장치 1000를 제어할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 determines the electronic device 1000 based on the user's electronic device usage time condition, the user's electronic device usage history condition, and the user's current electronic device usage condition condition. can control.
사용자의 전자 장치 사용 시간에 대한 조건은, 전자 장치 사용자가 전자 장치를 사용하는 일별 최대 사용 시간, 요일별 최대 사용 시간, 애플리케이션별 최대 사용 시간, 회당 사용 시간 및 각각의 조합을 포함할 수 있으나 이에 한정되는 것은 아니다. Conditions for the user's electronic device usage time may include, but are not limited to, the maximum usage time per day, the maximum usage time per day, the maximum usage time per application, the usage time per session, and combinations of each when the electronic device user uses the electronic device. it is not going to be
사용자의 전자 장치 사용 내역에 대한 조건은 전자 장치 1000를 통해 사용자에게 제공되는 컨텐츠의 유해도에 대한 조건 및 사용자에게 제공되는 컨텐츠가 유해 컨텐츠로 판단된 경우 전자 장치 1000의 제어 방법을 포함할 수 있다.Conditions for the user's use of the electronic device may include conditions for harmfulness of content provided to the user through the electronic device 1000 and a control method of the electronic device 1000 when the content provided to the user is determined to be harmful. .
전자 장치 사용 자세에 대한 조건은, 전자 장치 1000의 사용자가 전자 장치를 사용하는 자세, 전자 장치 1000와 사용자의 거리 및 전자 장치 1000 사용자의 눈 깜빡임 주기에 대한 조건 및 전자 장치 사용 자세가 부적절한 것으로 판단된 경우 전자 장치 1000의 제어 방법을 포함할 수 있다.The conditions for the posture of using the electronic device are the posture of the user of the electronic device 1000 using the electronic device, the distance between the electronic device 1000 and the user, the conditions for the blinking cycle of the user of the electronic device 1000, and the posture of using the electronic device determined to be inappropriate. In this case, the control method of the electronic device 1000 may be included.
단계 507 에서, 전자 장치 1000는 사용자와 전자 장치 1000 사이의 인터랙션 정보 및 액션 데이터를 인공지능 서버 3000로 전송할 수 있다. In step 507, the electronic device 1000 may transmit interaction information and action data between the user and the electronic device 1000 to the artificial intelligence server 3000.
사용자와 전자 장치 사이의 인터랙션 정보는, 사용자의 전자 장치 사용을 제어하기 위하여 사용자에게 제공한 일체의 인터랙션과 관련된 정보를 의미한다. 인터랙션은, 사용 시간 조건에 기초하여 전자 장치 사용을 중단하도록 유도하기 위하여 제공한 인터랙션, 사용 내역 조건에 기초하여 다른 컨텐츠 이용을 유도하기 위하여 제공한 인터랙션, 및 사용 자세 조건에 기초하여 자세 교정을 유도하기 위하여 제공한 인터랙션을 포함할 수 있다. 또한, 인터랙션은 시각, 청각 또는 다중 감각 인터랙션 및 기타 인터랙션을 모두 포함할 수 있다.Interaction information between the user and the electronic device refers to information related to all interactions provided to the user in order to control the user's use of the electronic device. The interaction induces posture correction based on an interaction provided to induce use of an electronic device based on a usage time condition, an interaction provided to induce use of other content based on a usage history condition, and a usage posture condition. It may include the interaction provided to do so. In addition, the interaction may include all of visual, auditory, multi-sensory interactions, and other interactions.
액션 데이터는, 사용자가 전자 장치를 사용하는 동안의 액션에 대한 데이터 및 사용자가 전자 장치를 사용하는 동안 사용자의 액션을 분석한 데이터를 의미한다. 예를 들어, 전자 장치 1000가 사용 시간 종료 이전에 사용 종료를 유도하기 위한 인터랙션을 제공하고, 사용자가 해당 인터랙션에 응답하여 사용을 종료한 경우, 전자 장치는 사용자의 ‘종료’ 액션 및 해당 ‘종료’ 액션에 대하여 인터랙션에 따른 자의적인 종료로 판단하고 이를 데이터화하여 저장할 수 있다. The action data refers to data on actions taken by the user while using the electronic device and data obtained by analyzing the user's actions while the user is using the electronic device. For example, if the electronic device 1000 provides an interaction for inducing termination of use before the usage time ends, and the user ends the use in response to the interaction, the electronic device responds to the user's 'end' action and the corresponding 'end' action. 'Action can be judged as an arbitrary termination according to an interaction and converted into data and stored.
전자 장치 1000는, 사용자의 전자 장치 사용 내역 뿐 아니라 이에 따른 사용자와 전자 장치 사이의 인터랙션 정보 및 액션 데이터를 저장할 수 있다. 예를 들어, 전자 장치 1000는 사용자의 전자 장치 사용 방식, 사용 시작시부터 종료시까지 사용자가 발화한 발문 및 응답 내역, 사용자의 전자 장치 사용 자세, 사용 종료시간 이내에 중재에 응하여 자발적으로 종료했는지 여부, 또는 전자 장치 사용 중재 시도에 대한 사용자의 수용도(예를 들어, 전자 장치 사용 중재 시도에 대한 사용자의 응답 여부, 응답 유형 또는 응답까지 걸린 시간) 등의 정보를 내부 메모리에 저장할 수 있다. The electronic device 1000 may store not only the user's use history of the electronic device, but also interaction information and action data between the user and the electronic device. For example, the electronic device 1000 includes the user's method of using the electronic device, the history of questions and responses uttered by the user from the start of use to the end of use, the user's posture in using the electronic device, whether or not the electronic device voluntarily terminated in response to intervention within the end of use, Alternatively, information such as the user's acceptability of the electronic device use arbitration attempt (eg, the user's response to the electronic device use arbitration attempt, the type of response, or the time taken to respond) may be stored in the internal memory.
단계 508 내지 단계 509에서, 인공지능 서버 3000는 수신한 인터랙션 정보 및 액션 데이터에 기초하여 인공지능 모델을 학습하고, 전자 장치 관리 조건을 갱신할 수 있다. In steps 508 to 509, the artificial intelligence server 3000 may learn an artificial intelligence model based on the received interaction information and action data and update electronic device management conditions.
인공지능 서버 3000는, 전자 장치 1000로부터 수신한 사용자와 전자 장치 사이의 인터랙션 정보 및 액션 데이터를 분석하여 인공지능 모델을 학습한다. 예를 들어, 인공지능 서버 3000 는 사용자의 전자 장치 사용 방식, 사용 시작시부터 종료시까지 사용자가 발화한 발문 및 응답 내역, 사용자의 전자 장치 사용 자세, 사용 종료시간 이내에 중재에 응하여 자발적으로 종료했는지 여부 등에 기초하여 인공지능 모델을 학습할 수 있다. The artificial intelligence server 3000 learns an artificial intelligence model by analyzing interaction information and action data between the user and the electronic device received from the electronic device 1000 . For example, the artificial intelligence server 3000 includes the user's electronic device usage method, the history of questions and responses uttered by the user from the start of use to the end of use, the user's posture in using the electronic device, and whether or not the user terminated voluntarily in response to intervention within the end time of use. AI models can be learned based on
인공지능 서버 3000는, 학습된 인공지능 모델에 기초하여 갱신된 전자 장치 관리 조건을 획득한다. The artificial intelligence server 3000 acquires updated electronic device management conditions based on the learned artificial intelligence model.
인공지능 서버 3000는, 전자 장치 1000로부터 수신한 사용자와 전자 장치 사이의 인터랙션 정보 및 액션 데이터를 저장할 수 있으며, 저장된 데이터들은 다음 회차의 전자 장치 사용 뿐 아니라, 중장기적 교육 계획 수립을 위하여 인공지능 모델에 반영될 수 있다. 본 개시에 따른 인공지능 서버 3000는, 동일 연령대, 동일 성별의 다른 사용자들의 인터랙션 정보 및 액션 데이터에 대한 통계 정보를 이용하여 인공지능 모델을 학습하고, 학습된 인공지능 모델에 기초하여 전자 장치 관리 조건을 획득할 수 있다.The artificial intelligence server 3000 may store interaction information and action data between the user and the electronic device received from the electronic device 1000, and the stored data is an artificial intelligence model for the next use of the electronic device as well as for establishing a mid- to long-term education plan. can be reflected in The artificial intelligence server 3000 according to the present disclosure learns an artificial intelligence model using statistical information about interaction information and action data of other users of the same age and gender, and manages an electronic device based on the learned artificial intelligence model. can be obtained.
단계 510에서, 인공지능 서버 3000 는 갱신된 전자 장치 관리 조건을 전자 장치 1000로 전달할 수 있다.In step 510, the artificial intelligence server 3000 may deliver updated electronic device management conditions to the electronic device 1000.
갱신된 전자 장치 관리 조건을 획득한 전자 장치 관리 시스템은, 단계 505 내지 단계 510을 반복하여, 전자 장치 1000는 갱신된 전자 장치 관리 조건에 기초하여 전자 장치를 모니터링 하고 제어할 수 있다. After acquiring the updated electronic device management conditions, the electronic device management system repeats steps 505 to 510 so that the electronic device 1000 can monitor and control the electronic device based on the updated electronic device management conditions.
도 6은 본 개시의 일 실시예에 따른 전자 장치 관리 시스템에서, 제1 전자 장치, 제2 전자 장치와 서버의 동작흐름도이다.6 is an operation flowchart of a first electronic device, a second electronic device, and a server in an electronic device management system according to an embodiment of the present disclosure.
도 6을 참조하면, 본 개시의 일 실시예에 따른 전자 장치 관리 시스템은 제1 전자 장치와 서버 외에도 제2 전자 장치를 더 포함하며, 제1 전자 장치는 사용자 장치를, 제2 전자 장치는 관리자 장치를 의미할 수 있다. Referring to FIG. 6 , the electronic device management system according to an embodiment of the present disclosure further includes a second electronic device in addition to the first electronic device and the server, wherein the first electronic device is a user device and the second electronic device is a manager. can mean a device.
도 6에 개시된 실시예는, 아이 사용자의 모바일 장치(제1 전자 장치)를 관리하기 위하여, 부모인 관리자가 별도의 전자 장치(제2 전자 장치)를 사용하는 경우를 가정할 수 있다. 부모인 관리자가 별도의 전자 장치를 사용하는 경우, 관리자와 사용자가 같은 공간에 있지 않아도 제어 상태의 실시간 확인 및 새로운 조건의 설정이 가능하다. In the embodiment disclosed in FIG. 6 , it may be assumed that a manager who is a parent uses a separate electronic device (second electronic device) to manage a child user's mobile device (first electronic device). When a manager as a parent uses a separate electronic device, real-time confirmation of a control state and setting of new conditions are possible even when the manager and the user are not in the same space.
제2 전자 장치, 즉 별도의 관리자 장치가 있는 경우, 관리자는 제2 전자 장치를 통해 제1 전자 장치 사용자 정보 및 관리자 정보를 획득하여 서버로 전달하고, 제1 전자 장치 제어 결과를 획득하여 모니터링 하고, 피드백 수 있다. 서버 3000는 인공지능 서버일 수 있으며, 도 6에서, 도 3 내지 도 5와 중복되는 내용은 생략될 수 있다. If there is a second electronic device, that is, a separate manager device, the manager obtains the first electronic device user information and manager information through the second electronic device and transfers the information to the server, obtains and monitors the first electronic device control result, and , can feedback. The server 3000 may be an artificial intelligence server, and in FIG. 6, overlapping content with FIGS. 3 to 5 may be omitted.
단계 601에서, 제2 전자 장치 2000는 제1 전자 장치 사용자 정보 및 관리자 정보를 획득할 수 있다.In step 601, the second electronic device 2000 may obtain user information and manager information of the first electronic device.
전자 장치 사용자 정보는, 사용자 기본 정보, 사용 방식 정보, 및 기질/성향 정보를 포함할 수 있다. 전자 장치 관리자 정보는, 관리자 기본 정보, 중재 방식 정보, 및 양육 태도 정보를 포함할 수 있다.Electronic device user information may include user basic information, usage method information, and disposition/propensity information. The electronic device manager information may include manager basic information, mediation method information, and parenting attitude information.
단계 602에서, 제2 전자 장치 2000는 획득된 제1 전자 장치 사용자 정보 및 전자 장치 관리자 정보를 인공지능 서버 3000로 전송할 수 있다.In step 602, the second electronic device 2000 may transmit the acquired first electronic device user information and electronic device manager information to the artificial intelligence server 3000.
본 개시의 다른 실시예에 따르면, 제1 전자 장치는 제1 전자 장치 사용자 정보를 획득하여 인공지능 서버 3000로 전송하고, 제2 전자 장치는 제1 전자 장치 관리자 정보를 획득하여 인공지능 서버 3000로 전송할 수 있으나, 이는 미도시되어 있다. According to another embodiment of the present disclosure, the first electronic device obtains first electronic device user information and transmits it to the artificial intelligence server 3000, and the second electronic device obtains first electronic device manager information and transmits it to the artificial intelligence server 3000. It can be transmitted, but this is not shown.
단계 603에서, 인공지능 서버 3000는 제1 전자 장치 관리 조건을 획득할 수 있다. In step 603, the artificial intelligence server 3000 may obtain a first electronic device management condition.
본 개시에 따른 전자 장치의 관리 방법에 있어서, 전자 장치 관리 조건을 추론 또는 예측하기 위한 방법으로 전자 장치 사용자 정보 및 전자 장치 관리자 정보에 대한 데이터를 이용하여 전자 장치 관리 조건을 추천/실행하기 위해 인공지능 모델을 이용할 수 있다. In the method for managing an electronic device according to the present disclosure, as a method for inferring or predicting electronic device management conditions, artificially recommending/executing electronic device management conditions using electronic device user information and electronic device manager information data. Intelligence models are available.
단계 604에서, 인공지능 서버 3000는 제1 전자 장치 관리 조건을 전자 장치 1000로 전송할 수 있다. In step 604, the artificial intelligence server 3000 may transmit a first electronic device management condition to the electronic device 1000.
단계 605 내지 단계 606에서, 제1 전자 장치 1000는 제1 전자 장치 사용을 모니터링 하고, 제1 전자 장치를 제어할 수 있다. In steps 605 to 606, the first electronic device 1000 may monitor usage of the first electronic device and control the first electronic device.
본 개시의 일 실시예에 따르면, 제1 전자 장치 1000는 사용자의 제1 전자 장치 1000 사용을 실시간으로 모니터링 하며, 사용자의 현재 제1 전자 장치 1000 사용 상태가 제1 전자 장치 관리 조건을 벗어나는 경우 제1 전자 장치 관리 조건에 기초하여 전자 장치 1000를 제어할 수 있다.According to an embodiment of the present disclosure, the first electronic device 1000 monitors the user's use of the first electronic device 1000 in real time, and if the user's current usage state of the first electronic device 1000 exceeds the first electronic device management condition, a 1 The electronic device 1000 may be controlled based on an electronic device management condition.
본 개시의 일 실시예에 따르면, 전자 장치 1000의 전자 장치 제어는 전자 장치 1000가 전자 장치 사용 상태를 변경시키는 직접적인 제어 뿐만 아니라, 전자 장치의 사용 상태 변경을 사용자에게 유도하기 위한 제어를 포함할 수 있다. 예를 들어, 사용자가 아동인 경우, 전자 장치 1000는 아동이 좋아하는 캐릭터를 화면 일부에 표시하고, 해당 캐릭터가 전자 장치의 사용 시간이 초과되었음을 알려주는 음성을 송출하도록 전자 장치 1000를 제어할 수 있다. 또는, 전자 장치 1000는 전자 장치 사용 자세를 변경할 것을 권고하는 UI(user interface)를 화면에 표시하도록 전자 장치 1000를 제어할 수 있다.According to an embodiment of the present disclosure, control of the electronic device of the electronic device 1000 may include not only direct control for the electronic device 1000 to change the use state of the electronic device, but also control for inducing a change in the use state of the electronic device to a user. there is. For example, if the user is a child, the electronic device 1000 may control the electronic device 1000 to display a character liked by the child on a portion of the screen and transmit a voice indicating that the usage time of the electronic device has been exceeded by the corresponding character. there is. Alternatively, the electronic device 1000 may control the electronic device 1000 to display a user interface (UI) recommending a change in the posture of using the electronic device on the screen.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자의 전자 장치 사용 시간에 대한 조건, 사용자의 전자 장치 사용 내역에 대한 조건 및 사용자의 현재 전자 장치 사용 상태에 대한 조건에 기초하여, 전자 장치 1000를 제어할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 determines the electronic device 1000 based on the user's electronic device usage time condition, the user's electronic device usage history condition, and the user's current electronic device usage condition condition. can control.
단계 607에서, 제1 전자 장치 1000는 사용자와 제1 전자 장치 1000 사이의 인터랙션 정보 및 액션 데이터를 인공지능 서버 3000로 전송할 수 있다. In step 607, the first electronic device 1000 may transmit interaction information and action data between the user and the first electronic device 1000 to the artificial intelligence server 3000.
사용자와 전자 장치 사이의 인터랙션 정보는, 사용자의 전자 장치 사용을 제어하기 위하여 사용자에게 제공한 일체의 인터랙션과 관련된 정보를 의미한다. 액션 데이터는, 사용자가 전자 장치를 사용하는 동안 사용자의 의도가 반영된 액션을 분석한 데이터를 의미한다.Interaction information between the user and the electronic device refers to information related to all interactions provided to the user in order to control the user's use of the electronic device. The action data refers to data obtained by analyzing an action in which a user's intention is reflected while the user uses the electronic device.
단계 608 내지 단계 609에서, 제1 전자 장치 1000는 제1 전자 장치 제어 결과를 제2 전자 장치로 전송하고, 제2 전자 장치 2000는 제1 전자 장치 제어 결과를 표시할 수 있다. 단계 608 내지 단계 609를 통해 제1 전자 장치의 관리자는, 제2 전자 장치에서 수신한 제1 전자 장치 제어 결과를 실시간으로 확인할 수 있다. In steps 608 to 609, the first electronic device 1000 may transmit the first electronic device control result to the second electronic device, and the second electronic device 2000 may display the first electronic device control result. Through steps 608 to 609, the manager of the first electronic device can check the control result of the first electronic device received from the second electronic device in real time.
단계 610에서, 제2 전자 장치 2000는 인공지능 서버 3000로 제1 전자 장치 제어 결과에 대한 피드백을 전송할 수 있다.In step 610, the second electronic device 2000 may transmit feedback on the first electronic device control result to the artificial intelligence server 3000.
제1 전자 장치의 관리자는 단계 609에서 확인한 제1 전자 장치 제어 결과에 기초하여, 추가적인 제어가 필요한 경우 또는 제어 조건의 변경이 필요한 경우 제2 전자 장치를 이용하여 제1 전자 장치 제어 결과에 대한 피드백을 인공지능 서버 3000로 전송할 수 있다. 제1 전자 장치 제어 결과에 대한 피드백은, 제1 전자 장치 제어의 적절성, 제1 전자 장치 제어 결과에 대한 만족도, 제1 전자 장치 제어 조건 추가 수정 필요 여부, 또는 제1 전자 장치 제어 조건 추가 수정 내용 중 적어도 하나를 포함할 수 있다.Based on the control result of the first electronic device identified in step 609, the manager of the first electronic device provides feedback on the control result of the first electronic device using the second electronic device when additional control is required or when control conditions are changed. may be transmitted to the artificial intelligence server 3000. The feedback on the first electronic device control result may include the appropriateness of the first electronic device control, satisfaction with the first electronic device control result, whether the first electronic device control condition needs additional modification, or the first electronic device control condition additionally modified content. may include at least one of them.
본 개시의 일 실시예에 따르면, 제2 전자 장치는 제1 전자 장치의 관리자가 수동으로 변경한 제1 전자 장치 관리 조건 또는 제1 전자 장치의 관리자가 수정한 제1 전자 장치 사용자 정보 및 관리자 정보를 인공지능 서버 3000로 전송하여, 제1 전자 장치 관리 조건을 갱신하도록 할 수 있다. According to an embodiment of the present disclosure, the second electronic device is a first electronic device management condition manually changed by a manager of the first electronic device or first electronic device user information and manager information modified by a manager of the first electronic device. may be transmitted to the artificial intelligence server 3000 to update the first electronic device management condition.
본 개시의 일 실시예에 따르면, 인공지능 서버 3000는 제2 전자 장치 2000에 소정의 주기로 현재의 전자 장치 관리 조건에 대한 피드백 요청을 전송하고, 제2 전자 장치 2000로부터 현재의 전자 장치 관리 조건에 대한 피드백 요청을 수신할 수 있다. 또는, 인공지능 서버 3000는 제1 전자 장치 1000 사용자에 대한 전자 장치 관리 조건 변경이 필요한 경우(예를 들어, 사용자가 발달 단계가 변경되는 월령에 도달한 경우) 현재의 전자 장치 관리 조건에 대한 피드백 요청을 전송하고, 제2 전자 장치 2000로부터 현재의 전자 장치 관리 조건에 대한 피드백 요청을 수신할 수 있다.According to an embodiment of the present disclosure, the artificial intelligence server 3000 transmits a feedback request for the current electronic device management condition to the second electronic device 2000 at a predetermined cycle, and responds to the current electronic device management condition from the second electronic device 2000. You may receive a request for feedback. Alternatively, the artificial intelligence server 3000 provides feedback on the current electronic device management conditions when it is necessary to change the electronic device management conditions for the first 1000 users (for example, when the user reaches the age at which the developmental stage changes). A request may be transmitted, and a feedback request for a current electronic device management condition may be received from the second electronic device 2000 .
단계 611 내지 단계 612에서, 인공지능 서버 3000는 제1 전자 장치로부터 수신한 인터랙션 정보 및 액션 데이터, 제2 전자 장치로부터 수신한 제1 전자 장치 제어 결과에 대한 피드백에 기초하여 인공지능 모델을 학습하고, 제1 전자 장치 관리 조건을 갱신할 수 있다. In steps 611 and 612, the artificial intelligence server 3000 learns an artificial intelligence model based on the interaction information and action data received from the first electronic device and the feedback on the control result of the first electronic device received from the second electronic device. , the first electronic device management condition may be updated.
단계 613에서, 인공지능 서버 3000는 갱신된 제1 전자 장치 관리 조건을 제1 전자 장치 1000로 전달할 수 있다. 또한, 인공지능 서버 3000는 필요한 경우 갱신된 제1 전자 장치 관리 조건을 제2 전자 장치 2000로 전달할 수 있다. In step 613, the artificial intelligence server 3000 may transfer the updated first electronic device management condition to the first electronic device 1000. Also, the artificial intelligence server 3000 may transfer the updated first electronic device management condition to the second electronic device 2000 if necessary.
갱신된 전자 장치 관리 조건을 획득한 전자 장치 관리 시스템은, 단계 605 내지 단계 513을 반복하여, 제1 전자 장치 1000는 갱신된 제1 전자 장치 관리 조건에 기초하여 제1 전자 장치를 모니터링하고 제어할 수 있다. 또한, 갱신된 제1 전자 장치 관리 조건을 획득한 제2 전자 장치는, 갱신된 제1 전자 장치 관리 조건을 관리자에게 제공할 수 있다. Upon obtaining the updated electronic device management conditions, the electronic device management system repeats steps 605 to 513 so that the first electronic device 1000 can monitor and control the first electronic device based on the updated first electronic device management conditions. can Also, the second electronic device that has obtained the updated first electronic device management condition may provide the updated first electronic device management condition to the manager.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 장치를 제어하는 방법의 순서도이다. 7 is a flowchart of a method for an electronic device to control a device according to an embodiment of the present disclosure.
도 7은, 도 5에 개시된 실시예에 따른 전자 관리 시스템에서 전자 장치가 장치를 제어하는 방법의 순서도를 나타낸다. 7 is a flowchart of a method for an electronic device to control a device in the electronic management system according to the embodiment disclosed in FIG. 5 .
단계 701에서, 전자 장치 1000는 전자 장치의 사용자 정보 및 관리자 정보를 획득할 수 있다. In step 701, the electronic device 1000 may obtain user information and manager information of the electronic device.
전자 장치 사용자 정보는, 사용자 기본 정보, 사용 방식 정보, 및 기질/성향 정보를 포함할 수 있다. 전자 장치 관리자 정보는, 관리자 기본 정보, 중재 방식 정보, 및 양육 태도 정보를 포함할 수 있다. Electronic device user information may include user basic information, usage method information, and disposition/propensity information. The electronic device manager information may include manager basic information, mediation method information, and parenting attitude information.
단계 702에서, 전자장치 1000는 전자 장치의 사용자에 대한 정보 및 관리자에 대한 정보에 기초하여, 인공지능 모델로부터 식별된 전자 장치 관리 조건을 획득할 수 있다. In step 702, the electronic device 1000 may obtain the identified electronic device management conditions from the artificial intelligence model based on the information about the user and the manager of the electronic device.
서버 모델을 포함하는 인공지능 모델이 사용되는 경우, 전자장치 1000는 획득된 전자 장치 사용자 정보 및 전자 장치 관리자 정보를 인공지능 서버 3000로 전송하고, 인공지능 서버 3000로부터 전자 장치의 사용자에 대한 정보 및 관리자에 대한 정보에 기초하여, 인공지능 모델로부터 식별된 전자 장치 관리 조건을 획득할 수 있다. When an artificial intelligence model including a server model is used, the electronic device 1000 transmits the obtained electronic device user information and electronic device manager information to the artificial intelligence server 3000, and from the artificial intelligence server 3000, information about the user of the electronic device and An electronic device management condition identified from the artificial intelligence model may be obtained based on the manager information.
단계 703 내지 단계 705에서, 전자장치 1000는 전자 장치 사용을 모니터링하고, 전자 장치를 제어 할 수 있다. In steps 703 to 705, the electronic device 1000 may monitor usage of the electronic device and control the electronic device.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 서버로부터 획득한 전자 장치 관리 조건에 기초하여 사용자의 전자 장치 1000 사용을 실시간으로 모니터링(단계 703) 하며, 사용자의 현재 전자 장치 1000 사용 상태가 전자 장치 관리 조건을 만족시키는지 여부를 판단(단계 704)하고, 사용자의 현재 전자 장치 1000 사용 상태가 전자 장치 관리 조건을 만족시키지 못하는 경우 전자 장치 관리 조건에 기초하여 전자 장치 1000를 제어(단계 705)할 수 있다.According to an embodiment of the present disclosure, the electronic device 1000 monitors the user's use of the electronic device 1000 in real time based on the electronic device management condition acquired from the server (step 703), and the user's current electronic device 1000 usage state is It is determined whether the device management condition is satisfied (step 704), and if the user's current use state of the electronic device 1000 does not satisfy the electronic device management condition, the electronic device 1000 is controlled based on the electronic device management condition (step 705). can do.
본 개시의 일 실시예에 따르면, 전자 장치 1000의 전자 장치 제어는 전자 장치 1000가 전자 장치 사용 상태를 변경시키는 직접적인 제어 뿐만 아니라, 전자 장치의 사용 상태 변경을 사용자에게 유도하기 위한 제어를 포함할 수 있다.According to an embodiment of the present disclosure, control of the electronic device of the electronic device 1000 may include not only direct control for the electronic device 1000 to change the use state of the electronic device, but also control for inducing a change in the use state of the electronic device to a user. there is.
단계 706에서, 전자장치 1000는 갱신된 전자 장치 관리 조건을 획득할 수 있다. In step 706, the electronic device 1000 may obtain updated electronic device management conditions.
전자 장치 관리 조건은 전자 장치 1000는 사용자와 전자 장치 1000 사이의 인터랙션 정보 및 액션 데이터에 기초하여 학습된 인공지능 모델에 기초하여 갱신될 수 있다. The electronic device management condition may be updated based on an artificial intelligence model learned based on interaction information and action data between the user and the electronic device 1000 of the electronic device 1000 .
서버 모델을 포함하는 인공지능 모델이 사용되는 경우, 전자장치 1000는 사용자와 전자 장치 1000 사이의 인터랙션 정보 및 액션 데이터를 인공지능 서버 3000로 전송하고, 인공지능 서버 3000로부터 사용자와 전자 장치 1000 사이의 인터랙션 정보 및 액션 데이터에 기초하여 학습된 인공지능 모델로부터 획득된, 갱신된 전자 장치 관리 조건을 획득할 수 있다. When an artificial intelligence model including a server model is used, the electronic device 1000 transmits interaction information and action data between the user and the electronic device 1000 to the artificial intelligence server 3000, and the artificial intelligence server 3000 transmits information between the user and the electronic device 1000. An updated electronic device management condition obtained from an artificial intelligence model learned based on the interaction information and action data may be obtained.
이후, 갱신된 전자 장치 관리 조건을 획득한 전자 장치 1000는 갱신된 전자 장치 관리 조건에 기초하여 단계 703 내지 단계 706를 반복하여, 전자 장치 1000는 갱신된 전자 장치 관리 조건에 기초하여 전자 장치를 모니터링 하고 제어할 수 있다. Thereafter, the electronic device 1000 that obtains the updated electronic device management conditions repeats steps 703 to 706 based on the updated electronic device management conditions, so that the electronic device 1000 monitors the electronic device based on the updated electronic device management conditions. and can be controlled.
이하에서는, 전자 장치 관리 조건을 결정하는 구체적인 방법들에 대하여 기술한다. Hereinafter, specific methods for determining electronic device management conditions will be described.
도 8은 본 개시의 일 실시예에 따른, 전자 장치 사용 시간 추천 모델이다.8 is an electronic device use time recommendation model according to an embodiment of the present disclosure.
본 개시의 일 실시예에 따른 전자 장치 사용 시간 추천 모델은 사용자의 나이 정보가 입력되면, 사용자 나이에 적합한 추천 사용 시간을 출력한다. 사용자의 나이 정보는 생년월일, 연령, 및 월령 정보를 모두 포함할 수 있으며, 예를 들어, 만 두살 미만의 아동은 월령 정보를 그 이상은 연령 정보를 의미할 수 있다. 추천 사용 시간은 전자 장치의 1회 사용 시간, 전자 장치의 1일 사용 시간, 및 애플리케이션별 사용 시간을 포함할 수 있다. The electronic device usage time recommendation model according to an embodiment of the present disclosure outputs a recommended usage time suitable for the user's age when age information of the user is input. Age information of the user may include date of birth, age, and month age information. For example, age information for a child under the age of two may mean age information for a child older than 2 years old. The recommended use time may include a single use time of the electronic device, a daily use time of the electronic device, and a use time for each application.
예를 들어, 전자 장치 사용 시간 추천 모델은 2-7세 유아동의 월령 및 1회 평균 사용 시간을 학습데이터로 사용할 수 있다. 두 인자를 대상으로 선형 회귀(Linear Regression) 등의 방법을 통해 월령에 따른 1회 사용 시간의 상관관계를 학습하고, 학습을 통해 획득한 모델을 추천 사용시간 모델로 이용할 수 있다. For example, the electronic device usage time recommendation model may use the age of children aged 2 to 7 years old and average usage time per time as learning data. For the two factors, the correlation between usage time per month according to the age of the month is learned through methods such as linear regression, and the model acquired through learning can be used as a recommended usage time model.
본 개시의 일 실시예에 따른 전자 장치 관리 시스템은, 전자 장치 과의존 진단 모델을 추가로 이용할 수 있다. 본 개시의 일 실시예에 따른 전자 장치 과의존 진단 모델은 사용자 나이 정보 및 사용자 평균 사용 시간 정보가 입력되면, 사용자가 전자 장치 과의존 위험 여부를 출력한다. 사용자 평균 사용 시간은 1회 평균 사용 시간 및 1일 평균 사용 시간을 포함할 수 있다.The electronic device management system according to an embodiment of the present disclosure may additionally use an electronic device overdependency diagnosis model. The electronic device overdependence diagnostic model according to an embodiment of the present disclosure outputs whether the user is at risk of electronic device overdependence when user age information and user average usage time information are input. The user's average usage time may include a one-time average usage time and a daily average usage time.
예를 들어, 전자 장치 과의존 진단 모델은 2-7세 유아동의 월령, 1회 평균 사용 시간 및 스마트 기기 과의존 진단 여부 데이터를 학습 데이터로 사용할 수 있다. 해당 데이터들을 선형 서포트 벡터 머신(SVM, support vector machine)을 사용해 학습한 모델로, 월령과 1회 평균 사용시간으로 구성된 평면 공간에서 선형으로 두 클러스터로 구분하여 각각 과의존으로 진단된 데이터가 많은 쪽을 과의존 위험군, 적은 쪽을 일반 군으로 구분하여 사용자의 스마트 기기 과의존 여부를 추론할 수 있다. For example, the electronic device overdependency diagnosis model may use the age of children aged 2 to 7 years, the average usage time per time, and smart device overdependency diagnosis data as learning data. This is a model learned using a linear support vector machine (SVM) for the corresponding data. It is linearly divided into two clusters in a flat space composed of monthly age and average usage time per time, and the one with more data diagnosed as overdependency, respectively. It is possible to infer whether the user is overdependent on a smart device by classifying into an overdependency risk group and a lesser one into a normal group.
관리자가 사용자의 월령 및 1회 사용 시간을 입력하는 경우, 전자 장치 과의존 진단 모델은 사용자의 스마트 기기 과의존 위험 여부를 출력하며, 전자 장치 1000는 이를 화면에 표시하여, 관리자가 사용자의 스마트 기기 과의존 위험 여부를 확인하도록 할 수 있다. When the administrator inputs the user's age and single use time, the electronic device overdependence diagnosis model outputs whether the user is at risk of smart device overdependence, and the electronic device 1000 displays it on the screen, so that the administrator can determine the user's smart device You can ask them to check whether they are at risk of overdependence.
도 9는 본 개시의 일 실시예에 따른 사용 시간 추천 모델 학습 결과이다. 9 is a learning result of a use time recommendation model according to an embodiment of the present disclosure.
도 9에 도시된 그래프는 유아동의 월령과 스마트 기기 평균 사용 시간 사이의 관계로, 사용자의 월령에 대한 1회 사용 시간이 추천 사용 시간 모델 선형 회귀선 근처에 있는 경우 과의존 위험이 없다고 판단할 수 있다. 반면, 사용자의 월령에 대한 1회 사용 시간이 과의존 진단모델 서포트 벡터에 의해 구분된 평면 중 평균 사용 시간이 더 많은 쪽의 평면(위쪽 평면)에 위치하는 경우 과의존 위험군으로 판단할 수 있다. The graph shown in FIG. 9 is the relationship between the age of a child and the average usage time of a smart device. If the user's usage time per month for each month is near the linear regression line of the recommended usage time model, it can be determined that there is no risk of overdependence. . On the other hand, if the user's monthly usage time for each month is located on the plane (upper plane) with more average usage time among the planes divided by the overdependency diagnosis model support vector, it can be determined as an overdependency risk group.
예를 들어, 사용자 A와 사용자 B는 36개월 유아인 경우, 추천 1회 사용 시간은 추천 사용 시간 선형 회귀선에 의하여 10분으로 결정될 수 있다. 또한 사용자 A의 1회 평균 사용 시간이 23분, 사용자 B의 1회 평균 사용 시간이 10분인 경우를 가정한다. 사용자 A의 1회 사용 시간은 36개월령에 대한 과의존 진단 모델 서포트 벡터의 위쪽에 위치하여 사용자 A는 과의존 위험군으로 판단될 수 있다. 반면, 사용자 B의 1회 사용 시간은 36개월령에 대한 과의존 진단 모델 서포트 벡터의 아래쪽에 위치하여 사용자 B는 일반 유아동군, 즉 과의존 위험군이 아닌 것으로 판단될 수 있다. For example, when user A and user B are 36-month-old infants, the recommended usage time for one time may be determined to be 10 minutes based on the recommended usage time linear regression line. Also, it is assumed that user A's average usage time per time is 23 minutes and user B's average usage time per time is 10 minutes. User A's one-time usage time is located above the support vector of the overdependency diagnosis model for the 36-month-old, so user A can be determined as a risk group for overdependency. On the other hand, user B's one-time use time is located below the support vector of the overdependency diagnosis model for the 36-month-old, so it can be determined that user B is not in the general children's group, that is, not in the overdependency risk group.
본 개시의 일 실시예에 따르면, 사용자의 발달 검사 결과 사용자의 발달 특성이 동일 월령의 또래 집단군에 비해 낮거나 높을 경우, 사용 시간 추천 모델은 발달 검사 결과에 따른 사용자의 실제 발달 특성에 기초하여 사용 시간을 추천할 수 있다. According to an embodiment of the present disclosure, when the user's developmental characteristics are lower or higher than those of the same-month-old peer group as a result of the developmental examination of the user, the usage time recommendation model is used based on the user's actual developmental characteristics according to the developmental examination result. Can you recommend a time.
도 10은 본 개시의 일 실시예에 따른, 전자 장치 사용 컨텍스트에 기초한 전자 장치 제어 방법을 설명하기 위한 도면이다. 10 is a diagram for explaining a method of controlling an electronic device based on an electronic device use context according to an embodiment of the present disclosure.
전자 장치 사용 시간이 종료되었을 경우, 즉각적이고 강제적으로 전자 장치 사용을 종료하면, 사용자 경험에 안좋은 영향을 미쳐, 사용자에게 전자 장치 관리 시스템 전반에 대한 반감을 형성하게 할 수 있다. 따라서, 본 개시의 일 실시예에 따른 전자 장치 관리 시스템에서는 전자 장치 사용 상태에 대한 컨텍스트를 분석하고, 분석된 컨텍스트에 기초하여 전자 장치 사용을 종료하도록 할 수 있다. If the use of the electronic device is terminated immediately and forcibly when the use time of the electronic device is terminated, it may adversely affect the user's experience and cause the user to form an antipathy toward the electronic device management system as a whole. Accordingly, the electronic device management system according to an embodiment of the present disclosure may analyze the context of the electronic device use state and terminate the use of the electronic device based on the analyzed context.
도 10을 참조하면, 전자 장치 1000는 전자 장치 사용 시간 입력 모듈 1001, 전자 장치 사용 상태 컨텍스트 분석 모듈 1002, 전자 장치 사용 시간 분석 모듈 1003, 및 전자 장치 사용 종료 모듈 1004를 포함할 수 있다. Referring to FIG. 10 , an electronic device 1000 may include an electronic device use time input module 1001 , an electronic device use state context analysis module 1002 , an electronic device use time analysis module 1003 , and an electronic device use end module 1004 .
특히, 사용자가 어린이인 경우 어린이는 정해진 시간에 맞춰 전자 장치 사용을 종료하는 것에 익숙하지 않을 수 있으므로, 이용중인 미디어, 컨텐츠나 게임 등의 현재 상태(컨텍스트)에 기초하여 전자 장치의 사용을 종료하도록 유도함으로써 어린이가 보호자와의 갈등 없이 전자 장치 사용을 종료할 수 있다. In particular, when the user is a child, since the child may not be accustomed to ending the use of the electronic device at a fixed time, the user is instructed to terminate the use of the electronic device based on the current state (context) of the media, content or game being used. By inducing, the child can stop using the electronic device without conflict with the guardian.
예를 들어, 관리자인 보호자가 전자 장치 사용 시간을 20분으로 입력하고 사용자인 어린이가 22분짜리 동영상을 시청하는 경우를 가정한다. 관리자는 전자 장치 사용 시간 입력 모듈 1001을 통해 전자 장치 사용 시간을 20분으로 설정할 수 있다. 전자 장치 사용 시간 분석 모듈 1003은 사용자의 전자 장치 사용 시간을 분석하여 관리자가 입력한 전자 장치 사용 시간 20분이 경과되었는지 여부를 지속적으로 확인한다. For example, it is assumed that a guardian who is a manager inputs 20 minutes of an electronic device usage time and a child who is a user watches a 22-minute video. The manager may set the electronic device use time to 20 minutes through the electronic device use time input module 1001 . The electronic device use time analysis module 1003 analyzes the user's electronic device use time and continuously checks whether 20 minutes of the electronic device use time input by the manager has elapsed.
관리자가 입력한 전자 장치 사용 시간 20분 동안, 전자 장치 사용 상태 컨텍스트 분석 모듈 1002은 사용자의 전자 장치 사용 상태에 대한 컨텍스트를 실시간으로 분석할 수 있다. 개시된 실시예에서, 전자 장치 사용 시간이 종료되었을 때, 전자 장치 사용 상태 컨텍스트 분석 모듈 1002은 사용자가 시청중인 동영상의 잔여 시간이 2분가량 남은 상태임을 확인할 수 있다. 이와 같은 경우, 관리자가 입력한 전자 장치 사용 시간 20분이 경과되더라도 전자 장치 사용을 바로 중단하는 것 보다는 잔여 동영상을 모두 시청하도록 허용하는 것이 바람직할 수 있다. 따라서, 전자 장치 사용 상태 컨텍스트 분석 모듈 1002은 사용자가 시청중인 동영상의 종료 시점이 얼마 남지 않았음을 나타내는 컨텍스트 정보를 전자 장치 사용 시간 분석 모듈 1003로 전달할 수 있다. 전자 장치 사용 시간 분석 모듈은 동영상의 종료 시점에 맞추어 전자 장치 사용 시간을 연장하고, 전자 장치 사용 종료 모듈 1004은 연장된 전자 장치 사용 시간에 따라 전자 장치 사용을 종료하도록 전자 장치를 제어할 수 있다. For 20 minutes of the electronic device use time input by the administrator, the electronic device use state context analysis module 1002 may analyze the context of the user's electronic device use state in real time. In the disclosed embodiment, when the usage time of the electronic device ends, the electronic device usage state context analysis module 1002 may determine that about 2 minutes remain for the video being watched by the user. In this case, even if 20 minutes of the electronic device use time input by the administrator elapses, it may be preferable to allow the user to watch all remaining videos rather than immediately stop using the electronic device. Accordingly, the electronic device use state context analysis module 1002 may transmit context information indicating that an end point of the video being viewed by the user is near to the electronic device use time analysis module 1003 . The electronic device use time analysis module extends the electronic device use time according to the end time of the video, and the electronic device use end module 1004 controls the electronic device to end the use of the electronic device according to the extended electronic device use time.
본 개시의 일 실시예에 따르면, 전자 장치 사용 상태 컨텍스트 분석 모듈 1002은 사용자가 시청중인 동영상의 잔여 시간과 전자 장치 사용 가능 시간을 모니터링하여, 시청중인 동영상의 잔여 시간이 전자 장치 사용 가능 시간을 초과하는 경우, 동영상의 재생 속도(배속)을 조절할 수 있다. 예를 들어, 시청중인 동영상의 잔여 시간이 10분이고, 전자 장치 사용 가능 시간이 8분인 경우, 동영상의 재생 속도를 1.25배로 조절하면 전자 장치 사용 시간 종료시 컨텐츠 재생이 종료되도록 할 수 있다. 또는, 전자 장치 사용 상태 컨텍스트 분석 모듈 1002은 사용자가 시청중인 동영상의 잔여 시간과 전자 장치 사용 가능 시간을 모니터링하여, 시청중인 동영상의 잔여 시간이 전자 장치 사용 가능 시간을 초과하는 경우, 재생중인 컨텐츠 후반부의 일부를 삭제할 수 있다. 예를 들어, 시청중인 동영상의 잔여 시간이 10분이고, 전자 장치 사용 가능 시간이 8분인 경우, 잔여 동영상 중 중요도가 낮은 2분을 삭제하여 전자 장치 사용 시간 종료시 컨텐츠 재생이 종료되도록 할 수 있다. 이 때, 잔여 동영상 중 삭제할 부분은 컨텐츠에 대한 컨텍스트 분석 결과에 기초하여 결정될 수 있다. 예를 들어, 해당 컨텐츠에 대한 다수의 사용자들의 사용 상태 컨텍스트를 분석하여, 빨리 감기 또는 건너뛰기 된 이력이 많은 부분이 삭제할 부분으로 결정될 수 있다. According to an embodiment of the present disclosure, the electronic device usage state context analysis module 1002 monitors the remaining time of the video being watched by the user and the usable time of the electronic device, so that the remaining time of the video being watched exceeds the available time of the electronic device. If you do, you can adjust the playback speed (x speed) of the video. For example, if the remaining time of the video being watched is 10 minutes and the available time of the electronic device is 8 minutes, the playback speed of the video can be adjusted to 1.25 times so that the content playback can be terminated when the electronic device usage time ends. Alternatively, the electronic device use state context analysis module 1002 monitors the remaining time of the video being watched by the user and the available time of using the electronic device, and if the remaining time of the video being watched exceeds the available time of using the electronic device, the second half of the content being played part of can be deleted. For example, if the remaining time of the video being watched is 10 minutes and the available time of the electronic device is 8 minutes, 2 minutes of low importance among the remaining videos may be deleted so that content reproduction is terminated when the electronic device usage time ends. In this case, a portion to be deleted among the remaining videos may be determined based on a result of analyzing the context of the content. For example, by analyzing the use state context of a plurality of users for the corresponding content, a portion with a large number of fast-forward or skipped histories may be determined as a portion to be deleted.
본 개시의 일 실시예에 따르면, 전자 장치 사용 시간은 관리자가 전자 장치 사용 시간 입력 모듈 1001을 통해 직접 입력한 시간 뿐 아니라, 전술한 바와 같이 인공지능 모델을 이용하여 획득된 전자 장치 관리 조건에 포함된 전자 장치 사용 시간을 의미할 수 있다. According to an embodiment of the present disclosure, the electronic device usage time is included in the electronic device management condition obtained using the artificial intelligence model as described above, as well as the time directly input by the administrator through the electronic device usage time input module 1001. This may mean the time of using an electronic device.
본 개시의 일 실시예에 따르면, 연장되는 전자 장치 사용 시간은 관리자가 설정한 소정의 임계시간 이내에서 결정될 수 있다. 예를 들어, 관리자가 설정한 연장 임계시간이 5분이고, 동영상의 잔여시간이 8분인 경우, 전자 장치 1000는 전자 장치 사용 시간을 연장하지 않는 것으로 결정할 수 있다. According to an embodiment of the present disclosure, the extended use time of the electronic device may be determined within a predetermined threshold time set by an administrator. For example, if the extension threshold time set by the manager is 5 minutes and the remaining time of the video is 8 minutes, the electronic device 1000 may determine not to extend the electronic device use time.
본 개시의 일 실시예에 따르면, 전자 장치 사용 시간의 연장 여부는 기설정된 전자 장치 사용 시간과 동영상의 잔여시간의 비율에 기초하여 결정될 수 있고, 전자 장치 사용 시간의 연장은 일시적인 것으로 이후 사용시에는 기설정된 전자 장치 사용 시간으로 리셋되도록 동작할 수 있다. According to an embodiment of the present disclosure, whether to extend the electronic device use time may be determined based on a ratio of a preset electronic device use time and a remaining time of a video, and the extension of the electronic device use time is temporary and will not be used later. It may operate to be reset to the set electronic device use time.
다른 실시예에 따르면, 관리자가 설정한 전자 장치 사용 시간이 20분이고, 사용자가 18분짜리 동영상을 재생한 경우, 전자 장치 1000는 동영상 재생이 완료되는 시점에 전자 장치 사용 시간이 남아있더라도 동영상 재생과 함께 전자 장치 사용을 종료하도록 전자 장치를 제어할 수 있다. According to another embodiment, when the usage time of the electronic device set by the administrator is 20 minutes and the user plays an 18-minute video, the electronic device 1000 continues to play the video even if the electronic device usage time remains at the time the video playback is completed. The electronic device may be controlled to end use of the electronic device together.
또 다른 실시예에 따르면, 관리자가 설정한 전자 장치 사용 시간이 3분 남은 상태에서 사용자가 10분자리 동영상을 새로 재생하려고 하는 경우, 전자 장치 1000는 해당 동영상은 재생할 수 없음을 알리는 그래픽/사운드 알림을 사용자에게 제공할 수 있다. According to another embodiment, when the user tries to play a new 10-minute video while the usage time of the electronic device set by the administrator is 3 minutes remaining, the electronic device 1000 provides a graphic/sound notification indicating that the video cannot be played. can be provided to the user.
도 11은 본 개시의 일 실시예에 따른 유해 컨텐츠 모니터링 모델을 설명하기 위한 도면이다. 11 is a diagram for explaining a harmful content monitoring model according to an embodiment of the present disclosure.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 영상 분석을 이용해 사용자가 소비하는 컨텐츠에 포함된 텍스트 및 컨텍스트를 분석하고, 분석 결과, 유해 컨텐츠가 포함된 것으로 판단되면 해당 유해 컨텐츠를 제거할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 analyzes text and context included in content consumed by a user using video analysis, and if it is determined that the content is included as a result of the analysis, the electronic device 1000 may remove the objectionable content. there is.
예를 들어, 전자 장치 1000는 전자 장치에 디스플레이되는 모든 컨텐츠(1101)를, 화면 캡쳐 모듈을 이용하여 캡쳐(1102)할 수 있다. 전자 장치 1000는 텍스트 인식 모델을 이용하여 캡쳐된 화면에 포함되는 텍스트를 인식(1103)하고, 유해 텍스트 데이터 베이스에 기초하여 인식된 텍스트에 대한 유해성을 판단(1104)할 수 있다. 전자 장치 1000는 유해한 것으로 판단된 텍스트에 대하여 마스킹 모듈을 이용하여 마스킹 처리(1105)하고, 유해 텍스트가 마스킹된 화면을 전자 장치에 디스플레이(1106)한다. 마스킹 처리는, 유해 컨텐츠로 판단된 부분만 처리(예를 들어, 블러 또는 모자이크) 하거나, 유해 컨텐츠가 포함된 부분 전체를 컨텐츠에서 제거하거나(예를 들어, 동영상에서 해당 시간 삭제 또는 건너뛰기), 유해 컨텐츠로 판단된 부분의 오브젝트를 제거하고 배경과 합성하는 방법을 모두 포함할 수 있으나 이에 제한되는 것은 아니다. 유해 컨텐츠로 판단된 부분의 오브젝트를 제거하고 배경과 합성하는 경우, 유해 컨텐츠가 차단된 것을 사용자는 인지하지 못하므로 관리자의 전자 장치 1000 관리에 대한 사용자의 거부감이 줄어드는 효과가 있다.For example, the electronic device 1000 may capture 1102 all contents 1101 displayed on the electronic device using a screen capture module. The electronic device 1000 may recognize text included in the captured screen using a text recognition model (1103), and determine harmfulness of the recognized text based on a harmful text database (1104). The electronic device 1000 performs a masking process (1105) on the text determined to be harmful using a masking module, and displays (1106) a screen on which the harmful text is masked on the electronic device. The masking process is to process only the part determined to be harmful content (for example, blur or mosaic), or to remove the entire part containing the harmful content from the content (for example, to delete or skip the corresponding time in the video), Methods of removing objects determined to be harmful content and combining them with the background may all be included, but are not limited thereto. When an object determined to be harmful content is removed and combined with the background, the user does not recognize that the harmful content is blocked, so the user's reluctance to the manager's management of the electronic device 1000 is reduced.
본 개시의 일 실시예에 따른 유해 컨텐츠 모니터링 모델은, 전자 장치 관리자의 전자 장치 제어 결과에 대한 평가(피드백) 등에 기초하여 학습될 수 있으며, 학습된 모델을 이용하여 유해 컨텐츠 포함 여부를 판단함으로써 예측 정확도가 향상될 수 있다. 또한, 비슷한 성향 또는 비슷한 연령의 사용자 기준에 기초하여 사용자 그룹을 클러스터링 하고 해당 각 그룹의 사용자에 대한 관리자의 전자 장치 제어 결과에 대한 평가 통계에 기초하여 유해 컨텐츠 모니터링 모델을 갱신함으로써, 유해 컨텐츠 모니터링 모델의 예측 정확도가 더욱 향상될 수 있다. A harmful content monitoring model according to an embodiment of the present disclosure may be learned based on an evaluation (feedback) of an electronic device control result of an electronic device manager, and prediction by determining whether harmful content is included using the learned model. Accuracy can be improved. In addition, the harmful content monitoring model is updated by clustering user groups based on user criteria of similar inclinations or similar ages and updating the harmful content monitoring model based on evaluation statistics on the control result of the administrator's electronic device for each group of users. The prediction accuracy of can be further improved.
전술한 바와 같이, 이와 같은 유해 텍스트 모니터링 모델을 사용함으로써, 특히 사용자가 유아동인 경우 유해 텍스트를 인지하지 못하여 유해 텍스트에 지속적으로 노출되는 상황을 방지할 수 있다. As described above, by using such a harmful text monitoring model, it is possible to prevent a situation in which a user is continuously exposed to harmful text because he/she does not recognize the harmful text, especially when the user is a child.
도 12는 본 개시의 일 실시예에 따른, 사용자와 전자 장치 사이의 거리에 기초한 전자 장치 제어 방법을 설명하기 위한 도면이다. 12 is a diagram for explaining a method of controlling an electronic device based on a distance between a user and an electronic device according to an embodiment of the present disclosure.
사용자와 전자 장치 사이 1000의 거리는 초음파 센서, 적외선 센서, 라이다 센서(LIDAR, LIght Detection And Ranging), 레이더(RADAR, Radio Detection And Ranging) 센서, 또는 이미지 센서 중 적어도 하나를 이용하여 측정될 수 있다. The distance of 1000 between the user and the electronic device may be measured using at least one of an ultrasonic sensor, an infrared sensor, a LIDAR (LIght Detection And Ranging) sensor, a RADAR (Radio Detection And Ranging) sensor, or an image sensor. .
초음파 센서는, 초음파를 발사하고 반사파를 수신할 때까지 걸린 시간 또는 수신된 반사파의 파장 등에 기초하여 거리를 측정한다. 적외선 센서는, 가시광선보다 파장이 긴 전자기파를 이용하며 적외선은 파장이 길고 에너지가 낮기 때문에 안전하다. 적외선을 이용한 단거리 측정 센서는 센서에서 적외선을 조사하여 반사된 적외선의 강도에 따라 거리를 측정할 수 있다. 라이다 센서는, 탐지 범위가 좁지만 직진성이 강한 레이저를 사용하여 왜곡이 발생할 확률이 낮으므로 카메라나 레이더에 비해 정밀도가 높아 오차범위가 mm단위에 불과하다. 또한 라이다는 카메라나 레이더에 비해 높은 수평 방위각을 가지고 있어 고도와 방위를 정확히 측정할 수 있으며 작은 물체를 감지하는 능력도 뛰어나고 온도 또는 물질 분포 등을 감지할 수 있다. 레이더 센서는, 조사한 전자파가 대상에 부딪힌 뒤 돌아오는 반사파를 측정하여 대상의 존재, 방향 거리 및 속도를 파악할 수 있다. 전파를 사용하므로 주변 환경에 민감도가 낮아 안정적인 측정이 가능하다. 이미지 센서는, 대표적으로 카메라가 있으며 대상을 촬영하여 존재, 위치 및 크기를 식별할 수 있다. The ultrasonic sensor measures the distance based on the time taken from emitting ultrasonic waves to receiving a reflected wave or the wavelength of the received reflected wave. Infrared sensors use electromagnetic waves with a longer wavelength than visible light, and infrared rays are safe because they have a longer wavelength and lower energy. A short-distance measurement sensor using infrared rays irradiates infrared rays from the sensor and measures the distance according to the intensity of the reflected infrared rays. The LiDAR sensor has a narrow detection range, but uses a laser with strong linearity, so the probability of distortion is low, so the error range is only a millimeter unit because the accuracy is higher than that of a camera or radar. In addition, lidar has a higher horizontal azimuth than cameras or radars, so it can accurately measure altitude and direction, has excellent ability to detect small objects, and can detect temperature or material distribution. The radar sensor may determine the existence, direction distance, and speed of a target by measuring a reflected wave returning after the irradiated electromagnetic wave hits the target. Because radio waves are used, sensitivity to the surrounding environment is low, allowing stable measurement. The image sensor typically has a camera and can photograph an object to identify its existence, location, and size.
전자 장치 사용시, 사용자와 전자 장치 사이의 거리가 너무 멀거나 가까운 경우, 사용자와 전자 장치 사이의 거리에 기초하여 전자 장치를 제어할 필요가 있다. 예를 들어, 사용자와 전자 장치 사이의 거리가 너무 가까운 경우 전자 장치 1000는 화면을 어둡게(dimming) 하거나 화면을 차단하여, 사용자가 전자 장치를 눈에서 멀리 위치하도록 유도하여 사용자의 시력을 보호할 수 있다. 반대로, 사용자와 전자 장치 사이의 거리가 너무 먼 경우, 전자 장치 1000는 화면에 표시되는 내용의 크기를 조절(확대)하여 사용자에게 적당한 크기의 화면을 자동으로 제공할 수 있다. When using an electronic device, when the distance between the user and the electronic device is too far or too short, it is necessary to control the electronic device based on the distance between the user and the electronic device. For example, if the distance between the user and the electronic device is too close, the electronic device 1000 may dim the screen or block the screen to induce the user to place the electronic device away from the eyes to protect the user's eyesight. there is. Conversely, when the distance between the user and the electronic device is too great, the electronic device 1000 may adjust (enlarge) the size of content displayed on the screen to automatically provide a screen of an appropriate size to the user.
또는 전자 장치 1000는, 비디오 모델링 방법을 활용하여, 사용자와 전자 장치 사이의 거리가 너무 가까운 경우 소정의 캐릭터가 보고있던 전자 장치를 멀리 이동하는 애니메이션을 재생하고, 사용자와 전자 장치 사이의 거리가 너무 먼 경우 소정의 캐릭터가 보고있던 전자 장치를 가까이 이동하는 애니메이션을 재생하도록 동작할 수 있다. Alternatively, the electronic device 1000 uses a video modeling method to play an animation in which a predetermined character moves the electronic device away when the distance between the user and the electronic device is too short, and the distance between the user and the electronic device is too short. In the case of being far away, an animation in which a predetermined character moves an electronic device closer to the viewer may be played.
도 12를 참조하면, 전자 장치 1000는 사용자의 눈 사이 거리(IPD, inter-pupillary distance)를 측정할 수 있는 하나 이상의 센서들(카메라 모듈 1005 및 근접 센서 모듈 1006), IPD 분석 모듈 1007, 디스플레이 설정 모듈 1008, 거리 데이터베이스 1009, 디스플레이 중재 모듈 1010, 및 디스플레이 확대 모듈 1011을 포함할 수 있다.본 개시의 일 실시예에 따르면, 카메라 모듈 1005은 캡쳐한 사용자 얼굴 이미지를 IPD 분석 모듈 1007로 전달하고, 근접 센서 모듈 1006은 센싱한 사용자와 전자 장치 사이의 근접도 대한 센싱값을 IPD 분석 모듈 1007로 전달한다. IPD 분석 모듈 1007은 카메라 모듈 1005로부터 획득한 사용자 얼굴 이미지 및 근접 센서 모듈 1006로부터 획득한 센싱값에 기초하여 사용자의 IPD를 획득하고, 사용자와 전자 장치 사이의 거리를 측정할 수 있다. Referring to FIG. 12 , an electronic device 1000 includes one or more sensors (a camera module 1005 and a proximity sensor module 1006) capable of measuring an inter-pupillary distance (IPD) of a user, an IPD analysis module 1007, and a display setting. module 1008, distance database 1009, display arbitration module 1010, and display magnification module 1011. According to an embodiment of the present disclosure, the camera module 1005 transfers the captured user face image to the IPD analysis module 1007; The proximity sensor module 1006 transfers the sensed value of proximity between the user and the electronic device to the IPD analysis module 1007 . The IPD analysis module 1007 may obtain the user's IPD based on the user's face image obtained from the camera module 1005 and the sensing value obtained from the proximity sensor module 1006 and may measure the distance between the user and the electronic device.
IPD 분석 모듈 1007은 측정된 사용자와 전자 장치 사이의 거리를 디스플레이 설정 모듈 1008로 전달하고, 디스플레이 설정 모듈 1008은 사용자와 전자 장치 사이의 거리에 기초하여, 디스플레이 제어 방법을 설정할 수 있다. 보다 구체적으로, 사용자와 전자 장치 사이의 거리가 소정의 임계값 이하로, 과도하게 가까운 경우 디스플레이 설정 모듈 1008은 디스플레이 중재 모듈 1010을 이용하여 화면을 어둡게(dimming) 하거나 화면을 차단하여, 사용자가 전자 장치를 눈에서 멀리 위치하도록 유도할 수 있다. 반대로, 사용자와 전자 장치 사이의 거리가 소정의 임계값 이하로, 과도하게 먼 경우 디스플레이 설정 모듈 1008은 사용자와 전자 장치 사이의 거리 및 거리 데이터베이스 1009에 저장된 거리에 따른 디스플레이 크기에 대한 데이터베이스에 기초하여 디스플레이 확대 비율을 결정할 수 있으며, 디스플레이 확대 모듈 1011은 결정된 확대 비율에 따라 확대된 화면을 사용자에게 제공할 수 있다. The IPD analysis module 1007 transfers the measured distance between the user and the electronic device to the display setting module 1008, and the display setting module 1008 may set a display control method based on the distance between the user and the electronic device. More specifically, when the distance between the user and the electronic device is excessively close to a predetermined threshold or less, the display setting module 1008 dims the screen or blocks the screen using the display arbitration module 1010 so that the user is not connected to the electronic device. The device can be directed away from the eye. Conversely, when the distance between the user and the electronic device is below a predetermined threshold or excessively far, the display setting module 1008 determines the distance between the user and the electronic device and the database for the display size according to the distance stored in the distance database 1009. A display magnification ratio may be determined, and the display magnification module 1011 may provide an enlarged screen to the user according to the determined magnification ratio.
도 13은 본 개시의 일 실시예에 따른, 사용자의 전자 장치 사용 자세에 기초한 전자 장치 제어 방법을 설명하기 위한 도면이다. 13 is a diagram for explaining a method of controlling an electronic device based on a user's posture for using an electronic device, according to an embodiment of the present disclosure.
전자 장치 1000를 과도하게 가까운 거리에서 사용하는 경우, 근시 및 사시와 같은 안과 질환이 발생할 수 있다. 따라서 본 개시의 일 실시예에 따른, 전자 장치 1000와 전자 장치 사용자의 거리가 소정의 임계 거리 이내인 경우, 전자 장치 1000는 사용자에게 전자 장치를 보다 멀리 위치할 것을 권고하는 인터랙션을 출력할 수 있다.If the electronic device 1000 is used at an excessively short distance, eye diseases such as myopia and strabismus may occur. Accordingly, according to an embodiment of the present disclosure, when the distance between the electronic device 1000 and the user of the electronic device is within a predetermined threshold distance, the electronic device 1000 may output an interaction recommending the user to locate the electronic device farther away. .
도 13을 참조하면, 사용자의 전자 장치 사용 자세에 기초하여 전자 장치를 제어하는 본 개시의 일 실시예에 따른 전자 장치 1000는 카메라 모듈 1005, 동공 검출 모델 1012, 거리 측정 모듈 1013, 눈 깜빡임 감지 모델 1014, 눈 깜빡임 주기 측정 모듈 1015, 및 디스플레이 1016를 포함할 수 있다. Referring to FIG. 13 , an electronic device 1000 according to an embodiment of the present disclosure that controls an electronic device based on a user's posture using the electronic device includes a camera module 1005, a pupil detection model 1012, a distance measurement module 1013, and an eye blink detection model. 1014, an eye blink period measurement module 1015, and a display 1016.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 카메라 모듈 1005로부터 캡쳐한 사용자의 얼굴 이미지로부터, 동공 검출 모델 1012을 이용하여 동공의 위치 정보를 검출하고, 거리 측정 모듈 1013을 이용하여 검출된 동공의 위치 정보에 기초하여 사용자와 전자 장치 1000 사이의 거리를 측정할 수 있다. 이 때, 전자 장치 1000는 도 12에 도시된 바와 같이 카메라 모듈 1005 외에도 근접 센서 모듈 1006를 이용해 획득한 센싱 데이터를 추가로 이용하여 사용자와 전자 장치 1000의 거리를 측정할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 detects pupil location information from the user's face image captured from the camera module 1005 using the pupil detection model 1012 and detects pupil location information using the distance measurement module 1013. The distance between the user and the electronic device 1000 may be measured based on the location information of . In this case, as shown in FIG. 12 , the electronic device 1000 may measure the distance between the user and the electronic device 1000 by additionally using sensing data acquired using the proximity sensor module 1006 in addition to the camera module 1005 .
사용자와 전자 장치 사이의 거리가 너무 가까운 경우 전자 장치 1000는 디스플레이 1016를 어둡게 하거나 디스플레이 1016 출력을 차단하여, 사용자가 전자 장치를 눈에서 멀리 위치하도록 유도할 수 있고, 사용자와 전자 장치 사이의 거리가 너무 먼 경우, 디스플레이 1016에 표시되는 내용의 크기를 조절(확대)하여 사용자에게 적당한 크기의 화면을 자동으로 제공할 수 있다. If the distance between the user and the electronic device is too close, the electronic device 1000 may dim the display 1016 or block the output of the display 1016 to induce the user to place the electronic device away from the user's eyes, and the distance between the user and the electronic device may decrease. If it is too far away, the size of the contents displayed on the display 1016 may be adjusted (enlarged) to automatically provide a screen of an appropriate size to the user.
본 개시의 일 실시예에 따르면, 사용자와 전자 장치 사이의 거리가 너무 가까운 경우 전자 장치 1000는 소정의 캐릭터가 전자 장치를 멀리 위치할 것을 알려주는 음성을 송출하거나, 전자 장치를 멀리 위치할 것을 권고하는 메시지나 이미지를 화면에 표시할 수 있다. 또는, 사용자와 전자 장치 사이의 거리가 너무 가까운 경우 전자 장치 1000는 현재 재생되고 있는 컨텐츠의 재생을 일시정지하거나, 아이콘을 표시하거나 진동하도록 제어하여 전자 장치 사용에 관한 사용자의 주의를 환기할 수 있다. According to an embodiment of the present disclosure, when the distance between the user and the electronic device is too short, the electronic device 1000 transmits a voice informing that a predetermined character is to locate the electronic device far away, or recommends that the electronic device be located far away. message or image can be displayed on the screen. Alternatively, if the distance between the user and the electronic device is too short, the electronic device 1000 may call the user's attention to the use of the electronic device by pausing playback of the currently playing content, displaying an icon, or vibrating. .
사용자가 무의식 중에 전자 장치 사용 상태가 전자 장치 관리 조건을 어기게 된 경우, 사용자의 주의가 환기되면 사용자가 자율적으로 전자 장치 관리 조건을 준수하도록 유도할 수 있다.본 개시의 일 실시예에 따른 전자 장치 1000는 카메라 모듈 1005로부터 캡쳐한 사용자의 얼굴 이미지 및 영상으로부터, 눈 깜빡임 감지 모델 1014를 이용하여 눈 깜빡임을 감지하고, 눈 깜빡임 주기 측정 모듈 1015을 이용하여 눈 깜빡임 주기를 측정할 수 있다. If the user's state of use of the electronic device violates the electronic device management conditions unintentionally, the user may be induced to voluntarily comply with the electronic device management conditions if the user's attention is aroused. The device 1000 may detect eye blinks using the eye blink detection model 1014 and measure the eye blink cycle using the eye blink period measuring module 1015 from the user's face image and video captured from the camera module 1005 .
본 개시의 일 실시예에 따른 전자 장치 1000는 측정된 전자 장치 사용자의 눈 깜빡임 주기가 소정의 임계 주기보다 긴 경우, 사용자에게 잠시 눈을 감고 전자 장치 1000의 사용을 중지할 것을 권고하는 감각적 인터랙션을 출력할 수 있다. 이 때, 전자 장치 1000는 눈의 깜빡임을 감지하는 합성곱 신경망 기반 비전 모델을 이용하여 사용자의 눈 깜빡임 패턴을 식별하고, 눈 깜빡임 주기가 임계 주기보다 길어지는 경우 사용자가 과몰입하고 있다고 판단할 수 있다. The electronic device 1000 according to an embodiment of the present disclosure, when the measured eye-blink period of the electronic device user is longer than a predetermined threshold period, provides a sensory interaction recommending the user to close their eyes for a while and stop using the electronic device 1000. can be printed out. At this time, the electronic device 1000 identifies the user's eye blink pattern using a convolutional neural network-based vision model that detects eye blinks, and determines that the user is overfocused when the eye blink cycle is longer than the critical cycle. there is.
본 개시의 일 실시예에 따르면, 사용자가 과몰입하고 있다고 판단된 경우, 전자 장치 1000는 디스플레이 화면이 깜빡거리도록(블링킹) 제어하거나, 디스플레이 화면에 눈 깜빡임을 유도하는 알림을 표시하거나, 눈 운동을 위한 소정의 애니메이션을 재생하여 사용자의 주의를 환기시키고 눈 깜빡임을 유도할 수 있다. 또한, 사용자가 유아동인 경우, 전자 장치 1000는 전자 장치의 사용을 일시 중지시킨 후, 화면에 표시된 캐릭터가 눈을 깜빡이거나 눈을 아파하는 애니메이션을 화면에 표시하거나, 음성을 사운드 출력할 수 있다.According to an embodiment of the present disclosure, when it is determined that the user is overinvolved, the electronic device 1000 controls the display screen to blink (blinking), displays a notification on the display screen that induces eye blinking, or blinks the eyes. A predetermined animation for exercise may be played to arouse the user's attention and induce eye blinking. Also, when the user is a child, the electronic device 1000 may temporarily stop using the electronic device, and then display an animation in which a character displayed on the screen blinks or hurts the eyes, or outputs a voice as sound.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 사용자에게 자세의 수정을 권고하는 지시를 출력한 후, 소정의 시간 이후에도 자세가 수정되지 않으면 디스플레이 1016를 어둡게 하거나 디스플레이 1016 출력을 차단하는 등의 방법을 통해 단계적으로 사용자의 전자 장치 사용 자세 수정을 유도할 수 있다. According to an embodiment of the present disclosure, after the electronic device 1000 outputs an instruction recommending a posture correction to the user, if the posture is not corrected after a predetermined period of time, the display 1016 is darkened or the output of the display 1016 is blocked. Through this, it is possible to induce the user to correct the posture of using the electronic device step by step.
도 14는 본 개시의 일 실시예에 따른, 발달 검사 시스템을 설명하기 위한 도면이다. 14 is a diagram for explaining a developmental examination system according to an embodiment of the present disclosure.
유아동의 경우, 발달 상황을 확인하기 위하여 정기적으로 발달 검사를 진행하며, 발달 상황이 동일 연령대 평균과 일정 범위 이상 차이나는 경우 보호자는 유아동의 발달을 보완하기 위한 보다 적극적인 개입을 도모하게 된다.In the case of young children, development tests are conducted regularly to check the development status, and if the development status differs from the average of the same age group by more than a certain range, the guardian seeks more active intervention to supplement the development of the infant child.
발달검사 또는 인지검사는, 선별검진을 통해 특이점이 발견된 경우 수회의 정밀검진을 시행하는 것이 일반적이며, 병원 또는 검사 기관에 직접 방문하여 검사를 진행하게 된다.In the developmental test or cognitive test, when a peculiarity is found through screening, it is common to conduct several close examinations, and the test is performed by visiting a hospital or testing institution directly.
이와 같은 기존의 검사 방식은 검사 당일 피검사자의 컨디션이나 검사자와 피검사자의 커뮤니케이션, 검사 장소의 분위기 등이 검사 결과에 영향을 끼칠 가능성이 높으며, 특히 어린 아이의 경우 낯선 어른인 검사자와 장시간 상호작용에 어려움을 겪는 경우 정확한 검사 결과를 얻기 어려운 문제가 있다.In this conventional test method, there is a high possibility that the condition of the test subject on the day of the test, communication between the examinee and the examinee, and the atmosphere of the test site affect the test results. There is a problem in that it is difficult to obtain accurate test results.
또한, 검사 기관에 방문하여 검사를 진행하는 경우, 1회 방문시 가급적 많은 검사를 진행해야 하므로 검사 진행 시간이 길어지게 되면 피검사자의 피로도가 누적되어 검사 결과가 오염될 수 있다.In addition, when a test is performed by visiting an inspection institution, since as many tests as possible must be performed during one visit, if the test is conducted for a long time, fatigue of the inspected person may be accumulated and the test result may be contaminated.
스마트 폰 등 전자 장치의 사용이 일반화되고 사용 연령이 점차 낮아지는 환경에서, 전자 장치를 이용하여 일상적 환경에서 발달 검사를 수행하는 경우 피검사자는 보다 익숙하고 편안한 상황에서, 또는 검사중인 것을 미처 인지하지 못한 상태로 검사를 받게 되어 보다 안정적이고 신뢰도 높은 검사 결과를 얻을 수 있다. 또한, 문답식의 검사 방법이 아닌, 사용자의 전자 장치 사용 내역 및 사용 데이터 등을 검사 자료로 활용함으로써 보다 다양한 분야에서, 다양한 형태의 검사가 가능하다. In an environment in which the use of electronic devices such as smart phones is common and the age of use is gradually decreasing, when a developmental test is performed in a daily environment using an electronic device, the test subject may be in a more familiar and comfortable situation or not aware of what is being tested. It is inspected in the same state, so more stable and reliable test results can be obtained. In addition, various types of inspections in more diverse fields are possible by using the user's electronic device use history and use data as inspection data, rather than a question-and-answer type inspection method.
특히, 인지/언어 발달 검사가 필수적으로 필요하지만 검사를 진행하기 어려운 사용자(예를 들어, 사용자가 인지 장애가 있는 경우 등)나 발달 검사에 필요한 비용이나 시간이 부족한 사용자의 경우, 본 개시의 실시예에 따른 발달 검사 방법이 보다 효과적으로 활용될 수 있다. In particular, in the case of a user who essentially needs a cognitive/language development test but has difficulty in proceeding with the test (for example, when the user has a cognitive impairment, etc.) or a user who lacks the cost or time required for the development test, the embodiment of the present disclosure The developmental examination method according to can be used more effectively.
또한, 필요시 주치의, 상담사 또는 임상심리사와 화상을 통한 비대면 검사를 진행할 수도 있다. 이 때, 피검사자(전자 장치 사용자)의 선호 정보를 활용하면 검사에 대한 피검사자의 심리적 저항을 감소시킬 수 있다. 본 개시의 일 실시예에 따르면, 피검사자가 선택한 소정의 캐릭터의 애니메이션을 구성하여 화면에 디스플레이하면서 실제 검사자의 목소리를 해당 캐릭터의 목소리로 실시간 변조하여 출력함으로써, 보다 유동적이고 유연한 검사를 진행할 수 있다.In addition, if necessary, non-face-to-face examinations may be conducted with the attending physician, counselor, or clinical psychologist through video. At this time, if the preference information of the test subject (electronic device user) is used, the test subject's psychological resistance to the test can be reduced. According to an embodiment of the present disclosure, a more flexible and flexible examination can be performed by constructing and displaying an animation of a predetermined character selected by a test subject on a screen while modulating and outputting an actual examiner's voice as the voice of the corresponding character in real time.
매일 사용하는 전자 장치를 통해 발달 검사 또는 인지 검사를 수행하는 경우, 추가적인 검사가 필요한 경우에도 한번에 많은 검사를 수행하지 않고 매일 조금씩 검사를 수행하여 충분한 검사 결과를 획득할 수 있다. 또한, 사용자 선호 정보를 이용하여 발달/인지 검사에 대한 호감도를 증가시킬 수 있어, 유아동의 경우 평소 선호하는 캐릭터를 활용하여 사용자에 적응적으로 발달검사 문항을 개인화함으로써 사용자 참여도를 향상시킬 수 있다. In the case of performing a developmental test or cognitive test through an electronic device used every day, even when an additional test is required, sufficient test results may be obtained by performing a small test every day instead of performing many tests at once. In addition, user preference information can be used to increase the liking for developmental/cognitive tests, and in the case of children, user participation can be improved by personalizing developmental test items adaptively to the user by using the usual preferred characters. .
발달/인지 검사에 대한 참여도 및 신뢰도를 향상시키기 위하여, 본 개시의 일 실시예에 따른 발달 검사 시스템은 검사 참여도 또는 검사 신뢰도에 따라 사용자에게 보상을 제공할 수 있다. 예를 들어, 본 개시의 일 실시예에 따른 발달 검사 시스템은 검사에 참여하거나, 검사 신뢰도가 소정 점수 이상인 경우 발달 검사 시스템 내에서 사용할 수 있는 코인, 사용자 캐릭터에 적용할 수 있는 아이템, 또는 외부 시스템에서 교환 가능한 아이템(예를 들어, NFT 등)을 제공할 수 있다. In order to improve the degree of participation and reliability in the developmental/cognitive test, the developmental test system according to an embodiment of the present disclosure may provide a reward to the user according to the degree of participation in the test or the reliability of the test. For example, the developmental testing system according to an embodiment of the present disclosure may be a coin usable within the developmental testing system, an item applicable to a user character, or an external system when participating in the test or having a test reliability of a predetermined score or higher. can provide exchangeable items (eg, NFTs, etc.).
도 14를 참조하면, 본 개시의 일 실시예에 따른 발달 검사 시스템은 사용자, 전자 장치, 및 발달검사 서버 4000를 포함할 수 있다. 전자 장치 1000는 언어 표현 분석 모듈 1012, 비언어 표현 분석 모듈 1013, 사용 내역 분석 모듈 1014, 및 발달 검사 결과 제공 모듈 1015를 포함할 수 있다. 발달 검사 서버 4000는 언어 발달 평가 모듈 4001, 비언어 발달 평가 모듈 4002, 종합 발달 분석 모듈 4003, 및 전체 사용자 DB 4004를 포함할 수 있다. 본 개시의 일 실시예에 따른 발달 검사 서버 4000는, 전자 장치 관리 조건을 결정하기 위한 인공지능 서버 3000에 포함되거나, 하드웨어적으로 통합된 형태로 구현될 수 있다. Referring to FIG. 14 , the developmental examination system according to an embodiment of the present disclosure may include a user, an electronic device, and a developmental examination server 4000 . The electronic device 1000 may include a language expression analysis module 1012 , a non-verbal expression analysis module 1013 , a usage history analysis module 1014 , and a development test result providing module 1015 . The development examination server 4000 may include a language development evaluation module 4001, a non-verbal development evaluation module 4002, a comprehensive development analysis module 4003, and a total user DB 4004. The development test server 4000 according to an embodiment of the present disclosure may be included in the artificial intelligence server 3000 for determining electronic device management conditions or may be implemented in a hardware-integrated form.
언어 표현 분석 모듈 1012은 대화 시스템을 활용하여 전자 장치 사용자의 발화에 기초한 언어적 표현 분석 결과를 획득한다. 비언어 표현 분석 모듈 1013은 사용자의 자세, 표정, 및 얼굴 인식에 기초한 비언어적 표현 분석 결과를 획득한다. The language expression analysis module 1012 obtains a result of analyzing a language expression based on a speech of an electronic device user by using a conversation system. The non-verbal expression analysis module 1013 obtains a non-verbal expression analysis result based on the user's posture, expression, and face recognition.
전자 장치 사용자의 언어적 표현은 전자 장치 1000에 구비된 마이크를 통해 수신된 발화를 대화 시스템을 활용하여 분석함으로써 획득될 수 있다. 예를 들어, 전자 장치 1000는 발달 검사 문항을 스피커를 통해 출력하고, 발달 검사 문항에 대한 사용자의 음성 응답을 마이크를 통해 획득하고, 획득된 음성을 분석할 수 있다. 이 때, 발달 검사 문항은 부모의 음성 또는 사용자가 선호하는 캐릭터의 음성으로 변조되어 출력될 수 있다. 또는, 정규화된 발달 검사 문항 이외에 추가되어야 할 문항이 있는 경우, 전자 장치 1000는 부모의 음성 입력을 출력하거나 텍스트 입력을 부모의 음성 또는 사용자가 선호하는 캐릭터의 음성으로 변조하여 출력할 수 있다.본 개시에 따른 전자 장치의 사용을 관리하는 방법에 있어서, 발달검사를 위해 사용자의 음성을 인식하고 의도를 해석하기 위한 방법으로, 음성 캡쳐 모듈 (예, 마이크)를 통해 아날로그 신호인 음성 신호를 수신하고, ASR(Automatic Speech Recognition)모델을 이용하여 음성 부분을 컴퓨터로 판독 가능한 텍스트로 변환할 수 있다. 자연어 이해(Natural Language Understanding, NLU) 모델을 이용하여 변환된 텍스트를 해석하여, 사용자의 발화 의도를 획득할 수 있다. 여기서 ASR 모델 또는 NLU 모델은 인공지능 모델일 수 있다. 인공지능 모델은 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서에 의해 처리될 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. The linguistic expression of the user of the electronic device may be obtained by analyzing speech received through a microphone provided in the electronic device 1000 using a conversation system. For example, the electronic device 1000 may output development test items through a speaker, obtain a user's voice response to the development test items through a microphone, and analyze the acquired voice. At this time, the development test items may be output after being modulated into the parent's voice or the user's preferred character's voice. Alternatively, if there are questions to be added in addition to the normalized developmental test questions, the electronic device 1000 may output the parent's voice input or modulate the text input into the parent's voice or the user's preferred character's voice and output it. In the method for managing the use of an electronic device according to the disclosure, as a method for recognizing a user's voice and interpreting an intention for a developmental test, a voice signal, which is an analog signal, is received through a voice capture module (eg, a microphone), , ASR (Automatic Speech Recognition) model can be used to convert speech into computer-readable text. The user's utterance intention may be obtained by interpreting the converted text using a natural language understanding (NLU) model. Here, the ASR model or NLU model may be an artificial intelligence model. The artificial intelligence model can be processed by an artificial intelligence processor designed with a hardware structure specialized for the processing of artificial intelligence models. AI models can be created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden. An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리(Natural Language Processing), 기계 번역(Machine Translation), 대화 시스템(Dialog System), 질의 응답(Question Answering), 음성 인식/합성(Speech Recognition/Synthesis) 등을 포함한다.Linguistic understanding is a technology that recognizes and applies/processes human language/text, and includes natural language processing, machine translation, dialog system, question answering, and voice recognition. /Includes Speech Recognition/Synthesis, etc.
전자 장치 사용자의 비언어적 표현은 전자 장치 1000에 구비된 카메라를 통해 캡쳐된 이미지를 분석함으로써 획득될 수 있다. 예를 들어, 전자 장치 1000는 카메라를 통해 사용자를 이미지 또는 동영상 캡쳐하고, 캡쳐된 이미지 또는 동영상을 분석하여 사용자 표정을 획득하고 감정을 추론할 수 있다. The non-verbal expression of the user of the electronic device may be obtained by analyzing an image captured through a camera provided in the electronic device 1000 . For example, the electronic device 1000 may capture an image or video of the user through a camera, analyze the captured image or video, obtain the user's expression, and infer emotions.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 카메라를 이용하여 사용자의 움직임을 동영상 촬영하고, 사용자의 신체 발달을 판단할 수 있다. 예를 들어, 사용자의 움직임을 촬영한 동영상 분석 결과, 사용자의 대근육 발달 및 소근육 발달이 해당 연령에 대한 기준에 비해 지체된 것으로 판단되면 전자 장치 1000는 판단 결과를 전자 장치 1000 또는 관리자 장치를 통해 제공할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may capture a motion picture of the user using a camera and determine the physical development of the user. For example, as a result of analyzing a video of a user's motion, when it is determined that the user's gross and fine muscle development is delayed compared to the standard for the corresponding age, the electronic device 1000 transmits the determination result through the electronic device 1000 or a manager device. can provide
본 개시에 따른 전자 장치의 사용을 관리하는 방법에 있어서, 사용자의 비언어적 표현을 인식하기 위한 방법으로, 카메라를 통해 캡쳐한 사용자 이미지 데이터를 인공지능 모델의 입력 데이터로 이용하여 이미지 또는 이미지 내 얼굴 및 표정을 인식한 출력 데이터를 획득할 수 있다. 인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다.In the method for managing the use of an electronic device according to the present disclosure, as a method for recognizing a user's non-verbal expression, user image data captured through a camera is used as input data for an artificial intelligence model, and an image or a face in an image Output data obtained by recognizing facial expressions may be obtained. AI models can be created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden. An artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식(Object Recognition), 객체 추적(Object Tracking), 영상 검색(Image Retrieval), 사람 인식(Human Reconnition), 장면 이해(Scene Recognition), 공간 이해(3D Reconstruction/Localization), 영상 개선(Image Enhancement) 등을 포함한다.Visual understanding is a technology that recognizes and processes objects as if they were human eyes, and includes object recognition, object tracking, image retrieval, human recognition, and scene recognition. , spatial understanding (3D Reconstruction/Localization), and image enhancement (Image Enhancement).
언어 표현 분석 모듈 1012은 획득된 언어 표현 분석 결과를 발달 검사 서버 4000의 언어 발달 평가 모듈 4001로 전송하고, 비언어 표현 분석 모듈 1013은 획득된 비언어표현 분석 결과를 발달 검사 서버 4000의 비언어 발달 평가 모듈 4002로 전송한다. The language expression analysis module 1012 transmits the acquired language expression analysis result to the language development evaluation module 4001 of the development test server 4000, and the non-verbal expression analysis module 1013 transmits the obtained non-verbal expression analysis result to the non-verbal development test server 4000. Send to evaluation module 4002.
전자 장치 1000의 사용 내역 분석 모듈 1014은 검색 기록, 시청 내역 등 사용자의 전자 장치 사용 내역 데이터 일체에 기초하여 사용 내역을 분석하고, 분석 결과를 발달 검사 서버 4000의 종합 발달 분석 모듈 4003로 전송한다. 또한, 언어 발달 평가 모듈 4001 및 비언어 발달 평가 모듈 4002은 발달 평가 결과를 각각 종합 발달 분석 모듈 4003로 전달한다. The usage history analysis module 1014 of the electronic device 1000 analyzes the usage history based on all of the user's electronic device usage history data, such as search records and viewing history, and transmits the analysis result to the comprehensive developmental analysis module 4003 of the development test server 4000. In addition, the language development evaluation module 4001 and the non-verbal development evaluation module 4002 transmit development evaluation results to the comprehensive development analysis module 4003, respectively.
종합 발달 분석 모듈 4003은 전자 장치 1000로부터 획득한 사용 내역 분석 결과 및 발달 평가 모듈들(4001 및 4002)로부터 획득한 발달 평가 결과에 기초하여 사용자의 발달을 종합적으로 분석하고, 분석 결과를 전체 사용자 데이터 베이스 4004에 전달하여 저장하도록 할 수 있다. 또한, 종합 발달 분석 모듈 4003은 사용자의 발달을 동일 연령대의 다른 사용자들의 발달 분석 결과를 참조, 비교하여 분석할 수 있다.The comprehensive developmental analysis module 4003 comprehensively analyzes the user's development based on the usage history analysis result obtained from the electronic device 1000 and the developmental evaluation result obtained from the developmental evaluation modules 4001 and 4002, and analyzes the analysis result as total user data. It can be passed to base 4004 for storage. In addition, the comprehensive development analysis module 4003 may analyze the development of the user by referring to and comparing the development analysis results of other users of the same age.
전자 장치 1000의 발달 검사 결과 제공 모듈 1015은 발달 검사 서버 4000의 사용자 DB 4004로부터 사용자에 대한 발달 검사 결과를 획득하고, 사용자의 발달 검사 결과를 제공하여 관리자가 확인하도록 할 수 있다. 예를 들어, 발달 검사 결과 제공 모듈 1015은 사용자의 발달 현황에 대한 보고서를 작성하여 디스플레이 화면에 표시하거나, 전자 장치 1000의 메모리(미도시)에 저장하거나, 미리 설정된 관리자 이메일로 전송하도록 동작할 수 있다. The development test result providing module 1015 of the electronic device 1000 may obtain a development test result for the user from the user DB 4004 of the development test server 4000 and provide the user's development test result so that the administrator can confirm the result. For example, the development test result providing module 1015 may create a report on the user's developmental status, display it on a display screen, store it in a memory (not shown) of the electronic device 1000, or send it to a preset administrator's e-mail address. there is.
도 15는 본 개시의 일 실시예에 따른 발달 검사 시스템에서, 전자 장치와 서버의 구성도를 나타낸다. 15 illustrates a configuration diagram of an electronic device and a server in a developmental examination system according to an embodiment of the present disclosure.
도 15를 참조하면, 전자 장치 1000는 관리자 정보 획득 모듈 1100, 사용자 정보 획득 모듈 1300, 사용 정보 획득 모듈 1600 및 디스플레이 1200를 포함하고, 사용 정보 획득 모듈 1600은 언어 표현 분석 모듈 1012, 비언어 표현 분석 모듈 1013, 사용 내역 분석 모듈 1014을 포함할 수 있다. Referring to FIG. 15 , the electronic device 1000 includes a manager information acquisition module 1100, a user information acquisition module 1300, a usage information acquisition module 1600, and a display 1200. The usage information acquisition module 1600 includes a language expression analysis module 1012 and a non-verbal expression analysis. module 1013, usage history analysis module 1014.
발달검사 서버 4000는 종합 발달 분석 모듈 4003 및 전체 사용자 데이터베이스 4004를 포함하고, 종합 발달 분석 모듈 4003은 언어 발달 평가 모듈 4001 및 비언어 발달 평가 모듈 4002를 포함할 수 있다. The development test server 4000 may include a comprehensive development analysis module 4003 and a total user database 4004 , and the comprehensive development analysis module 4003 may include a language development evaluation module 4001 and a non-verbal development evaluation module 4002 .
도 15에서, 도 3 및 도 14와 중복되는 내용에 대한 상세한 설명은 생략될 수 있다.In FIG. 15, a detailed description of contents overlapping with those of FIGS. 3 and 14 may be omitted.
사용자 정보 획득 모듈 1300은, 사용자 정보를 획득하며, 사용자 정보는 사용자 기본 정보, 사용 방식 정보, 및 기질 및 성향 정보를 포함할 수 있다. 사용 정보 획득 모듈 1600은, 사용 정보를 획득하며, 사용 정보는 언어 표현 분석 결과, 비언어 표현 분석 결과, 및 사용 내역 분석 결과를 포함할 수 있다.The user information acquisition module 1300 acquires user information, and the user information may include user basic information, usage method information, and temperament and propensity information. The usage information acquisition module 1600 acquires usage information, and the usage information may include a result of analyzing a language expression, a result of analyzing a non-verbal expression, and a result of analyzing a usage history.
언어 표현 분석 모듈 1012은 대화 시스템을 활용하여 전자 장치 사용자의 발화에 기초한 언어적 표현 분석 결과를 획득한다. 비언어 표현 분석 모듈 1013은 사용자의 자세, 표정, 및 얼굴 인식에 기초한 비언어적 표현 분석 결과를 획득한다. 전자 장치 1000의 사용 내역 분석 모듈 1014은 검색 기록, 시청 내역 등 사용자의 전자 장치 사용 내역 데이터 일체에 기초하여 사용 내역을 분석한다. The language expression analysis module 1012 obtains a result of analyzing a language expression based on a speech of an electronic device user by using a conversation system. The non-verbal expression analysis module 1013 obtains a non-verbal expression analysis result based on the user's posture, expression, and face recognition. The usage history analysis module 1014 of the electronic device 1000 analyzes the usage history based on all of the user's electronic device usage history data, such as search history and viewing history.
전자 장치 사용자의 언어적 표현은 전자 장치 1000에 구비된 마이크를 통해 수신된 발화를 대화 시스템을 활용하여 분석함으로써 획득될 수 있다. 전자 장치 사용자의 비언어적 표현은 전자 장치 1000에 구비된 카메라를 통해 캡쳐된 이미지를 분석함으로써 획득될 수 있다.The linguistic expression of the user of the electronic device may be obtained by analyzing speech received through a microphone provided in the electronic device 1000 using a conversation system. The non-verbal expression of the user of the electronic device may be obtained by analyzing an image captured through a camera provided in the electronic device 1000 .
전자 장치 1000는 사용자 정보 획득부 1300를 통해 획득한 사용자 정보 및 사용 정보 획득 모듈 1600을 통해 획득한 사용 정보를 발달검사 서버 4000로 전송한다. The electronic device 1000 transmits user information acquired through the user information acquisition unit 1300 and usage information obtained through the usage information acquisition module 1600 to the developmental test server 4000 .
발달검사 서버 4000의 종합 발달 분석 모듈 4003은 전자 장치 1000로부터 수신한 사용자 정보 및 사용 정보에 기초하여 발달 검사 결과를 획득할 수 있다. 보다 구체적으로, 종합 발달 분석 모듈 4003은 언어 발달 평가 모듈 4001에서 획득한 언어 발달 평가 결과 및 비언어 발달 평가 모듈 4002에서 획득한 비언어 발달 평가 결과에 기초하여 사용자의 발달을 종합적으로 분석하고, 분석 결과를 전체 사용자 데이터 베이스 4004에 전달하여 저장하도록 할 수 있다. 또한, 종합 발달 분석 모듈 4003은 사용자의 발달을 동일 연령대의 다른 사용자들의 발달 분석 결과를 참조, 비교하여 분석할 수 있다.The comprehensive developmental analysis module 4003 of the developmental examination server 4000 may obtain a developmental examination result based on user information and usage information received from the electronic device 1000 . More specifically, the comprehensive development analysis module 4003 comprehensively analyzes the user's development based on the language development evaluation results obtained in the language development evaluation module 4001 and the non-verbal development evaluation results obtained in the non-verbal development evaluation module 4002. The result can be transferred to the entire user database 4004 for storage. In addition, the comprehensive development analysis module 4003 may analyze the development of the user by referring to and comparing the development analysis results of other users of the same age.
발달검사 서버 4000는 종합 발달 분석 모듈에서 획득된 사용자의 발달 검사 결과를 전자 장치 1000로 전송하고, 전자 장치 1000는 수신한 발달 검사 결과를 디스플레이 1200에 표시하여 관리자 또는 사용자에게 발달 검사 결과를 제공할 수 있다. The developmental examination server 4000 transmits the user's developmental examination result obtained from the comprehensive developmental analysis module to the electronic device 1000, and the electronic device 1000 displays the received developmental examination result on the display 1200 to provide the developmental examination result to the manager or user. can
도 16은 본 개시의 일 실시예에 따른, 언어 발달 검사 모델을 나타낸다. 16 illustrates a language development test model according to an embodiment of the present disclosure.
도 16을 참조하면, 본 개시의 일 실시예에 따른 언어 발달 검사 모델은, 문장 벡터화 모델 1601, 형태소 분석 모델 1602, 합성곱 신경망 모델 1603 및 언어 발달 검사 모델 1604을 포함할 수 있다. Referring to FIG. 16 , a language development test model according to an embodiment of the present disclosure may include a sentence vectorization model 1601, a morpheme analysis model 1602, a convolutional neural network model 1603, and a language development test model 1604.
언어 발달 검사 모델은, 문장들의 발화 데이터를 문장 벡터화 모델(예를 들어, Gensim 모델)을 사용하여 벡터화 한 문장벡터들과, 발화 데이터를 형태소 분석 모델을 사용하여 품사 태깅된 문장들의 언어 발달 수준에 기초하여 학습 데이터로 사용한다. The language development test model uses sentence vectors obtained by vectorizing speech data of sentences using a sentence vectorization model (eg, Gensim model) and speech data using a morphological analysis model to determine the language development level of parts of speech tagged sentences. Based on this, it is used as learning data.
표 1은 발화 데이터의 예시를 나타낸다.Table 1 shows an example of utterance data.
[표 1][Table 1]
Figure PCTKR2022018378-appb-img-000001
Figure PCTKR2022018378-appb-img-000001
표 2는 표 1의 발화 데이터가 품사 태깅된 문장을 나타낸다. Table 2 shows sentences in which the speech data of Table 1 is tagged with parts of speech.
[표 2][Table 2]
Figure PCTKR2022018378-appb-img-000002
Figure PCTKR2022018378-appb-img-000002
표 3은 표 1의 발화 데이터의 문장 벡터(X_train)와, 표 2의 품사 태깅 문장의 언어 발달 수준(Y_train)을 이용하여 생성된 학습 데이터 세트를 나타낸다. Table 3 shows a training data set generated using the sentence vector (X_train) of the speech data in Table 1 and the language development level (Y_train) of the part-of-speech tagged sentence in Table 2.
[표 3][Table 3]
Figure PCTKR2022018378-appb-img-000003
Figure PCTKR2022018378-appb-img-000003
합성곱 신경망 모델 1604은 문장 벡터화 모델 1601 및 형태소 분석 모델 1602을 사용하여 획득된 학습 데이터 세트를 이용해 학습되며, 언어 발달 검사 모델 1605을 추출할 수 있다. 추출된 언어 발달 검사 모델 1605은 사용자의 발화 데이터가 입력되면, 사용자의 언어 발달 수준을 출력할 수 있다. The convolutional neural network model 1604 is trained using a learning data set obtained using the sentence vectorization model 1601 and the morphological analysis model 1602, and a language development test model 1605 can be extracted. When the user's speech data is input, the extracted language development test model 1605 may output the user's language development level.
본 개시의 일 실시예에 따르면, 언어 발달 검사 모델은 사용자의 전자 장치 1000 사용이 시작될 때마다 수행될 수 있으며, 전자 장치 1000는 대화형 상호작용을 위한 질문을 송출하고 사용자의 답변을 요구할 수 있다. 예를 들어, 전자 장치 1000는 사용자의 언어 발달 현황을 확인할 수 있는 검사형 질문 뿐 아니라, 사용자의 관심사나 선호하는 컨텐츠 등 사용자에 적합한 전자 장치 제어를 수행하기 위하여 필요한 정보 수집형 질문, 단순 흥미 유발형 질문 외에도 사용자의 발화를 유도하기 위해 사용할 수 있는 모든 질문을 송출 할 수 있다.According to an embodiment of the present disclosure, a language development test model may be performed whenever a user starts using the electronic device 1000, and the electronic device 1000 may transmit a question for interactive interaction and request an answer from the user. . For example, the electronic device 1000 includes not only test-type questions for checking the user's language development status, but also information-gathering questions necessary for controlling the electronic device suitable for the user, such as the user's interest or preferred content, and simple interest-inducing. In addition to type questions, any questions that can be used to induce users to speak can be sent out.
질문은 관리자에 의해 입력될 수 있으며, 전자 장치 1000는 관리자의 음성 입력 또는 텍스트 입력을 사용자가 선호하는 캐릭터의 음성으로 변조하여 출력할 수 있다. 예를 들어, 부모 관리자가 아이의 기관 생활에 대해 확인하고자 하는 내용(교우 관계, 학대 정확 확인 등)이 있는 경우, 또는 아이의 심리 상태나 받고 싶은 선물 등을 확인하고자 하는 경우, 부모 관리자가 입력한 질문을 자녀가 좋아하는 캐릭터의 음성으로 변조하여 출력함으로써 자녀가 보다 거부감 없이 대답할 수 있도록 한다.A question may be input by a manager, and the electronic device 1000 may modulate the manager's voice input or text input into the voice of a character preferred by the user and output the modulated voice. For example, if there is something the parent manager wants to check about the child's institutional life (friendship relationship, accurate confirmation of abuse, etc.), or if they want to check the child's psychological state or a gift they want to receive, the parent manager inputs By modulating a question into the voice of a child's favorite character and outputting it, the child can answer without objection.
도 17은 본 개시의 일 실시예 따른 전자 장치가, 발달 검사를 수행하는 방법의 순서도이다. 17 is a flowchart of a method of performing a development test by an electronic device according to an embodiment of the present disclosure.
전자 장치 1000는 발달 검사를 수행하기 전, 필요한 경우 전자 장치의 각 기능(모듈)에 대한 접근 권한 및 기능 권한 동의를 획득할 수 있다. The electronic device 1000 may obtain an access right and function right consent for each function (module) of the electronic device, if necessary, before performing the development test.
도 17 에서, 도 14 내지 도 16과 중복되는 내용에 대한 설명은 생략할 수 있다. In FIG. 17, descriptions of overlapping contents with those of FIGS. 14 to 16 may be omitted.
단계 1701에서, 전자 장치 1000는 전자 장치의 사용자 정보를 획득한다.In step 1701, the electronic device 1000 acquires user information of the electronic device.
전자 장치의 사용자 정보는, 사용자의 이름, 나이, 기질, 취향에 대한 정보를 포함할 수 있다. User information of the electronic device may include information about the user's name, age, temperament, and taste.
단계 1702에서, 전자 장치 1000는 전자 장치 사용자의 전자 장치 사용 정보를 획득한다.In step 1702, the electronic device 1000 obtains electronic device usage information of the electronic device user.
전자 장치 사용자의 전자 장치 사용 정보는, 전자 장치 사용자의 전자 장치 사용 이력을 포함할 수 있다. 예를 들어, 전자 장치 사용자의 컨텐츠 이용 이력, 애플리케이션 이용 이력, 및 쇼핑 이력 등을 포함할 수 있다.The electronic device usage information of the electronic device user may include a history of using the electronic device by the electronic device user. For example, the electronic device user's content use history, application use history, and shopping history may be included.
단계 1703에서, 전자 장치 1000는 사용자 정보 및 사용 정보에 기초한 발달 검사 결과를 획득한다. In step 1703, the electronic device 1000 obtains a development test result based on user information and usage information.
전자 장치 1000는, 사용자의 나이에 대한 정보에 기초하여 질문의 유형을 결정할 수 있다. 예를 들어, 사용자가 5세 아동인 경우, 폐쇄형 질문 유형을 선택할 수 있다. 질문을 이용해 답을 할 수 있는 폐쇄형 질문과 달리 자유롭게 답하는 개방형 질문은 지적 수준이 낮은 사용자나 나이가 어린 유아들에게는 적절하지 않을 수 있다. The electronic device 1000 may determine a question type based on information about the user's age. For example, if the user is a 5-year-old child, they may choose a closed-ended question type. Unlike closed-ended questions that can be answered using questions, open-ended questions that can be answered freely may not be appropriate for users with low intellectual levels or young children.
또한, 전자 장치 1000는 사용자의 기질, 취향에 대한 정보 및 전자 장치 사용 정보에 기초하여 발달 검사를 수행할 때 사용할 키워드(예를 들어, 사용자가 좋아하는 컨텐츠의 이름 또는 캐릭터 이름 등)를 선택하고, 질문을 결정할 수 있다. 예를 들어, 사용자가 5세 아동이고, 이용 컨텐츠 이력에 ‘꼬마버스 타요’가 가장 많이 시청한 동영상으로 판단된 경우, 전자 장치 1000는 질문의 키워드로 #타요, #라니, #로기를 선택하고, “XX는 타요에서 라니랑 로기 중에 누가 더 좋아?”라는 폐쇄형 2지선다 질문을 결정할 수 있다. 사용자의 연령이 증가하면, 전자 장치 1000는 개방형 질문이나 다지선다 질문을 선택할 수 있으며, 키워드 및 질문은 사용자의 연령 또는 월령에 기초하여 결정된다. In addition, the electronic device 1000 selects a keyword (eg, the name of the user's favorite content or character name) to be used when performing a development test based on the user's temperament, taste information, and electronic device use information, and , the question can be determined. For example, if the user is a 5-year-old child and 'Tayo the Little Bus' is determined to be the most watched video in the content history, the electronic device 1000 selects #Tayo, #Rani, and #Rogi as the keywords of the question and , You can decide on a closed-ended multiple-choice question, “Who do you like more in XX, Tayo, Lani or Rogi?” When the age of the user increases, the electronic device 1000 may select an open-ended question or a multiple-choice question, and keywords and questions are determined based on the age or age of the user.
발달 검사를 위한 질문이 결정되면, 전자 장치 1000는 스피커를 통해 결정된 질문을 소리로 출력하거나, 디스플레이를 통해 결정된 질문을 문자 또는 그래픽으로 표시할 수 있다. When a question for the development test is determined, the electronic device 1000 may output the determined question as sound through a speaker or display the determined question in text or graphics through a display.
사용자가 전자 장치 1000의 질문에 응답하면, 전자 장치 1000는 마이크를 통해 사용자의 발화를 획득하고, 획득된 사용자 발화를 분석하여 발달 검사를 수행할 수 있다. 예를 들어, 전자 장치 1000의 “XX는 타요에서 라니랑 로기 중에 누가 더 좋아?”라는 질문에 대하여, 사용자가 “나는 라니가 더 좋아”라고 대답한 경우, 주어, 서술어, 목적어를 적절하게 활용하는지 여부 및 비교급을 적절히 구사하는지 여부를 판단하여 사용자의 연령에 따른 언어 발달 검사 결과를 획득할 수 있다. When the user responds to a question of the electronic device 1000, the electronic device 1000 may acquire the user's speech through a microphone, analyze the obtained user speech, and perform a development test. For example, to the question of the electronic device 1000 “Who do you like more, Rani or Rogi in Tayo?”, if the user answers “I like Rani more”, the subject, predicate, and object are appropriately used It is possible to obtain a language development test result according to the user's age by determining whether or not he or she uses comparative degrees appropriately.
본 개시의 일 실시예에 따르면, 전자 장치 1000는 획득한 사용자 정보 및 사용자의 장치 사용 정보를 발달 검사 서버 4000로 전송하고, 발달 검사 서버 4000로부터 발달 검사 결과를 획득할 수 있다. 발달 검사 서버 4000는, 전자 장치 1000로부터 수신한 사용자 정보 및 사용자의 장치 사용 정보에 기초하여 발달 검사를 수행할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may transmit the acquired user information and device use information of the user to the development test server 4000 and obtain a development test result from the development test server 4000 . The development test server 4000 may perform a development test based on user information received from the electronic device 1000 and device usage information of the user.
단계 1704 에서, 전자 장치 1000는 획득된 발달 검사 결과를 제공한다. In step 1704, the electronic device 1000 provides the obtained development test result.
전자 장치 1000는 획득된 발달 검사에 기초한 그래픽 또는 문서를 생성하고, 이를 제공하여 관리자가 사용자의 발달 검사 결과를 확인할 수 있도록 한다. 발달 검사 결과는, 또래 집단의 타 사용자와 비교 결과를 포함할 수 있다.The electronic device 1000 generates a graphic or document based on the obtained development test and provides it so that the administrator can check the user's development test result. The development test result may include a comparison result with other users in the peer group.
도 18은 본 개시의 일 실시예에 따른, 전자 장치를 이용하여 발달 검사를 수행하는 방법의 동작을 설명하기 위한 도면이다.18 is a diagram for explaining an operation of a method of performing a development test using an electronic device, according to an embodiment of the present disclosure.
본 개시의 일 실시예에 따르면, 평상시 사용 중 확인이 어렵거나 사용자가 응답하지 않아 추가 확인이 필요한 검사 항목 또는 질문의 경우, 미니 게임 등 사용자가 흥미를 가질 수 있는 컨텐츠를 통해 검사를 수행할 수 있다. According to an embodiment of the present disclosure, in the case of a test item or question that is difficult to check during normal use or requires additional check because the user does not respond, the test can be performed through content that may be of interest to the user, such as a mini game. there is.
예를 들어, 전자 장치 1000는 사용자에게 개가 짖는 ‘멍멍!’ 소리를 들려주고, “XX야, 이건 무슨 소리일까?”라는 질문을 출력하여 사용자가 의성어를 듣고 관련 사물을 인지하고 말로 표현할 수 있는지를 확인할 수 있다. For example, the electronic device 1000 lets the user hear the sound of a dog barking 'wow!' and outputs a question, "Hey XX, what is this sound?" can be checked.
또는, 전자 장치 1000는 사용자에게 여러 과일의 사진을 보여주고, “XX야, 이 중에 무슨 과일이 제일 좋아?”라는 질문을 출력하여 사용자가 자신이 선호하는 것이 무엇인지 표현할 수 있는지를 확인할 수 있다. Alternatively, the electronic device 1000 may show pictures of various fruits to the user and output a question, "Hey XX, which fruit do you like the most?" to check whether the user can express what he or she prefers. .
또는, 전자 장치 1000는 사용자에게 크기가 다른 두 동물의 그림을 보여주고, “XX야, 둘 중에 누가 키가 더 커?”라는 질문을 출력하여 사용자가 비교급을 사용할 수 있는지 여부를 확인할 수 있다. Alternatively, the electronic device 1000 may show pictures of two animals of different sizes to the user, and output a question, "XX, which of the two is taller?" to confirm whether the user can use the comparative degree.
본 개시의 일 실시예에 다르면, 전자 장치 1000는, 관리자에게 직접 사용자의 인지/발달 상태와 관련된 질문을 제시하여 발달 상태를 확인할 수 있다. 예를 들어, 전자 장치 1000는 “안-, 않-, 아니-, 못- 과 같은 ‘부정어’를 사용할 수 있나요?”라는 질문을 디스플레이에 표시하고, 관리자의 대답을 획득하여, 사용자의 발달 상태를 확인할 수 있다. According to an embodiment of the present disclosure, the electronic device 1000 may directly present a question related to the user's cognitive/developmental status to the administrator to check the developmental status. For example, the electronic device 1000 displays the question “Can you use 'negative words' such as not-, not-, no-, and can't-?” can be checked.
도 19는 본 개시의 일 실시예에 따른, 언어 발달 검사 결과 화면을 나타낸다. 19 illustrates a language development test result screen according to an embodiment of the present disclosure.
도 19를 참조하면, 본 개시의 일 실시예에 따른 언어 발달 검사 결과는, 종합 발달 분석 결과, 발달 검사를 위한 대화형 상호작용의 질문과 사용자의 답변, 사용자의 답변을 기초로 획득된 언어 발달 검사 결과 및 코멘트를 포함할 수 있다. Referring to FIG. 19 , language development test results according to an embodiment of the present disclosure include a comprehensive developmental analysis result, an interactive interactive question and user's answer for the developmental test, and language development obtained based on the user's answer. Can include inspection results and comments.
첫번째 언어 발달 검사 결과 화면은, 종합 발달 분석 결과로, 어떤 영역의 발달 검사를 수행했는지, 각 영역의 검사 결과가 어떻게 도출되었는지, 검사 결과 관리자에게 추천하는 대응을 표시할 수 있다. The first language development test result screen, as a result of comprehensive development analysis, may display which area of development test was performed, how the test result of each area was derived, and recommended responses to the test result manager.
사용자의 인지/발달 검사 결과 추가 검사 또는 보다 정밀한 결과가 필요한 경우, 관리자에게 추천하는 대응은 정밀 검진을 권고하는 문구를 포함할 수 있다. If an additional test or a more precise result is required as a result of the user's cognitive/developmental test, the response recommended to the manager may include a phrase recommending a detailed test.
두번째 언어 발달 검사 결과 화면은, 언어 발달 검사를 위한 대화형 상호작용의 질문과 사용자의 답변의 예시이다. 본 개시의 일 실시예에 따른 언어 발달 검사는, 전자 장치 1000 사용 시작시 일상적인 질문을 통하여 일일 단위(daily basis)로 사용자의 자연스러운 발화 데이터를 획득하고 언어 발달을 평가할 수 있다. The second language development test result screen is an example of an interactive interactive question and a user's answer for the language development test. The language development test according to an embodiment of the present disclosure may obtain natural speech data of the user on a daily basis through daily questions and evaluate language development when the electronic device 1000 starts to be used.
사용자가 유아인 경우 문자를 읽지 못할 수 있으므로, 전자 장치 100는 스피커를 이용하여 질문을 음성으로 출력하고, 마이크를 이용하여 사용자의 대답을 획득하여, 획득된 사용자 발화 데이터를 언어 발달 검사 모델을 이용하여 언어 발달 수준을 획득할 수 있다. Since the user may not be able to read text if the user is an infant, the electronic device 100 outputs the question as a voice using a speaker, obtains the user's answer using a microphone, and uses the acquired user speech data as a language development test model. level of language development.
세번째 언어 발달 검사 결과 화면은, 사용자의 발화 데이터에 기초하여 획득된 사용자의 언어 발달 검사 결과를 나타낸다. 언어 발달 검사는 일일 단위(daily basis)로 획득된 사용자의 발화 데이터에 기초하여 일일 단위로 수행될 수 있으며, 그 결과는 그래프로 표시될 수 있다. 이 때, 사용자의 언어 발달 검사 결과는 동일 월령의 다른 아이들의 평균과 비교를 포함할 수 있다. The third language development test result screen shows the user's language development test result obtained based on the user's speech data. The language development test may be performed on a daily basis based on user's speech data obtained on a daily basis, and the result may be displayed as a graph. At this time, the user's language development test result may include comparison with the average of other children of the same age.
이와 같이 검사 횟수, 검사 이력과 검사 결과의 근거를 제공함으로써, 결과에 대한 신뢰도가 높아질 수 있고, 관리자는 사용자가 보완해야 할 부분을 보다 용이하게 파악할 수 있다. In this way, by providing the basis for the number of inspections, inspection history, and inspection results, the reliability of the results can be increased, and the manager can more easily identify the part that the user needs to supplement.
도 20은 본 개시의 일 실시예에 따른 전자 장치의 블록구성도이다.20 is a block diagram of an electronic device according to an embodiment of the present disclosure.
도 20에 도시된 바와 같이, 본 개시의 일 실시예에 따른 전자 장치 1000는 프로세서 1700, 메모리 1800, 및 통신부 1900를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 전자 장치 1000는 도시된 구성요소보다 많은 구성요소에 의해 구현될 수도 있고, 전자 장치 1000는 그보다 적은 구성요소에 의해서도 구현될 수 있다.As shown in FIG. 20 , an electronic device 1000 according to an embodiment of the present disclosure may include a processor 1700, a memory 1800, and a communication unit 1900. However, not all illustrated components are essential components. The electronic device 1000 may be implemented with more components than those illustrated, or the electronic device 1000 may be implemented with fewer components.
이하 상기 구성요소들에 대해 차례로 살펴본다. Hereinafter, the above components are examined in turn.
프로세서 1700는, 통상적으로 전자 장치 1000의 전반적인 동작을 제어한다. 예를 들어, 프로세서 1700는 메모리 1900에 저장된 프로그램들을 실행함으로써, 관리자 정보 획득 모듈 1100, 사용자 정보 획득 모듈 1300, 사용자-관리자 유형 결정 모듈, 사용 정보 획득 모듈 1700, 및 디스플레이 1200등을 전반적으로 제어할 수 있다. The processor 1700 typically controls overall operations of the electronic device 1000 . For example, the processor 1700 executes programs stored in the memory 1900 to overall control the manager information acquisition module 1100, the user information acquisition module 1300, the user-administrator type determination module, the usage information acquisition module 1700, and the display 1200. can
본 개시의 일 실시예에 따르면, 프로세서 1700는 학습 네트워크 모델을 생성하기 위한 인공지능(AI) 프로세서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 개시의 일 실시예에 따르면, AI 프로세서는 프로세서 1700와 별도의 칩으로 구현될 수도 있다. 본 개시의 일 실시예에 의하면, AI 프로세서는 범용 칩일 수도 있다.According to one embodiment of the present disclosure, the processor 1700 may include an artificial intelligence (AI) processor for generating a learning network model, but is not limited thereto. According to an embodiment of the present disclosure, the AI processor may be implemented as a separate chip from the processor 1700. According to an embodiment of the present disclosure, the AI processor may be a general-purpose chip.
본 개시의 일 실시예에 따르면, 프로세서 1700는 전자 장치의 사용자 정보 및 관리자 정보를 획득할 수 있고, 획득된 정보에 기초하여 사용자-관리자 유형을 결정하고, 결정된 사용자-관리자 유형에 기초하여 인공지능 모델로부터 획득된 전자 장치 관리 조건을 획득할 수 있다. According to an embodiment of the present disclosure, the processor 1700 may obtain user information and manager information of the electronic device, determine a user-manager type based on the acquired information, and determine an artificial intelligence based on the determined user-manager type. Electronic device management conditions obtained from the model may be acquired.
본 개시의 일 실시예에 따른 인공지능 모델은, 전자 장치 내부에서 자체적으로 동작하는 온-디바이스(on-device) 모델이거나 전자 장치 외부의 서버에서 동작하는 서버(server) 모델일 수 있다. 또는, 본 개시의 일 실시예에 따른 인공지능 모델은, 온-디바이스 모델과 서버 모델이 결합된 형태일 수 있다. An artificial intelligence model according to an embodiment of the present disclosure may be an on-device model independently operated inside an electronic device or a server model operated in a server outside the electronic device. Alternatively, the artificial intelligence model according to an embodiment of the present disclosure may be a combination of an on-device model and a server model.
서버 모델을 포함하는 인공지능 모델이 사용되는 경우, 전자장치 1000는 획득된 전자 장치 사용자 정보 및 전자 장치 관리자 정보를 인공지능 서버 3000로 전송할 수 있다. When an artificial intelligence model including a server model is used, the electronic device 1000 may transmit the obtained electronic device user information and electronic device manager information to the artificial intelligence server 3000 .
본 개시의 일 실시예에 따르면, 프로세서 1700는 획득된 전자 장치 관리 조건에 기초하여 전자 장치를 제어할 수 있다. According to an embodiment of the present disclosure, the processor 1700 may control the electronic device based on the acquired electronic device management condition.
본 개시의 일 실시예에 따르면, 프로세서 1700는 전자 장치의 사용자 정보 및 사용자의 전자 장치 사용 정보를 획득할 수 있고, 획득된 사용자 정보 및 사용 정보에 기초하여, 발달 검사 결과를 획득할 수 있다. 발달 검사는 언어 발달 검사 및 비언어 발달 검사를 포함할 수 있으며, 전자 장치 1000 에서 수행되거나 또는 별도의 발달 검사 서버 4000에서 수행될 수 있다. According to an embodiment of the present disclosure, the processor 1700 may obtain user information of the electronic device and information about the user's use of the electronic device, and may obtain a development test result based on the obtained user information and usage information. The development test may include a language development test and a non-verbal development test, and may be performed in the electronic device 1000 or in a separate development test server 4000 .
메모리 1800에는, 프로세서 1700가 전자 장치 1000를 제어하기 위해 필요한 각종 정보가 저장된다. The memory 1800 stores various types of information necessary for the processor 1700 to control the electronic device 1000 .
일 실시예에 따르면, 메모리 1800에는 사용자 정보, 관리자 정보 및 사용자-관리자 유형 정보가 저장될 수 있다. 또한, 메모리 1800에는, 사용자의 전자 장치 사용 정보, 및 전자 장치 1000의 전자 장치 제어 이력 정보가 저장될 수 있다. 전자 장치 관리 조건을 결정하기 위하여 온-디바이스 인공지능 모델이 사용되는 경우, 메모리 1800에는 인공지능 모델을 생성하기 위한 각종 데이터들 및 학습 데이터들이 저장될 수 있다. According to an embodiment, user information, manager information, and user-manager type information may be stored in the memory 1800 . Also, the memory 1800 may store user electronic device use information and electronic device control history information of the electronic device 1000 . When an on-device artificial intelligence model is used to determine electronic device management conditions, the memory 1800 may store various data and training data for generating an artificial intelligence model.
메모리 1800는 프로세서 1700의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 저장할 수도 있다. The memory 1800 may store programs for processing and control of the processor 1700 and may store input/output data.
메모리(30)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 메모리 1800에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다.The memory 30 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , an optical disk, and at least one type of storage medium. Programs stored in the memory 1800 can be classified into a plurality of modules according to their functions.
통신부 1900는, 전자 장치 1000와 인공지능 서버 3000, 전자 장치 1000와 발달 검사 서버 4000, 또는 전자 장치 1000와 관리자 장치 2000 간의 통신을 가능하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부 1900는, 근거리 통신부(미도시)를 포함할 수 있다.The communication unit 1900 may include one or more components enabling communication between the electronic device 1000 and the artificial intelligence server 3000, the electronic device 1000 and the development test server 4000, or the electronic device 1000 and the manager device 2000. For example, the communication unit 1900 may include a short range communication unit (not shown).
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The short-range wireless communication unit includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit (WLAN) communication unit, a Zigbee communication unit, an infrared (IrDA) It may include a Data Association (Data Association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, etc., but is not limited thereto.
통신부 1900는 서버 장치(미도시)로부터 전자장치 1000를 제어하기 위한 소프트웨어를 획득할 수 있다. The communication unit 1900 may obtain software for controlling the electronic device 1000 from a server device (not shown).
예를 들어, 프로세서 1700의 각 모듈이 동작하기 위한 펌웨어가 업데이트된 경우, 통신부 1700는 업데이트된 펌웨어를 서버 장치로부터 다운로드하여 프로세서 1700로 전달할 수 있다. 또는, 프로세서 1700에서 수행하는 기능이 추가된 경우, 통신부 1900는 추가된 기능과 관련된 소프트웨어를 서버 장치로부터 다운로드하여 프로세서 1700로 전달할 수 있다.For example, when firmware for operating each module of the processor 1700 is updated, the communication unit 1700 may download the updated firmware from a server device and transmit the updated firmware to the processor 1700 . Alternatively, when a function performed by the processor 1700 is added, the communication unit 1900 may download software related to the added function from the server device and deliver it to the processor 1700.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-temporary storage medium' only means that it is a tangible device and does not contain signals (e.g., electromagnetic waves), and this term refers to the case where data is stored semi-permanently in the storage medium and temporary It does not discriminate if it is saved as . For example, a 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 웹 플러그인으로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments disclosed in this document may be provided by being included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. A computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), distributed as a web plug-in, or via an application store or on two user devices (eg compact disc read only memory (CD-ROM)). : It can be distributed (e.g., downloaded or uploaded) online, directly between smartphones. In the case of online distribution, at least a part of a computer program product (eg, a downloadable app) is stored on a device-readable storage medium, such as a manufacturer's server, an application store's server, or a relay server's memory. It can be temporarily stored or created temporarily.

Claims (15)

  1. 전자 장치(1000)의 사용을 관리하는 방법에 있어서, In the method for managing the use of the electronic device 1000,
    상기 전자 장치(1000)의 사용자(1500)에 대한 정보 및 상기 전자 장치의 관리자(2500)에 대한 정보를 획득(401)하는 단계;obtaining (401) information about a user 1500 of the electronic device 1000 and information about a manager 2500 of the electronic device;
    상기 획득된 사용자에 대한 정보 및 관리자에 대한 정보에 기초하여 인공지능 모델로부터 식별된, 상기 전자 장치의 관리 조건을 획득(402)하는 단계; 및acquiring (402) a management condition of the electronic device identified from an artificial intelligence model based on the obtained information about the user and the information about the manager; and
    상기 획득된 관리 기준에 기초하여 상기 전자 장치를 제어(403)하는 단계;를 포함하는, 방법.Controlling (403) the electronic device based on the acquired management criterion.
  2. 제1 항에 있어서, According to claim 1,
    상기 관리 조건은, 상기 사용자의 전자 장치 사용 시간에 대한 관리 조건, 사용 내용에 대한 관리 조건, 및 사용 자세에 대한 관리 조건 중 적어도 하나를 포함하는, 방법.The management condition includes at least one of a management condition for the user's electronic device use time, a management condition for the contents of use, and a management condition for the user's posture.
  3. 제2 항에 있어서, According to claim 2,
    상기 사용 내용에 대한 관리 조건은, 상기 전자 장치에 표시되는 컨텐츠의 유해성 여부 판단을 포함하는, 방법.The management condition for the content of use includes determining whether the content displayed on the electronic device is harmful.
  4. 제2 항에 있어서, According to claim 2,
    상기 사용 자세에 대한 관리 조건은, 상기 사용자의 자세, 상기 전자 장치와 상기 사용자와의 거리, 및 상기 사용자의 눈 깜빡임 주기에 대한 판단 중 적어도 하나를 포함하는, 방법.The management condition for the use posture includes at least one of determination of the posture of the user, a distance between the electronic device and the user, and a blink cycle of the user.
  5. 제1 항에 있어서, 상기 방법은,The method of claim 1, wherein the method,
    상기 사용자에 대한 정보 및 상기 관리자에 대한 정보에 기초하여, 상기 사용자의 기질 및 상기 관리자의 양육 방식을 결정하는 단계; 및determining a temperament of the user and a parenting style of the manager based on the information about the user and the information about the manager; and
    상기 사용자의 기질 및 상기 관리자의 양육 방식에 기초하여 사용자와 관리자 사이의 유형을 결정하는 단계;를 더 포함하고, Further comprising determining a type between the user and the manager based on the temperament of the user and the parenting style of the manager;
    상기 전자 장치의 관리 조건은 상기 사용자와 관리자 사이의 유형에 기초하여 식별되는, 방법.The method of claim 1 , wherein the management condition of the electronic device is identified based on a type between the user and the manager.
  6. 제1 항에 있어서,According to claim 1,
    상기 사용자에 대한 정보 및 상기 관리자에 대한 정보 중 적어도 하나는 외부 장치로부터 획득되는, 방법.At least one of the information on the user and the information on the manager is obtained from an external device.
  7. 제1 항에 있어서, 상기 방법은,The method of claim 1, wherein the method,
    상기 전자 장치 제어 이력에 기초하여 학습된 인공지능 모델을 이용하여 식별된, 갱신된 관리 조건을 획득하는 단계;를 더 포함하는, 방법.Acquiring an updated management condition identified by using an artificial intelligence model learned based on the electronic device control history.
  8. 전자 장치(1000)에 있어서, In the electronic device 1000,
    통신부(1900);communication unit 1900;
    적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부(1800); 및a storage unit 1800 for storing a program including at least one instruction; and
    상기 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서(1700)를 포함하고,including at least one processor 1700 executing at least one instruction stored in the storage unit;
    상기 적어도 하나의 프로세서(1700)는 상기 적어도 하나의 명령어를 실행함으로써,By the at least one processor 1700 executing the at least one command,
    상기 전자 장치(1000)의 사용자(1500)에 대한 정보 및 상기 전자 장치의 관리자(2500)에 대한 정보를 획득(401)하고,Obtaining (401) information about a user 1500 of the electronic device 1000 and information about a manager 2500 of the electronic device,
    상기 획득된 사용자에 대한 정보 및 관리자에 대한 정보에 기초하여 인공지능 모델로부터 획득된, 상기 전자 장치의 관리 조건을 획득(402)하고,Obtaining management conditions of the electronic device obtained from an artificial intelligence model based on the obtained information about the user and information about the manager (402);
    상기 획득된 관리 기준에 기초하여 상기 전자 장치를 제어(403)하는, 장치.Controlling (403) the electronic device based on the obtained management criterion.
  9. 제8 항에 있어서, According to claim 8,
    상기 관리 조건은, 상기 사용자의 전자 장치 사용 시간에 대한 관리 조건, 사용 내용에 대한 관리 조건, 및 사용 자세에 대한 관리 조건 중 적어도 하나를 포함하는, 장치.The management condition includes at least one of a management condition for the user's electronic device use time, a management condition for the content of use, and a management condition for the user's posture.
  10. 제9 항에 있어서, According to claim 9,
    상기 사용 내용에 대한 관리 조건은, 상기 전자 장치에 표시되는 컨텐츠의 유해성 여부 판단을 포함하는, 장치.The management condition for the content of use includes determining whether the content displayed on the electronic device is harmful.
  11. 제9 항에 있어서, According to claim 9,
    상기 사용 자세에 대한 관리 조건은, 상기 전자 장치와 상기 사용자와의 거리, 및 상기 사용자의 눈 깜빡임 주기에 대한 판단 중 적어도 하나를 포함하는, 장치.The management condition for the use posture includes at least one of a distance between the electronic device and the user, and a determination of an eye blink cycle of the user.
  12. 제8 항에 있어서, 상기 적어도 하나의 프로세서는,The method of claim 8, wherein the at least one processor,
    상기 사용자에 대한 정보 및 상기 관리자에 대한 정보에 기초하여, 사용자와 관리자 사이의 유형을 결정하고, Based on the information about the user and the information about the manager, determine the type between the user and the manager;
    상기 전자 장치의 관리 조건은 상기 사용자와 관리자 사이의 유형에 기초하여 식별되는, 장치.The management condition of the electronic device is identified based on a type between the user and the manager.
  13. 제9 항에 있어서,According to claim 9,
    상기 사용자에 대한 정보 및 상기 관리자에 대한 정보 중 적어도 하나는 외부 장치로부터 획득되는, 방법.At least one of the information on the user and the information on the manager is obtained from an external device.
  14. 제9 항에 있어서, 상기 적어도 하나의 프로세서는, The method of claim 9, wherein the at least one processor,
    상기 전자 장치 제어 이력에 기초하여 학습된 인공지능 모델을 이용하여 식별된, 갱신된 관리 조건을 획득하는, 장치.Acquiring an updated management condition identified by using an artificial intelligence model learned based on the electronic device control history.
  15. 제1 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium on which a program for performing the method of claim 1 is recorded on a computer.
PCT/KR2022/018378 2021-12-08 2022-11-21 Method and device for managing use of electronic device WO2023106686A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210175202 2021-12-08
KR10-2021-0175202 2021-12-08
KR1020220058593A KR20230086554A (en) 2021-12-08 2022-05-12 Method and apparatus for managing usage of electronic devices
KR10-2022-0058593 2022-05-12

Publications (1)

Publication Number Publication Date
WO2023106686A1 true WO2023106686A1 (en) 2023-06-15

Family

ID=86730762

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018378 WO2023106686A1 (en) 2021-12-08 2022-11-21 Method and device for managing use of electronic device

Country Status (1)

Country Link
WO (1) WO2023106686A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040061038A (en) * 2001-12-19 2004-07-06 톰슨 라이센싱 소시에떼 아노님 Method and apparatus for selecting rating limits in a parental control system
KR20050099710A (en) * 2004-04-12 2005-10-17 전자부품연구원 System and method for automatic tv channel selecting by using of sensor network
KR20070081821A (en) * 2006-02-14 2007-08-20 엘지전자 주식회사 Method and apparatus for controlling of (an) image display device
KR20130054131A (en) * 2011-11-16 2013-05-24 삼성전자주식회사 Display apparatus and control method thereof
KR20190024333A (en) * 2017-08-31 2019-03-08 엘지전자 주식회사 Electric terminal and method for controlling the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040061038A (en) * 2001-12-19 2004-07-06 톰슨 라이센싱 소시에떼 아노님 Method and apparatus for selecting rating limits in a parental control system
KR20050099710A (en) * 2004-04-12 2005-10-17 전자부품연구원 System and method for automatic tv channel selecting by using of sensor network
KR20070081821A (en) * 2006-02-14 2007-08-20 엘지전자 주식회사 Method and apparatus for controlling of (an) image display device
KR20130054131A (en) * 2011-11-16 2013-05-24 삼성전자주식회사 Display apparatus and control method thereof
KR20190024333A (en) * 2017-08-31 2019-03-08 엘지전자 주식회사 Electric terminal and method for controlling the same

Similar Documents

Publication Publication Date Title
WO2018143630A1 (en) Device and method for recommending product
WO2019146866A1 (en) Robot reacting on basis of user behavior and control method therefor
WO2019177400A1 (en) Foldable virtual reality equipment
WO2018084576A1 (en) Electronic device and controlling method thereof
WO2017111234A1 (en) Method for electronic device to control object and electronic device
WO2019027240A1 (en) Electronic device and method for providing search result thereof
WO2016105135A1 (en) Wearable apparatus, management server, management system having the same, and method for controlling thereof
EP3560179A1 (en) Method and system for providing recommendation information related to photography
WO2015137788A1 (en) Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium
WO2017146515A1 (en) Sensor assisted evaluation of health and rehabilitation
WO2016080804A1 (en) Apparatus for measuring bioelectrical signals
WO2017043857A1 (en) Method for providing application, and electronic device therefor
WO2017078288A1 (en) Electronic device and method for generating user profile
EP3410928A1 (en) Aparatus and method for assessing heart failure
WO2018131939A1 (en) Electronic device and method for providing guide information based on genetic information
WO2019182265A1 (en) Artificial intelligence device and method for operating same
WO2018056749A1 (en) Foldable virtual reality device
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
EP3220815A1 (en) Apparatus for measuring bioelectrical signals
EP3523709A1 (en) Electronic device and controlling method thereof
WO2018084581A1 (en) Method and apparatus for filtering a plurality of messages
WO2019164120A1 (en) Electronic device and control method thereof
WO2016182156A1 (en) Mobile terminal for detecting abnormal activity and system including same
EP3921808A1 (en) Apparatus and method for displaying contents on an augmented reality device
WO2021215804A1 (en) Device and method for providing interactive audience simulation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904519

Country of ref document: EP

Kind code of ref document: A1